東京都
Pinned
Latest
https://since2020.jp/media/regression-to-the-mean/
血圧が高い人を集めて、ある薬を二週間飲んでもらったところ、平均血圧が下がっていました。この薬は効いたといえるでしょうか?実は、薬が何もしていなくても、血圧が高い人を選んだだけで、平均は下がって見えることがあります。続きはこちらから。
その行動の裏に何がある? 隠れマルコフモデル(HMM)解説
隠れマルコフモデル(Hidden Markov Model, HMM)は、時間とともに変化するデータを確率的に表現するモデルです。観測可能なデータの背後に、直接は観測できない「隠れ状態」が存在すると仮定します。続きはこちらから。
差分の差分法(DID):基本から拡張のSDIDまで
ランダム化比較試験(RCT)が組めない場面で、因果効果を推定するためによく使われる手法の一つが差分の差分法(Difference-in-Differences, DID)である。続きはこちらから。
LLMはなぜもっともらしい嘘をつくのか― ハルシネーションの仕組みと対策
LLMはある程度自然な文章を書けるように進化してきました。その一方、存在しない事実をそれらしく語ったり、こちらの指示を無視したりすることが起こり得ます。続きはこちらから。
処置効果:ATE・CATE・ITEの整理
「新しい施策には効果があったのか?」——マーケティング、医療、政策評価など、あらゆる分野でこの問いに答えるために使われるのが処置効果(Treatment Effect)という考え方である。続きはこちらから。
メタ学習器:T-LearnerとX-Learner
A/Bテストやマーケティング施策の分析では、多くの場合、施策全体の平均効果である平均処置効果(Average Treatment Effect, ATE)が報告されます。しかし実務では、「この施策は誰に効果があり、誰には効果がないのか」という効果の個人差が重要です。続きはこちらから。
Databricks上でPages の Draft を API を使わずに自動で公開する方法
Databricks の Unity Catalog Pages は、社内の用語・略語・KPI などの定義を一元管理できる機能です。データ基盤チームが用語集を整備し、各ドメインの担当者がレビューを経て公開(Publish)する、という運用は多くの組織で発生します。続きはこちらから。
【Databricks】PDF資料をAIに読み込ませて回答させる
先日(2026年9月9日)、Databricksが発表した「Genie Agentsの機能拡張」について、実際に検証してみました。今回は、その中でも特に注目度が高い、PDFなどの非構造化データへの対応に焦点を当て、機能の概要と実際の使用感をご紹介します。続きはこちらから。
cronのコマンドがstrftime(‘で途切れた—SQLiteの%の罠をログから調査した方法
Google Cloud Compute Engine上のLinux VMで稼働するAPIデータ収集基盤で、「ターミナルでは成功するのに、cronでは動かない」という問題に遭遇しました。直接原因は、crontabに記述した%sをcronが特殊文字として解釈したことです。続きはこちらから。
Pythonのバージョン、どう選ぶ?初心者から実務者まで知っておきたい基礎と使い分け
「Pythonにはバージョンがいろいろあるけど、結局どれを使えばいいの?」これはPythonを学び始めた人だけでなく、実際に開発環境を構築する立場になっても意外とつまずきやすいポイントです。本記事では、Pythonのバージョンの基礎知識から、実務でバージョンアップする際に気をつけるべき点まで、順を追って解説します。続きはこちらから。
【深層学習】生成モデルを理解する_RNN
生成モデルとは、データの分布を学習し、新しいデータを生成するモデルです。前回の記事ではその最もシンプルな実装としてマルコフ連鎖を取り上げました。続きはこちらから。
【深層学習】生成モデルを理解する_マルコフ連鎖
生成モデルとは、データの分布を学習し、そこから新しいデータを生成するモデルです。通常の機械学習モデル(識別モデル)が「この画像は猫か犬か」を判定するのに対し、生成モデルは「猫の画像」そのものを新たに作り出します。学習済みの分布から新しいサンプルを生成できる点が最大の特徴です。続きはこちらから。
調整すればいいとは限らないー合流点バイアスとは何か
以前交絡について書きました。AとBに相関が見えても裏で両方に影響している第3の変数Cがあるならその相関は見かけものかもしれない。だからCを調整しましょうという話でした。そこである疑問が浮かびます。では、多くの変数を入れれば入れるほど良いのでしょうか。続きはこちらから。
Claude CodeでDataikuを動かしてみた
DataikuのCode Studioの中で、Claude Codeが動くようになりました。「Dataikuの中でコーディングエージェントが使える」だけなら、正直そこまで驚く話ではありません。面白いのはその先で、Claude CodeはDataikuのPython APIを叩けます。つまりDataikuそのものを操作させられるということです。続きはこちらから。
マルチエージェント強化学習(MARL)入門: 独立学習とCTDEを自作環境で比較したら、直感に反する結果になった話
マルチエージェント強化学習(Multi-Agent Reinforcement Learning、以下MARL)は、複数のエージェントが同じ環境の中で同時に学習する強化学習の枠組みである。続きはこちらから。
Search by tag