経済の変化を予測するAIで、仮説をどう検証するか

ある技術への需要が増えても、関連する企業すべての利益が増えるとは限りません。供給不足はどこで起きるか、増産に必要な設備や部材は何か、価格を上げられるのは誰かを追います。

例えば架空の「設備需要の拡大」という仮説なら、設備本体、部材、保守、導入先の生産性まで経路を分けます。テーマに関連しているという説明だけで、経済的な受益を確認したことにはしません。

最終結果だけを予測すると、外れた理由を学びにくくなります。「制度が成立する」「予算が執行される」「設備投資が増える」「受注に現れる」と段階を分け、どこで推論が崩れたかを確認します。

各段階には、観測対象、期限、確認する一次資料、実現・未実現の判定条件を置きます。条件付きの確率を使う場合も、段階同士の依存を考えず機械的に掛け合わせてはいけません。

高い確信で外す予測と、慎重な確率で外す予測は、同じ扱いにはできません。VEGAの研究設計では、結果が出る前の予測確率と理由を残し、結果とのずれを評価する考え方を取り入れています。

例えば「70%の確率」と記録した予測を集め、長期的にどの程度実現したかを確認するのが較正です。確率と実現結果のずれを測るBrierスコアなども使えますが、少数の事例や都合のよい集計だけで予測能力を断定しません。

Brierスコアは較正だけでなく、起きる事象と起きない事象を区別する力などにも影響されます。スコアが改善しただけで較正も改善したとは言えないため、予測確率ごとの実現頻度と合わせて確認します。

新しい情報で予測を変えたら、初回の予測、更新時点、更新理由、結果の判定を別々に残します。後から見直すときに、当初からの予測と、情報を得て修正した予測を区別できます。

例えば仕入れの見通しを更新したときも、初回の予測を残せば、どの情報で見方が変わったかを追えます。更新後の予測だけを保存すると、最初から正しく見通していたような記録になってしまいます。