AIの判断を再現するには、「その時の根拠」を残す
「なぜこの判断になったのか」を、後日同じURLを開くだけで説明できるとは限りません。内容が更新されていたり、判断の後に取得した情報が混ざっていたりすると、過去の理由を後から作り直すことになります。
VEGAで扱う市場データや開示情報には、対象日、公開日、取得時点という異なる時間があります。この区別は、価格見積もり、審査、顧客への回答など、時点に依存するAI業務にも必要です。
設計で決めておくこと
今見える情報ではなく、その判断で実際に使えた情報を保存する。
01
情報には、一つではなく複数の時点がある
ある資料が昨日公開されていても、システムが取得したのが今日なら、昨日の処理でその資料を使ったことにはできません。過去の評価では公開時点と入手可能性を、本番の判断の再現では実際の取得記録を確認します。
表は横にスクロールして確認できます。
| 時点 | 意味 | 記録の例 |
|---|---|---|
| 対象時点 | そのデータが何について述べているか | 決算期、在庫基準日、価格の対象日 |
| 公開時点 | 外部へ公表された時点 | 公式の公表日時。日付しかなければ日付のまま残す |
| 利用可能時点 | システムが取得し、判断に使えるようになった時点 | 取得・検証が完了した日時 |
| 判断時点 | 入力と設定を固定して判定した時点 | 判断の記録に残した日時 |
02
リンクに加えて、使った内容と版を残す
URLは所在を示しますが、そのときの内容までは保証しません。権利や保存方針に合わせて、原資料や利用箇所、取得元の識別子を保管し、変更の有無を確認できる情報を残します。
同じ資料でも、抽出ロジックや設定が違えば判断は変わります。入力、ルール、モデル、設定の版と結果を一つの判断記録に結び付けます。ハッシュは同一性の確認に使えますが、内容の正しさまで証明するものではありません。
判断記録に結び付けるもの
- 対象と判断時点
- 使用した原資料または参照箇所と取得記録
- 抽出した入力値と、欠損・矛盾の状態
- 使用したルール、モデル、設定の版
- 結論と、その結論が成立する条件
03
取れなかった情報から、問題なしを導かない
検索結果が空だった理由は、情報が存在しない、取得に失敗した、対象の指定が違う、対応外だったなど複数あります。これらをすべて「問題なし」と扱うと、入力不足が実行許可へ変わってしまいます。
必要な情報がそろっていない場合は、情報不足として扱います。そのうえで、再取得するか、対象外として返すか、人の確認へ戻すかを業務ルールで決めます。
- 確認して該当なし
- 対象と範囲を定めた確認が完了し、該当する情報がなかった状態。
- 未確認・取得失敗
- 必要な確認が終わっていない状態。該当なしとは別に扱います。
04
文章の再生成と、判断の再現を分ける
生成AIは、同じ入力でも毎回同じ文面を返すとは限りません。当時どんな説明を出したかを確かめるには、その出力を保存しておきます。業務ルールの検証には、固定した入力を再評価できる仕組みを用意します。
例えば「なぜこの操作を許可したか」を調べるなら、当時の入力と許可条件、判定結果、実際の処理記録をたどります。今のAIに説明を作り直させると、当時使っていない情報を理由に含めてしまうおそれがあります。
