熟練者の判断を、どうルールにするか
熟練者に判断の基準を聞くと、「この値なら進める」と答えていても、実際には別の情報を見て見送る場合があります。数値の閾値だけをルールにすると、その違いが抜け落ちます。
VEGAの開発では、一件の判断を振り返り、注目した情報、確認の順番、例外、判断を取り消す条件を聞く作業を行ってきました。説明をきれいにまとめるより先に、判断が変わる箇所を確かめます。
設計で決めておくこと
判断の理由だけでなく、その判断を覆す条件を聞く。
01
一件の事例を選び、判断した順番を聞く
一般論を聞くと、整った説明は得られても、実際に判断を分けた情報が見えない場合があります。一件を選び、最初に気になった点、確認した順番、決め手、迷った点を聞きます。
聞き手が先に仮説を示すと、その説明に回答が寄ってしまいます。最初は本人の言葉で話してもらい、解釈はその後に提示して、違っている箇所を確認します。
一件から判断の境界を取り出す質問
- 最初に、どこが気になったか
- 何を、どの順番で確認したか
- 実行・見送りを分けた情報は何か
- その情報が同じでも、逆の判断になる場合はあるか
- 何が変わったら、最初の判断を取り消すか
02
例外と失効条件を、ルールの一部にする
「懸念があれば見送る」という説明に、実は「別の条件が満たされていれば検討する」という例外があるかもしれません。単独の指標でなく、条件の組み合わせとして記録します。
採用時の理由がいつ崩れるかも聞きます。VEGAでは、購入時の前提が崩れた場合を出口設計で扱っています。仕入先や案件の審査でも、採用する条件を聞いた後に「どんな変化があれば取り消すか」を確認できます。
- 成立条件
- どの条件がそろえば、その判断を採用するか。
- 例外
- 同じ兆候があっても、別の判断をする組み合わせ。
- 失効条件
- 採用後、どの変化が起きたら理由が崩れるか。
- 未解決の部分
- 本人の確認が取れていない定義や、まだ表現できない感覚。
03
言語化できない部分を、AIの推測で埋めない
本人の発言、聞き手の解釈、観測可能な指標の候補を分けて保存します。「余裕がある」という表現を、本人の確認なしに特定の比率へ変換すると、元の判断とは違う規則になります。
測れる部分から実装し、意味が未確定な部分は保留します。本人の意味確認と、実装がその意味を保っているかの確認も、別々に行います。
04
発見したルールを、そのまま有効性の証拠にしない
結果を知っている過去の事例は、語彙や例外を発見するには役立ちます。一方、その事例に合うように作ったルールが同じ事例を説明できても、将来の判断に役立つ証拠にはなりません。
結果を伏せた別の事例や、ルールを固定した後の観測で確かめます。本人が「意味は合っている」と認めたことと、実際の判断品質が上がったことを分けて評価します。
