AIの推論と、実行の権限を分ける

推論は、変化する情報から候補や理由を組み立てる工程です。実行の判定は、対象、上限、有効期限、許可範囲を確かめる工程です。役割を分けることで、説得力のある文章が、そのまま操作権限になることを防げます。

例えばAIが「この請求を支払うべき」と提案しても、送金先の確認、金額の上限、支払承認、重複の確認を通過する必要があります。推論が正しいかと、実行してよいかは別々に評価します。

提案時には有効だった条件が、実行時には変わっていることがあります。他の処理が資金や在庫を使った、設定の期限が切れた、運用が停止されたといった変化を、実行直前に確認します。

事前承認による自動処理は、毎回人に聞かなくても進められます。その代わりに、どの利用者の、どの対象へ、どの設定の版で実行するかを固定し、範囲外の操作を拒否する仕組みが必要です。

単体テストが通ったこと、外部サービスと接続できたこと、業務として実行してよいこと、実際の結果を確認したことは、それぞれ別の証拠です。一つの合格表示にまとめると、残っている課題が見えなくなります。

正常に一度動くデモだけでなく、許可が切れた場合、入力が古い場合、同じ依頼が二回来た場合、途中で再起動した場合を確認します。起きてほしくない結果を先に挙げ、その結果を防げるかを試します。

例えば「期限切れの許可では送信しない」「未確定の処理がある間は同じ操作を追加しない」と、止める条件を具体的に決めます。その条件を実行側で検証できることが、自動処理を任せる前提になります。