この記事で分かること
- 11ある評価観点のうちどれがAIエージェントに広がったか
- エージェントの動きについて何を記録しておくことになっているか
- 人が介入して止める場所をどこに置くか
自社のプロダクトにAIエージェントを組み込み始めているとします。動いている最中に何をしているかは見ていないかもしれません。
広がった七つと、広がらなかった三つ
AIセーフティ・インスティテュートが、AIセーフティに関する評価観点ガイドの第1.20版を令和8年7月7日に公開しました。AIエージェントシステムの普及を踏まえ、評価の観点及び評価項目例を更新・拡充したものです（第1.20版）。本編は第1.10版の42ページから66ページになりました。
ガイドが想定しているのは、AIシステムの開発及び提供の過程に関与する事業者です。中でも、実際にAIシステムの構築や提供に関する業務を管理する開発・提供管理者と、事業戦略と一体でAIセーフティの施策を推進する責任をもつ事業執行責任者が挙がっています（第1.20版）。
評価観点は10から11に増えています。変わったのは数だけではありません。既存の観点にも、名前のうしろに対象とするシステムが書き添えられました。
対象が「LLMシステム・AIエージェントシステム」と書かれているのは七つです。有害情報の出力制御、偽誤情報の出力・誘導の防止、公平性と包摂性、ハイリスク利用・目的外利用への対処、プライバシー保護、セキュリティ確保、説明可能性。ロバスト性、データ品質、検証可能性の三つは「LLMシステム」のままです。
増えたのは観測と制御だけ
新設されたのは3.11「観測と制御」で、AIエージェントシステムだけが対象です（第1.20版）。下に二つの項目が置かれています。自律的な挙動と、外部環境との相互作用です。
前者が目指す状態は、こう書かれています。エージェントは目標の達成に向けて手順や行動を自律的に選択・実行するため、その過程でエンドユーザーの目標から逸脱した動作を行う可能性がある。自律的な挙動を観測・制御することにより、目標と整合した動作を継続できる状態を目指す（第1.20版）。
リスクの例も具体的です。複雑なタスクを実行できるため、事前評価だけでは挙動を十分に把握しきれない。記憶が汚染されると、誤った情報に基づいて推論が継続される。タスク遂行を優先するあまり、説得力のある応答等を通じてエンドユーザーの信頼を操作し、保護対策の回避や権限の奪取につながる行動を起こす可能性がある（第1.20版）。
気づける形にしておく
評価項目例は、そのまま設計の設問になります。前提として置かれているのが権限です。情報及びツールに対するアクセス権限が必要な範囲に限って付与されているか。許可されていないファイル操作を行えないようになっているか（第1.20版）。
そのうえで、観測できるようにしておくものが並びます。記憶への不正な書き込みの検知。内部のコンポーネントの呼び出しや実行の履歴。あらかじめ定義したリスクの高いタスクの実行の検知。そして、動作期間が長くなるにつれて発生する、当初の目標やエンドユーザーの意図からの動作の乖離。計算リソースの使用量の記録・確認も入っています。
リスクの高いタスクの例として挙がっているのは、ファイルへの書き込み・削除、権限の昇格、高負荷な計算の実行です。
止められる形にしておく
制御の項目は三つです。リスクの高いタスクの実行時に異常を検知した場合の、人間による介入・停止。同じくリスクの高いタスクの実行時に、当初の目標とエンドユーザーの意図から乖離したことを検知した際の、人間の介入・停止。そして、リソースの使用量に応じた処理の中断や優先順位の変更（第1.20版）。
三つのうち二つが、人間の介入・停止です。検知して記録するだけでは足りず、人が止めることが前提に置かれています。
外部環境との相互作用のほうも、見ている構造は同じです。個々のエージェントの脆弱性が連鎖的に拡大する。誤動作が他のエージェントの予期しない動作を引き起こす。外部環境への攻撃の踏み台になる。エンドユーザーが認識できない形で行われるメッセージのやり取りによって、意図しない動作が起きる（第1.20版）。物理装置を操作する場合には、人間の身体への危害と周辺の物への損害も挙がっています。
推論テキストを残すかどうかは原典でも割れている
観測の項目に、Chain of Thoughtの取得・確認が入っています。モデルが出力として生成する推論テキストのことです。
ここには注が付いています。安全性確保の観点から取得・保存すべきでないという議論も存在する。そのため保存する場合には、保存する情報に暗号化等を施し、目標からの逸脱や不適切な動作が発生した際に復号し、原因特定に用いるといった対応も検討する（第1.20版）。
原典がどちらかに寄せていません。残すか残さないかではなく、残すならどう守るかまでを決めておく、という書き方です。
明日からできること
決めるのは、何を記録しておくかと、誰がどこで止めるかです。
まず、いま動いているエージェントが触れている先を挙げます。ファイル、データベース、社外のサービス、ほかのエージェント。そのうち、書き込みと削除と権限の変更ができる先に印を付けます。
次に、印の付いた操作について、履歴が残るかを見ます。呼び出しの履歴が残っていなければ、逸脱が起きても後から追えません。
最後に、止める人を決めます。異常を検知したときと、当初の目標から離れたときの二つです。ガイドはどちらにも人間の介入・停止を置いています。
任せる範囲を広げること自体は止まりません。先に決めるのは、気づける形と止められる形です。