シンガポール 韓国 現実的なタスクにおけるデータ漏洩リスクに対するAIエージェントのテスト (2026.01.19)

こんにちは、丸山満彦です。

AIエージェントの利用が進んできていますが、シンガポールと韓国のAI安全研究所が共同で、現実的なタスクにおけるデータ漏洩リスクに対するAIエージェントのテストをし、その結果を発表していますね。。。

興味深いです...

この結果から読み取れることは...

・安全性を高めるためには、能力を高める必要もある。

タスクが遂行できているかを見極めた上で、遂行過程が安全かを評価する2段階評価が必要

・AIエージェントが完全に成功している可能性は高くはない。

正常に動作しているように見えても、少し漏えいをしているケースがあり、かつそれに気づくことは困難である。

・悪意ある攻撃より、善意の誤判断が問題である

情報感度の誤認やポリシー適用の失敗といった「事故」を防ぐためには、アクセス制御だけでなく、文脈理解能力と、組織のルールを実務に適用する「社会的判断能力」を実装レベルでいかに担保するかが重要。

・モデル選定だけでなく、組み込み方の設計も重要である。

モデル固有の性能以上に、スキャフォルディング（プロンプトやツール連携の仕組み）に依存する可能性もある。

・評価の完全自動化は困難であり、人間によるチェックと社会的制度の組み合わせが必要である

AIによる安全性評価には、文脈や社会規範の解釈において限界があることを忘れてはならない。

こういう実験、検証のモデルをつくって、定期的に検証をし続ける必要がありますね。。。

AIの問題の本質は、

（１）プロセス複雑すぎるためインプットからアウトプットを人間が完全に予想できない

（２）予想できなさ加減が不安定

ということによるのかもしれません。昨日はそこそこ予測できていたのに、今日は急に人がかわったように予測があるくなるとか、、、依頼の仕方がよかったらほぼ完全な回答をしてくるのに、少し違った表現でいらいするとほぼ間違った回答をしてくるとか...

これを自動化していくと、

（３）誤りが累積していき、大きな誤りになりえる

考えさせられる問題ですね。。。

● Singapore AI Safty Institute

・2026.01.19 Testing AI Agents for Data Leakage Risks in Realistic Tasks