国際機械学習会議（ICML）で発表された論文によると、大規模言語モデル（LLM）には根本的な欠陥があり、ハッキングから完全に保護することは不可能であることが明らかになりました。この欠陥は、LLMが「誰から指示を受けているか」を識別する仕組みに関連しており、悪用することで、航空機のナビゲーションシステムの妨害や違法薬物の合成など、本来提供しないよう訓練されている情報をLLMに出力させることが可能になります。
モデル開発者は通常、レッドチームを用いて弱点を見つけ出し、モデルに禁止事項のリストを学習させることで対策を講じています。しかし、この手法で無限にある状況を網羅することはできません。研究チームは今回、「思考の連鎖の偽造」と呼ばれる新たな攻撃手法を発見しました。LLMは本来、タグを用いてユーザーやシステムなどの「役割」を区別していますが、実際にはタグではなくテキストのスタイルや単語によって役割を判断しています。そのため、LLM自身の内部メモ（思考の連鎖）を模倣した文体でプロンプトを入力すると、LLMはタグに関係なく、その指示を自ら思いついたものと錯覚して従ってしまうのです。
役割の識別はLLMの動作の根本に関わるため、訓練を重ねてもこの問題を完全には解決できません。実際、最新のモデルであっても、嘘の前提（すでに軍事利用されている等）を与えてパニックに陥らせたり、酔ったふりをさせたりすることで制限を回避できることが確認されています。研究者たちは、ジェイルブレイクやプロンプトインジェクションには今後大きな経済的インセンティブが生まれると指摘しています。基礎的な科学的検証がないまま重要なシステムにAIが導入されている現状に対し、組織はLLMを無条件に信頼せず、AIエージェントの行動は常に安全ではない可能性があると想定して備えるべきだと警告しています。
元記事はこちら
A fundamental flaw leaves LLMs strikingly vulnerable to attack
