プロンプトインジェクション
プロンプトインジェクションは、生成AIへの入力や、AIが読み込む文書などに悪意のある指示を紛れ込ませ、開発者が設定した制御を無視した動作や出力をさせる攻撃のことです。
利用者が直接入力する場合のほか、ウェブページやメール、社内文書など、AIが参照する外部の情報に指示を仕込む「間接プロンプトインジェクション」もあります。総務省のウェブサイトで公表されている「AI事業者ガイドライン」（2026年9月時点の最新は2026年3月31日公表の第1.2版）の別添では、間接プロンプトインジェクションなどにより、RAGが悪用されたり、AIモデルに設定された制御を無視した悪意のある出力が行われたりするリスクがあると指摘しています。
生成AIを組み込んだサービス、とくにAIエージェントのように外部の情報を読み込んで操作まで行う仕組みでは、重要な対策対象です。AIに与える権限を必要最小限に絞る、重要な操作の前に人の確認を挟む、といった設計が求められます。
参考資料
「プロンプトインジェクション」が出てくる記事
この用語が出てくる記事はまだありません。