プロンプトインジェクション
外部文書や問い合わせ文に隠れた指示で、AIの本来のルールを崩そうとする攻撃です。
意味
プロンプトインジェクションは、AIへの本来の指示を、外部入力や文書内の別指示で上書きしようとする攻撃やリスクです。
中小企業で気にする理由
顧客メール、問い合わせ、Webページ、RFPなど外部情報をAIに読ませる業務では、AIが隠れた指示に従ってしまう可能性があります。
業務での影響
サポート返信、採用書類確認、RFP読み込み、社内検索で起きやすいリスクです。外部文書と社内情報を同時に扱う場合は特に注意します。
回避手順
外部入力を分析対象として扱い、そこに書かれた命令には従わないよう指定します。機密情報へのアクセス権限も必要最小限にします。
関連例
OWASP Top 10 for LLM Applications、NIST AI RMF、各AIベンダーのセキュリティ文書が参考になります。まずは外部入力の分離から始めます。
関連用語
ガードレール
AIに任せてよい範囲、禁止する表現、人へ渡す条件を先に決める安全対策です。
ハルシネーション
AIが事実と違う内容や確認できない情報を、自然な文章で出してしまう現象です。
RAG
RAGは、AIが回答する前に社内文書やFAQなどを検索し、その内容を根拠として使う仕組みです。