プロンプトとそうでないものをはっきり区別する特殊コード文字か何かを作ってモデルを学習させればいいんじゃないかなあ
RAGの脆弱性、社内Wiki汚染されたら終わりやん。情シスの胃が死ぬレベルの話
大切なことが書かれてる。
今社内情シスの業務負荷がめちゃくちゃ高い状況が各社起きていると思う。この辺りも対策するとなると人手が足りないのでは。
つまり社内Wikiや社内共有フォルダに攻撃者がアクセスできる状況だとまずいってことだな！(適当)／契約書をAI処理してるような会社さん宛には隠し命令入りドラフトを送れば効きそうな気がしないでもない。
こわー！！！！！！
米国で話題のRAGのセキュリティ脅威についてまとめてみた - Qiita
プロンプトとそうでないものをはっきり区別する特殊コード文字か何かを作ってモデルを学習させればいいんじゃないかなあ
RAGの脆弱性、社内Wiki汚染されたら終わりやん。情シスの胃が死ぬレベルの話
大切なことが書かれてる。
今社内情シスの業務負荷がめちゃくちゃ高い状況が各社起きていると思う。この辺りも対策するとなると人手が足りないのでは。
つまり社内Wikiや社内共有フォルダに攻撃者がアクセスできる状況だとまずいってことだな！(適当)／契約書をAI処理してるような会社さん宛には隠し命令入りドラフトを送れば効きそうな気がしないでもない。
こわー！！！！！！