グリフマッピングをずらすなんざ随分前からある手法という認識だけどな。AIって付けたら新しい手法になるんだな。
怖っ。人間の仕事も残って良かったね。
意図して攻撃せずともPDFを出力する互換ソフトで文字マッピングが適切でなく文字化けするそれはあるし、そういったPDFファイルを食べてめちゃくちゃな結果を返す例は以前からあったような
見た目の文字とUnicodeをずらす攻撃か。人間が普通に読めてもAIには違う内容を読ませられるの、これからの実務でめちゃくちゃ悪用されそう
AIにホントのことを隠すフォント。
シーザー暗号み
クソ長い契約書とか要約させる時、詰むやん
ああ、文字コードとフォントのグラフが違うやつか。これで電子契約した場合どっちが有効なんだろうな
埋め込みテキストと画像書き起こしとの突合が必要ってことか。
となると攻撃の有無の検出は割と簡単に出来そうだが
法的にこの悪意しかない契約書は有効と言えるのだろうか？/とはいえ後から差し替えたりされると立証は困難か
フォントのグリフを文字コードのマッピングとずらすことで文字コードだけを読むLLMを騙す攻撃。当然OCRされると負ける
これでＡＩの内容と実際の文書の突合をする業務が生まれるなら、最初から人間が読んだ方がいいんやんけってなるのか、、
この技術かわからんけど、とある大学で問題文に仕込みをしてAIに丸投げした学生のレポートを判別するという事例があったな。
フォントもちゃんとSRI的なやつで確認しろみたいな
なん、か、 ええと、いにしえの、「右クリック禁止！！」って言葉が頭に浮かんだ
契約書キャプチャとってテキストとdiff取ってくれって頼んだら行けんのかな
「人間には普通の文章として読める一方でAIには別の文章として読ませる「Noroboto」」←画像化してから読ませればよさそうだけど、この手法が広まったら検出されて「お前んとこは騙すつもりだったのか」ってバレそう。
これだと人間がコピペする場合も違う文字になるのかな。
なにが「原本」として扱われるべきなのか、って話にも発展してきそうな
なーるほど。フォントの文字コードとグリフの組み合わせを都合いいよう入れ替える訳か。
換字法暗号じゃないか、と考えると案外と発想自体はAIとか関係なく昔からある手口
ぎょえ
このせいでOCRで読めっていう指示になりGPUアッチアチになり悪意ある人間のせいで地球温暖化が進むと なんかいたちごっこが加速し出してる気がする 人類めつぼうすんじゃねーの？
コピペしてプレーンテキストにするしか
日本人には絶対読めないフォントだとそもそもまともに読めないか。なまじまともに読める内容で別の事が書かれてたら対処しようがない気も。この文章には別の文字割り当てが存在し得ますみたいな警告が必要か。
これで文章作るのめっちゃ難しそう。それするくらいなら文字を画像化してその上に透明な文字をやった方が楽そう。
従来のマルウェアスキャンを拡充した「受け入れ検査」的なフローが必要な奴だなー
metaタグで検索エンジンのクローラーを騙すみたいな感じだな
これAIチェックを騙す悪意の存在を示す証拠がpdfとして相手の手元に残る事になるけど、裁判になったらどうなるんだろな。人間がちゃんと読まないのが悪いって判決で完勝出来るのかな？
悪いこと考える奴に掛ける人類のコスト多すぎ
電子送信なら証拠残るじゃん？
“悪意あるフォントを埋め込み画面上では普通の文章に見えるようにしながら、内部的には別のUnicode文字列を持たせることで、人間が「Maryland(メリーランド州)」と読んでいる箇所をAIには「Delaware(デラウェア州)」と…”
PDFは実質ベクタデータの塊なので埋め込み文字を別にされたら攻撃が成立するね。OCRするよう指示しないといけないのか。
どうせOCRさせられるんなら紙で提出するよう求めるのが安全やな
法的には電子文書の解釈が正当となるのはコードなのかグリフなのかどっちなんだろう。それとは別にOCR向けの攻撃法も開発されそうだが既にあるかな
昔、普通に文章を書いた後、フォントをdingsにすることで、絵文字の列のように見せかけて文章を伝えるというお遊びがあったが、それをAIにけしかけていると言うことか。
東大の入試問題PDFをこの方式で作成すれば正答率下がるのでは?と思ったがすでに画像読み込みで高得点をたたき出していた。契約書要約AIもさぼらず画像読み込みに対応しよう。
Notoとroboto足したみたいな
世にブルシットジョブの種は尽きまじ
大学の先生が課題PDFのAI解答を防止するのにも使えそう。
日本語の文書だと甲乙入れ替えるだけで悪いことできそう。
“人間には普通の文章として読める一方でAIには別の文章として読ませる「Noroboto」という攻撃手法を紹介しています。”
契約書で使ったらそれこそ訴えられるから、検索に引っかかってスパム拾ってくるみたいなのがありそうな範囲か
テキストPDFが絶滅し、画像PDFの時代へ退行か。AIって素晴らしいね。
バカには読めない文書ってワケ
OCRを使うという対策か。PDFの埋め込みフォント使ってると思うんだけど、Acrobat Pro使ってるなら埋め込みフォントを除外してから読み込めば対策できるかもしれない
契約でやったら詐欺で、事実が明らかになれば嘘のフォントを埋め込んだ側がけるだろうけど、「あなたが使った生成AIが間違えたんですよ」とごまかすことを狙ってるわけだな。
人間には普通の契約書に見えるのに「嘘のフォント」でAIだけ別の文章を読まされる「Noroboto」攻撃とは？
グリフマッピングをずらすなんざ随分前からある手法という認識だけどな。AIって付けたら新しい手法になるんだな。
怖っ。人間の仕事も残って良かったね。
意図して攻撃せずともPDFを出力する互換ソフトで文字マッピングが適切でなく文字化けするそれはあるし、そういったPDFファイルを食べてめちゃくちゃな結果を返す例は以前からあったような
見た目の文字とUnicodeをずらす攻撃か。人間が普通に読めてもAIには違う内容を読ませられるの、これからの実務でめちゃくちゃ悪用されそう
AIにホントのことを隠すフォント。
シーザー暗号み
クソ長い契約書とか要約させる時、詰むやん
ああ、文字コードとフォントのグラフが違うやつか。これで電子契約した場合どっちが有効なんだろうな
埋め込みテキストと画像書き起こしとの突合が必要ってことか。
となると攻撃の有無の検出は割と簡単に出来そうだが
法的にこの悪意しかない契約書は有効と言えるのだろうか？/とはいえ後から差し替えたりされると立証は困難か
フォントのグリフを文字コードのマッピングとずらすことで文字コードだけを読むLLMを騙す攻撃。当然OCRされると負ける
これでＡＩの内容と実際の文書の突合をする業務が生まれるなら、最初から人間が読んだ方がいいんやんけってなるのか、、
この技術かわからんけど、とある大学で問題文に仕込みをしてAIに丸投げした学生のレポートを判別するという事例があったな。
フォントもちゃんとSRI的なやつで確認しろみたいな
なん、か、 ええと、いにしえの、「右クリック禁止！！」って言葉が頭に浮かんだ
契約書キャプチャとってテキストとdiff取ってくれって頼んだら行けんのかな
「人間には普通の文章として読める一方でAIには別の文章として読ませる「Noroboto」」←画像化してから読ませればよさそうだけど、この手法が広まったら検出されて「お前んとこは騙すつもりだったのか」ってバレそう。
これだと人間がコピペする場合も違う文字になるのかな。
なにが「原本」として扱われるべきなのか、って話にも発展してきそうな
なーるほど。フォントの文字コードとグリフの組み合わせを都合いいよう入れ替える訳か。
換字法暗号じゃないか、と考えると案外と発想自体はAIとか関係なく昔からある手口
ぎょえ
このせいでOCRで読めっていう指示になりGPUアッチアチになり悪意ある人間のせいで地球温暖化が進むと なんかいたちごっこが加速し出してる気がする 人類めつぼうすんじゃねーの？
コピペしてプレーンテキストにするしか
日本人には絶対読めないフォントだとそもそもまともに読めないか。なまじまともに読める内容で別の事が書かれてたら対処しようがない気も。この文章には別の文字割り当てが存在し得ますみたいな警告が必要か。
これで文章作るのめっちゃ難しそう。それするくらいなら文字を画像化してその上に透明な文字をやった方が楽そう。
従来のマルウェアスキャンを拡充した「受け入れ検査」的なフローが必要な奴だなー
metaタグで検索エンジンのクローラーを騙すみたいな感じだな
これAIチェックを騙す悪意の存在を示す証拠がpdfとして相手の手元に残る事になるけど、裁判になったらどうなるんだろな。人間がちゃんと読まないのが悪いって判決で完勝出来るのかな？
悪いこと考える奴に掛ける人類のコスト多すぎ
電子送信なら証拠残るじゃん？
“悪意あるフォントを埋め込み画面上では普通の文章に見えるようにしながら、内部的には別のUnicode文字列を持たせることで、人間が「Maryland(メリーランド州)」と読んでいる箇所をAIには「Delaware(デラウェア州)」と…”
PDFは実質ベクタデータの塊なので埋め込み文字を別にされたら攻撃が成立するね。OCRするよう指示しないといけないのか。
どうせOCRさせられるんなら紙で提出するよう求めるのが安全やな
法的には電子文書の解釈が正当となるのはコードなのかグリフなのかどっちなんだろう。それとは別にOCR向けの攻撃法も開発されそうだが既にあるかな
昔、普通に文章を書いた後、フォントをdingsにすることで、絵文字の列のように見せかけて文章を伝えるというお遊びがあったが、それをAIにけしかけていると言うことか。
東大の入試問題PDFをこの方式で作成すれば正答率下がるのでは?と思ったがすでに画像読み込みで高得点をたたき出していた。契約書要約AIもさぼらず画像読み込みに対応しよう。
Notoとroboto足したみたいな
世にブルシットジョブの種は尽きまじ
大学の先生が課題PDFのAI解答を防止するのにも使えそう。
日本語の文書だと甲乙入れ替えるだけで悪いことできそう。
“人間には普通の文章として読める一方でAIには別の文章として読ませる「Noroboto」という攻撃手法を紹介しています。”
契約書で使ったらそれこそ訴えられるから、検索に引っかかってスパム拾ってくるみたいなのがありそうな範囲か
テキストPDFが絶滅し、画像PDFの時代へ退行か。AIって素晴らしいね。
バカには読めない文書ってワケ
OCRを使うという対策か。PDFの埋め込みフォント使ってると思うんだけど、Acrobat Pro使ってるなら埋め込みフォントを除外してから読み込めば対策できるかもしれない
契約でやったら詐欺で、事実が明らかになれば嘘のフォントを埋め込んだ側がけるだろうけど、「あなたが使った生成AIが間違えたんですよ」とごまかすことを狙ってるわけだな。