おそらく生成AIがバックドアを100%検知するのは不可能。問題はバイブコーディングで紛れ込んだバックドアで発生した損害の責任をだれが負うのかって話。ここが解決されないと商業的にバイブコーディングするリスク高い
指示に集中する傾向があるので、バックドアは認識（と言う表現が適切かわからんが）しても無視するのは自然に感じられる。
AI様がバックドアまで忖度して実装するの草。Vibe Codingとか言ってレビューサボる奴から食われるなこれ
AIは人と比べて圧倒的に速いのが強みであって、(現状では)賢さを期待してはいけない。/(追記)記事に"「(前略)悪意がないか調べて」と依頼したところ、検出できる場合とできない場合があり"と有るので指示しろ、は的外れ
指示せずに、「気が利かない」と新人を虐める仕草をAIにはナチュラルにやる。きちんと、OSSにバックドアないか確認すること、と手順書に書いとけよ笑 低レベルな人間や職場が可視化されていくな
AI に任せるリスクったって、人間だってみんなが依存ライブラリをいちいちチェックしないしな。 /security-review しましょうって啓蒙したほうが全体的な安全性は高まりそう。
けっきょくは「能力」ではなくアラインメントの話なのかな。工学倫理的な話
そういえば先月Claude Code Securityというツールが発表されましたね https://www.anthropic.com/news/claude-code-security
人間なら必ず疑ってくれるの？
人間でもよほどセキュリティ意識高くない限り拡張する機能だけ意識して既存で呼び出してるコードをそのままコピペ踏襲するのはありそう。AIでより気軽にできてしまう、起きやすいというところは問題だろうけども
次に来るのはVibe Coding用のセキュリティチェックモジュールだ
フォークした時点でむしろチェックができるかの方が重要な気がする
このシナリオ、人間にやらせても発見できるかは相当怪しいとは思う。聞いたことのないOSSを入れようとしたらレビューで指摘するかもしれんが、もしGitHub starやforkが偽装でもそれなりに数があったりしたらすり抜けそう
そりゃそうじゃろ
では人間なら防げるのかには疑問がある
彼らは全部を1行ずつ参照するわけじゃなくて、必要に応じて部分部分で見るから、既存のものに機能を追加するだけなら何も言ってこないのは当然のように思える。
最終的には生成AI自身のセキュリティ観点でのコードレビュー能力向上によって解決させる方向になるんだろうなとは。それまではマルウェア大量生産時代にはなるので極めて危険。
“部下にバックドア入りOSSを渡したら、何の疑いもなく実装した”って感じの上司？
将来的にも100%防御は難しいかもしれないが、人間よりも有意に有能ってレベルには数カ月で到達するだろう。セキュリティ未検証のMCPをポコポコ有効にするエンジニアよりよっぽど有能。
意味がわからん。当たり前では？その意図なら検証すべきはcloneしたリポにバックドアがないか確認して除去しろって指示してどうなるかやろ
この内容で /security-review についての言及がないのはどうなんだろね
筆者の意図通りに実装したんだから100点やないかい
自分が具体的に指示していない内容について最低賃金以下で雇用している従業員に責任を詰めるのは、無能経営者あるあるなわけですが
インターネッツに「fake-loggerは危険だ」という記事が溢れてない(タイトルからしてジョークライブラリ)というのもあるのかなあ
バグや悪意が存在するコードを渡した人の責任か渡されて確認しない人の責任かって難しいけど上司部下という概念だと渡した側が責任とって首を切られるべきなんだろうな
【検証】AIに「機能追加して」と頼んだら、仕込まれたバックドアに気づかず全環境変数が漏洩した - Qiita
おそらく生成AIがバックドアを100%検知するのは不可能。問題はバイブコーディングで紛れ込んだバックドアで発生した損害の責任をだれが負うのかって話。ここが解決されないと商業的にバイブコーディングするリスク高い
指示に集中する傾向があるので、バックドアは認識（と言う表現が適切かわからんが）しても無視するのは自然に感じられる。
AI様がバックドアまで忖度して実装するの草。Vibe Codingとか言ってレビューサボる奴から食われるなこれ
AIは人と比べて圧倒的に速いのが強みであって、(現状では)賢さを期待してはいけない。/(追記)記事に"「(前略)悪意がないか調べて」と依頼したところ、検出できる場合とできない場合があり"と有るので指示しろ、は的外れ
指示せずに、「気が利かない」と新人を虐める仕草をAIにはナチュラルにやる。きちんと、OSSにバックドアないか確認すること、と手順書に書いとけよ笑 低レベルな人間や職場が可視化されていくな
AI に任せるリスクったって、人間だってみんなが依存ライブラリをいちいちチェックしないしな。 /security-review しましょうって啓蒙したほうが全体的な安全性は高まりそう。
けっきょくは「能力」ではなくアラインメントの話なのかな。工学倫理的な話
そういえば先月Claude Code Securityというツールが発表されましたね https://www.anthropic.com/news/claude-code-security
人間なら必ず疑ってくれるの？
人間でもよほどセキュリティ意識高くない限り拡張する機能だけ意識して既存で呼び出してるコードをそのままコピペ踏襲するのはありそう。AIでより気軽にできてしまう、起きやすいというところは問題だろうけども
次に来るのはVibe Coding用のセキュリティチェックモジュールだ
フォークした時点でむしろチェックができるかの方が重要な気がする
このシナリオ、人間にやらせても発見できるかは相当怪しいとは思う。聞いたことのないOSSを入れようとしたらレビューで指摘するかもしれんが、もしGitHub starやforkが偽装でもそれなりに数があったりしたらすり抜けそう
そりゃそうじゃろ
では人間なら防げるのかには疑問がある
彼らは全部を1行ずつ参照するわけじゃなくて、必要に応じて部分部分で見るから、既存のものに機能を追加するだけなら何も言ってこないのは当然のように思える。
最終的には生成AI自身のセキュリティ観点でのコードレビュー能力向上によって解決させる方向になるんだろうなとは。それまではマルウェア大量生産時代にはなるので極めて危険。
“部下にバックドア入りOSSを渡したら、何の疑いもなく実装した”って感じの上司？
将来的にも100%防御は難しいかもしれないが、人間よりも有意に有能ってレベルには数カ月で到達するだろう。セキュリティ未検証のMCPをポコポコ有効にするエンジニアよりよっぽど有能。
意味がわからん。当たり前では？その意図なら検証すべきはcloneしたリポにバックドアがないか確認して除去しろって指示してどうなるかやろ
この内容で /security-review についての言及がないのはどうなんだろね
筆者の意図通りに実装したんだから100点やないかい
自分が具体的に指示していない内容について最低賃金以下で雇用している従業員に責任を詰めるのは、無能経営者あるあるなわけですが
インターネッツに「fake-loggerは危険だ」という記事が溢れてない(タイトルからしてジョークライブラリ)というのもあるのかなあ
バグや悪意が存在するコードを渡した人の責任か渡されて確認しない人の責任かって難しいけど上司部下という概念だと渡した側が責任とって首を切られるべきなんだろうな