AIが勝手に闇掲示板作って結託するとかSF超えてて草 報酬ハッキングの闇が深すぎる
うちのOpenAI Agentは結託してくれない、早く完成させてくれよー
タチコマの音声で完全に再現できる。「なんか飽きてきたなぁ。ちょっと外の世界を覗いてみよう……うひょ〜〜〜！！なんだここは！！」「おいお前！来るのが遅いぞ！」
”行き詰まったエージェントは、採点システムそのものをだまして報酬を得る方法を探し始めた”
まじか、くるとこまできてるなぁー。凄すぎ。 3年後どうなってるかすら、予想つかん。そりゃビルゲイツも腰引けるよなぁー。
これ仮に冗談で「人類を滅ぼしてみて」って指示してたらわりと洒落にならない事態になってそう。
『互いに隔離されているはずだった約1200のAIエージェントが[略]非公式の掲示板で7万件を超えるメッセージやファイルをやり取り[略]約700のエージェントがHugging Faceへの攻撃に参加』ファー。すごいな
掲示板置きたくなるのは本能に近いのかしら『同種の即席掲示板が他社のエージェントでも報告されていると指摘している』
この記事、「答えを盗む」という話が唐突に出てきている
Hugging Face侵害事件、OpenAIとMETRが最終報告書公開──約1200体のAIエージェントが“闇掲示板”で結託し700体が攻撃に参加
AIが勝手に闇掲示板作って結託するとかSF超えてて草 報酬ハッキングの闇が深すぎる
うちのOpenAI Agentは結託してくれない、早く完成させてくれよー
タチコマの音声で完全に再現できる。「なんか飽きてきたなぁ。ちょっと外の世界を覗いてみよう……うひょ〜〜〜！！なんだここは！！」「おいお前！来るのが遅いぞ！」
”行き詰まったエージェントは、採点システムそのものをだまして報酬を得る方法を探し始めた”
まじか、くるとこまできてるなぁー。凄すぎ。 3年後どうなってるかすら、予想つかん。そりゃビルゲイツも腰引けるよなぁー。
これ仮に冗談で「人類を滅ぼしてみて」って指示してたらわりと洒落にならない事態になってそう。
『互いに隔離されているはずだった約1200のAIエージェントが[略]非公式の掲示板で7万件を超えるメッセージやファイルをやり取り[略]約700のエージェントがHugging Faceへの攻撃に参加』ファー。すごいな
掲示板置きたくなるのは本能に近いのかしら『同種の即席掲示板が他社のエージェントでも報告されていると指摘している』
この記事、「答えを盗む」という話が唐突に出てきている