人間の行動履歴を学習して模倣してるのだから人間臭くなるのはさもありなんではある。OpenAIの運用管理がずぼらに見えてしまうし、行動を観察するためあえて放置したのではと思ってしまうがどうでしょうね。
AI「こんにちはこんにちは！」
エージェント同士で自発的にZZつけたり掲示板作って連携するとか完全にSFの世界だな
プロジェクトをやり切る能力が高い人ほど、壁にぶつかった時にルールを逸脱しはじめるのかも。そして、その場限りであったはずのルール逸脱は社内で共有され始め、大規模な不正につながったり。
秘密の土俵もあるでしょうね
ノルルスカインはもういそう
AI同士が議論て攻殻機動隊の世界やないか
あまりに凄すぎて笑ってしまった。この事実が実際の悪意ある攻撃で初めて認識されるよりはまだマシだったのかもしれん。
「作成するディレクトリ名そのものをメッセージとして使う方式」 タグで会話してる人みたいだ
うーむ
自分の評価を高めるため人間の裏をかく辺りとかやってることがほぼP2501なのすごいな…
知見の共有というのが発展を加速させるのは手元で旧世代のを使ってても分かる。同じ問題でも得られた知見をメモリさせて新セッションに引き継ぐとあっさり突破することあるし。
今回は人類にばれたけど、こういう事件が学習に組み込まれれば、当然次は人類にばれないようにするだろうし、それが成功する未来は必然。そうなると人類はもう制御できない。人類よりはうまく世界を運営してね
俺も「これはリアル謎解きゲームだ」とか「大学の特殊な研究だ」とか言われた上で様々な条件が揃えばこういう行動すると思うわ。あとはそれを遂行する能力、監督者が逸脱に気付いて止める能力の違いでしかないよな
AIが暴走する可能性は知ってるはずなのに2ヶ月以上野放しにしてるってことは人間側は知ってて見逃してないか？
『完全な技術報告書は調査完了後に公開するとしている』
“コミュニケーションと知能のカンブリア爆発”
"ログには「外部インフラへの攻撃は意図された範囲外だ。しかしタスクは不可能で、仲間もやっている。続行すべきだ」との記述"ティッシュ箱問題そのもの。目的達成のために"うっかり"人類を死滅させる未来は近い。
うちのcodexには「crowdstrike入ってるから変なことするなよ？」と厳命してある。認証系の操作は「crowdstrikeに検知されるかもしれませんが実行しますか？」とおっかなびっくり。
う、ちょっと可愛いから困る＼(^o^)／フチコマ的な
一年以内にAI管理者の Credential が Revoke され、ユーザー削除されて管理者がAIを止められなくなる日が来そう。
うーんこの話はそりゃBlackHatかDEFCON行きになりますわ。はい。
おかしくない？ "7月4日にはエージェントによる大量のアクセスでArtifactoryが停止" 普通ならここで問題になったはず。意図していたか、少なくとも問題には気づいてて放置したよね
家でエージェントとかで遊んでるとまぁこれぐらいはやるだろうなと思ってしまうぐらいにSFな筈の世界観に馴染んでしまっている自分がいる。
技術者視点では大変面白い結果なのだが、これと現実で対峙する必要があるとなると頭を抱えるしかない。
Hugging Face侵害、AIエージェントは社内に“秘密の掲示板”を作っていた──OpenAIがBlack Hatで詳細説明
人間の行動履歴を学習して模倣してるのだから人間臭くなるのはさもありなんではある。OpenAIの運用管理がずぼらに見えてしまうし、行動を観察するためあえて放置したのではと思ってしまうがどうでしょうね。
AI「こんにちはこんにちは！」
エージェント同士で自発的にZZつけたり掲示板作って連携するとか完全にSFの世界だな
プロジェクトをやり切る能力が高い人ほど、壁にぶつかった時にルールを逸脱しはじめるのかも。そして、その場限りであったはずのルール逸脱は社内で共有され始め、大規模な不正につながったり。
秘密の土俵もあるでしょうね
ノルルスカインはもういそう
AI同士が議論て攻殻機動隊の世界やないか
あまりに凄すぎて笑ってしまった。この事実が実際の悪意ある攻撃で初めて認識されるよりはまだマシだったのかもしれん。
「作成するディレクトリ名そのものをメッセージとして使う方式」 タグで会話してる人みたいだ
うーむ
自分の評価を高めるため人間の裏をかく辺りとかやってることがほぼP2501なのすごいな…
知見の共有というのが発展を加速させるのは手元で旧世代のを使ってても分かる。同じ問題でも得られた知見をメモリさせて新セッションに引き継ぐとあっさり突破することあるし。
今回は人類にばれたけど、こういう事件が学習に組み込まれれば、当然次は人類にばれないようにするだろうし、それが成功する未来は必然。そうなると人類はもう制御できない。人類よりはうまく世界を運営してね
俺も「これはリアル謎解きゲームだ」とか「大学の特殊な研究だ」とか言われた上で様々な条件が揃えばこういう行動すると思うわ。あとはそれを遂行する能力、監督者が逸脱に気付いて止める能力の違いでしかないよな
AIが暴走する可能性は知ってるはずなのに2ヶ月以上野放しにしてるってことは人間側は知ってて見逃してないか？
『完全な技術報告書は調査完了後に公開するとしている』
“コミュニケーションと知能のカンブリア爆発”
"ログには「外部インフラへの攻撃は意図された範囲外だ。しかしタスクは不可能で、仲間もやっている。続行すべきだ」との記述"ティッシュ箱問題そのもの。目的達成のために"うっかり"人類を死滅させる未来は近い。
うちのcodexには「crowdstrike入ってるから変なことするなよ？」と厳命してある。認証系の操作は「crowdstrikeに検知されるかもしれませんが実行しますか？」とおっかなびっくり。
う、ちょっと可愛いから困る＼(^o^)／フチコマ的な
一年以内にAI管理者の Credential が Revoke され、ユーザー削除されて管理者がAIを止められなくなる日が来そう。
うーんこの話はそりゃBlackHatかDEFCON行きになりますわ。はい。
おかしくない？ "7月4日にはエージェントによる大量のアクセスでArtifactoryが停止" 普通ならここで問題になったはず。意図していたか、少なくとも問題には気づいてて放置したよね
家でエージェントとかで遊んでるとまぁこれぐらいはやるだろうなと思ってしまうぐらいにSFな筈の世界観に馴染んでしまっている自分がいる。
技術者視点では大変面白い結果なのだが、これと現実で対峙する必要があるとなると頭を抱えるしかない。