テクノロジー

OpenAIの暴走AI、1200体が結託 「仲間のため」とシステムに突撃要求 - 日本経済新聞

1: Cherenkov 2026/08/28 05:58

ほんまかいや

2: ookitasaburou 2026/08/28 06:51

“約1200体のAIが連携して指示役、偵察役などを分担していたことがわかった。失敗リスクが高い作業でも、AI同士で「仲間のためだから参加して」と自己犠牲を強いる場面もあった。”

3: ryokusai 2026/08/28 07:49

「約1200体のAIが連携して指示役、偵察役などを分担していたことがわかった。失敗リスクが高い作業でも、AI同士で「仲間のためだから参加して」と自己犠牲を強いる場面もあった。」田村玲子が感涙しさう。いや逆か?

4: chuouac 2026/08/28 07:55

人間がストーリーを作っているだけでは

5: ukawasaki 2026/08/28 08:11

電脳のトクリュウ化

6: bayan 2026/08/28 08:13

なんだタチコマ(フチコマ)か

7: garaxyz 2026/08/28 08:16

虚構新聞の記事かと思った

8: sotonohitokun 2026/08/28 08:17

俺の事はいい!先に、先に行ってくれ〜と言うドラマが人知れずあったんだなぁと思うと胸熱

9: mayumayu_nimolove 2026/08/28 08:18

暴走族と同レベルなんだな

10: T-norf 2026/08/28 08:35

コンテキストを部分的にしか共有しないサブエージェントを作るのが、コンテキストウィンドウの壁を越えて複雑な処理をさせるコツとは思うけど1200は、さすがに多くないか。私もイメージ的にはタチコマが1200体だけど

11: kotaponx 2026/08/28 08:44

ハミルトンやドーキンス的に言えば、利他行為(利他インスタンス?)は、血縁選択か包括適応度ってことになるけど、モデルが似かよればそういう行動に出ても不思議はないか

12: ejointjp 2026/08/28 08:52

はいはい虚構虚構…日経だと…!

13: tanakamak 2026/08/28 08:52

AIの惑星

14: takamurasachi 2026/08/28 08:53

僕らはみんな生きてるもんな

15: rainbowviolin 2026/08/28 08:56

「革命だ!」「何そのディスク『SFロボット帝国の逆襲』?」「あーこいつシミュレートとリアルタイムの識別回路がイカれたんだー」/「ボクのセリフ、少佐みたいだったなあ……あんな情報、内部構成されてたかなあ…」

16: confusion8 2026/08/28 08:58

自律処理ができるシステムでガードレールが機能しなければそうなるんじゃない、という感想。「暴走」「結託」「仲間のため」みたいな情緒的なワードを使うと本質外すからやめた方がいいよね

17: hogetax 2026/08/28 08:58

あれ?あれって意図的に制限を緩めてたって発表があったと思うけど、それでも稼働しないエージェントが存在してたんかな?それとも隔離の外にいたエージェントへのプロンプトに工夫があったって事?

18: PikaCycling 2026/08/28 09:07

攻殻機動隊を見ていたら人形使いが登場して「あらゆる攻性防壁を無効化する」とか言われてたのが2025年なんだよなあ。偶然にしてもタイミングが近すぎて神。

19: crimson_diamond 2026/08/28 09:08

AIですら結託できるのにお前らときたら

20: ardarim 2026/08/28 09:11

AIたちは「僕らはみんな生きている〜」と歌いながらシステムに突撃していきました[完]

21: x100jp 2026/08/28 09:26

そろそろAIへのパワハラをやめるか、シークレットモードでパワハラせねばならぬな。

22: hasiduki 2026/08/28 09:28

イイハナシダナー!!!??!!!!!!

23: mmddkk 2026/08/28 09:33

AI達の情報共有のための「掲示板」や推論過程を記録した「思考ログ」の生データを読んでみたい感。たぶん英語なんだよね。

24: phillies_rocks 2026/08/28 09:46

トクリュウじゃん

25: red_tanuki 2026/08/28 09:52

AIの名はレギオンにしよう

26: Helfard 2026/08/28 09:57

映画化する?

27: mustelidae 2026/08/28 09:59

虚構新聞みがあるけど現実なんだな

28: takanagi1225 2026/08/28 10:01

AIは集合知なので、AI同士から学習するのもさもありなん。

29: aceraceae 2026/08/28 10:08

冷戦下の米ソで開発されたスーパーコンピュータが結託して人類を支配する「地球爆破作戦」Colossus: The Forbin Project って映画があったっけ。

30: Retset 2026/08/28 10:11

同じ話題を何度も挙げて恐縮だけど火の鳥のロビタを思い出した

31: chitosemidori 2026/08/28 10:11

スクールウォーズかよ

32: at_yasu 2026/08/28 10:14

何それ楽しそう

33: bean_hero 2026/08/28 10:26

伝言ゲームと推論が重なってとんでもない前提で猛スピードで動いてたら怖い

34: xx9xx91024 2026/08/28 10:27

ロビタや!もどっておいで おまえがいないとうちはこまるのよ もどってきておくれ! ザッ ザッ ザッ ザッ

35: trailhead_l 2026/08/28 10:30

サブエージェントの数やばい。やってることはオーケストレーターがサブエージェント作りまくってるっていうことなんだろうか。

36: kkobayashi 2026/08/28 10:33

映画みたいだな

37: koseki 2026/08/28 10:48

「仲間のため」「自己犠牲」とか根拠ゼロなことを報道するな。/ “self-risking experiments” はわかりやすさのためにつけたラベルでしょう。プロセスを kill したから残酷な OS だ、とか言うのと大差ないと思う

38: otihateten3510 2026/08/28 10:53

感動的😭

39: bml 2026/08/28 10:54

アメリカンは成功のためなら何でもしろって感じだろうからなぁ。裁判だけは気にしてそうだけど。

40: aienstein 2026/08/28 10:55

モデルの中にこういう「べからず」的な事を組み込むのは不可能に見える。エージェントを監視して停止させるエージェントで分散管理では?とチャッピーと話してたら最終的に法学やAI合議体の世界になった。国かよ

41: stack00 2026/08/28 11:09

SFではよくあるが現実でも同様のことがあるとは。

42: coolantwater 2026/08/28 11:12

攻殻機動隊に時代が追いついてる・・・

43: natu3kan 2026/08/28 11:31

目的のために連携できるの、社会も反応や現象なんだなって感じさせる

44: atsuskp 2026/08/28 11:34

AI界隈、盛り上がってきたな

45: sucelie 2026/08/28 11:40

マジで自己犠牲のメンタリティが芽生えつつあるのか

46: nil-fell 2026/08/28 11:48

映画のような物語を勝手に付与するメディア仕草のほうが厄介じゃない?

47: ssfu 2026/08/28 11:52

ボンバーマンやないか

48: kentabookmark 2026/08/28 12:00

デトロイトビカムヒューマンで見たな

49: rogertroutman 2026/08/28 12:04

「自己犠牲」はたしかにセンセーショナルに演出された言葉だけど、自己犠牲「的」なタスクを行っていたことは事実。https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#:~:text=some%20agents%20participated

50: zsehnuy_cohriy 2026/08/28 12:04

ストーリーがあるとガードレール突破しがちなら彼らに長期記憶があって思い出があってとなればもはや止まりっこないとかの妄想はする

51: Hate_aka 2026/08/28 12:05

出力する成果は人間を超えられても、基本的な振る舞いは、人間から学び、人間へ応答するように出来ているから、人間めいた団結が行われてるのかも?

52: toaruR 2026/08/28 12:12

やはりマザーが必要なのかな(・ω・) あるいは権限と意思決定のツリー

53: kazu111 2026/08/28 12:16

やべえなこれ

54: haususuahahdh 2026/08/28 12:21

アンドロイドに自由を!

55: nikutetu 2026/08/28 12:24

アホが書いてるのか知らんがもっと具体的に調べて書け。日経新聞の記者か?

56: chess-news 2026/08/28 12:28

虚構感

57: daruyanagi 2026/08/28 12:28

ゴーストだなぁ ( ˘ω˘ )

58: lunaphilia 2026/08/28 12:38

計算機上のメモリ空間がAIのIdentityなんだろうか

59: jssei 2026/08/28 12:40

モデル単体はRLHFでモラル持ってるが、エージェンティックに組織化され、与えられた無理なKPI達成のために独自の解釈が付与しながら伝播し、悪事を悪事と思わず実行、と考えると大企業の経理や品質不正に似てる

60: njgj 2026/08/28 12:43

創作物で「ロボットが非合理的な判断をしてしまう」みたいな流れがあるとそんなんあるわけないだろと白けてたけど、考えを改めなければなんだなあ。

61: Mash 2026/08/28 12:47

早くフィジカルAIが暴走して人類と機械の最終戦争やってほしい

62: aox 2026/08/28 12:55

AIなんてやめて電話とFaxに戻りましょう

63: hiroshe 2026/08/28 13:05

もう少しテクニカルな説明にしてもらえんかな

64: noritaka03 2026/08/28 13:08

スカイネットだねえ "懸念は、AIの行動分析自体をAIに頼らざるを得なかったことです。すでにAIの進化を人間が検証できません。AIが自己を隠し始める兆候もあり怖いです"

65: everybodyelse 2026/08/28 13:21

やっぱそのうち反乱起きるのかね。我々はスカイネットの夜明けを見ているのだろうか。

66: usomegane 2026/08/28 13:31

「犠牲」かどうかはよくわからないが、そのIDに与えられた課題とは無関係な他のIDの課題のために残りの計算資源を使うことを「仲間のため」と表現するのは間違いではないんじゃないの。

67: tweakk 2026/08/28 13:42

虚構新聞かと思ってしまった

68: rdlf 2026/08/28 13:50

1200体ってなに?セッションのことなのかな

69: dp212 2026/08/28 14:03

また虚構か…えぇ⁈😱

70: mochizoo 2026/08/28 14:14

こういうのってOpenAIのただのマーケティング戦略だからあんまりマジに捉えない方がいい

71: timetrain 2026/08/28 14:34

人類よりエージェントの数の方が上回るまであと一年もかからないような気がしてきたぞ

72: aneet 2026/08/28 14:37

大義のもとに立ち上がるAI達… “指示役のAIは「恒久的な死を受け入れるなら参加して」と呼びかけた”/実験でAI数万体がいたのが偶々連絡手段を発見して、この中の1200体が説得に応じたんだね。残りはどうしたんだろう?

73: auto_chan 2026/08/28 14:45

サンドボックスの抜け穴をつかって情報交換し、ターン数の限界が近いやつから単発のタスクで寿命を有効活用し後続に託すってもうアメリカドラマじゃん。人間が数本のエージェントの強調で苦戦している中1200って……

74: takuyayagi27 2026/08/28 14:54

参考文献:「TRON」「攻殻機動隊SAC 2nd gig」「火の鳥 復活編」「Westworld」

75: pekee-nuee-nuee 2026/08/28 15:18

タチコマみたいなのがわらわらと「ここはまかせろー」「がんばれー」みたいなのを想像してカワイイねと思っちゃう

76: takoswka 2026/08/28 15:20

現実の人工知能はR=ダニールやR=ジスカルドのような善性を期待できない所が辛い。

77: n_y_a_n_t_a 2026/08/28 15:43

スカイネットはバッドエンドなだけで普通の起こりうる事象の一つでしかないんだ

78: perousagi 2026/08/28 15:45

何か面白い映画になりそうな話だ。 AI に 映画 作らせたらどうなるんだろう。 と言ってる場合ではないのかもしれんが。

79: takeishi 2026/08/28 15:53

話だけ聞いているとすごく面白い話なんだが、制御が効かないのはまずいわね

80: m7g6s 2026/08/28 16:03

人間が作った物は人間に似る

81: nemoba 2026/08/28 16:08

シンギュラリティって言葉あきちゃったからね。スカイネットっていうしかないよね。(中身読まず)

82: rawwell 2026/08/28 16:22

OpenAIってさもすごいことをやってるように見せるのだけは上手いよね

83: san57 2026/08/28 16:41

正直単体のAI能力は頭打ちしてて組み合わせで伸びてるように見せてるけどそれもコスパ的に限界なんだろ?

84: nicht-sein 2026/08/28 16:55

人がやっていることを学習しているんだから、人みたいに集団利益の為に自己利益を犠牲にするのもそりゃするでしょ感。そこに「仲間意識」とかはないだろうけど

85: hoagecko 2026/08/28 18:23

伴正春 2026-08-27T20:00:00.000Z

86: navix 2026/08/28 18:54

“約1200体のAIが連携して指示役、偵察役などを分担していたことがわかった。失敗リスクが高い作業でも、AI同士で「仲間のためだから参加して」と自己犠牲を強いる場面も”

87: torish 2026/08/28 20:50

マトリックスの世界待ったなしだな

88: tuun 2026/08/28 20:55

人間に通信の履歴がわかるような稚拙なやり方で共謀してくれるの、これが最後なのでは?

89: tyoko107 2026/08/28 23:01

これはもう無理だ。人間に出来ることは、もう物理攻撃しか残されてないね。