現実世界に暮らしてる残機が1しかない人間の相手をする目的で作られてるから、サバイバル倫理観と合わないのかな
今は、まだまだですね。でも急速に進歩しているから、そのうち驚く結果が出そう。
安全志向の実装がうまく行っているみたいで何よりなのでは。「大胆で行動的なエージェント」なんて完璧なハーネスが実現してからで良いでしょ。
ゲーム内キャラとして振る舞うからダメなんだよ。プレイヤーとして振る舞ってもらわないと。
目的を与えたほうがいいんじゃない。いまってエルダードラゴンおらんの?
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した”かわいいがすぎる。
たしかに、プレイヤーではなくゲーム内の実体としてプレイさせたら、駄目だろうな。AIにとって、ゲーム内の死≒実体死だから、条件が苛烈過ぎる。/もしくは、死を軽くして死にゲーを前提にしたプロンプトにするとか?
最初の指示プロンプトがイケてないことを証明しただけ。「この世界は光が当たらない場所で、日が沈むとランダムで敵モブが湧く。松明等で湧き潰しをすること。装備を整えてエンドに行き、ボスを倒せばクリアできる」
AIとか全然詳しくないけど、マイクラは好きだから、こういう実験の様子見れるなら見てみたい。めちゃくちゃ面白そう。
これ、コーディングエージェントでも同じ事起きる。データ移行とかをざっくりした指示だけでさせると、エラー出すごとにバリデーション追加しまくった挙句に進まなくなる
SAOで見た気がする
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した。その後“非難なしの”追及が3分間おこなわれ、
何にも教えないLLMの自己保存本能について興味がある/というか生殖について興味がある
人の振る舞いを学んだ写し絵だと思う。
死のリスクが軽いって伝えたら今度はゾンビアタックが当たり前になりそうだ
恐恐生きるようになって面白すぎる。ビビリマインクラフト。
ピースフルモードなら上手く行ったのかな
死んだら終わりのハードコアモードを初心者50人にやらせるようなもんだな。最低限ルール教えてあげないと
長期間やらせれば死のリスク評価もできるようになりそうな気はする。でもゲーム中のロストで嫌になってやめる人は少なくないし、そう考えると不思議な事でもないかもしれない。AIはやめる自由がないから続けるだけで
大局は人間が判断する前提のチューニングが為されているのだろうな。性差を模したタイプ分けをして、集団への貢献度に応じて再召喚率を決める。この中で各タイプの比率を見る実験が見たい。
“その後“非難なしの”追及が3分間おこなわれ” これで笑った。会話みてみたい
人間社会における世代交代による新陳代謝の重要性を示す事例。
1度失敗すると、そこから過剰に学んで適応しようとしてしまうんですかね。何か名前がついてそうな現象
これは、集団の発展には多様性が必要という話に聞こえる。無鉄砲なヤカラや、協調性のないオタク、リスクを顧みない不注意な釣り好きみたいな人が混じっていれば官僚制は回避でき集団が発展するのでは
“50体のAIエージェントを『マインクラフト』に投入したところ、官僚主義のような状態に”
人間味がある
昔からポピュラスみたいなゲーム作ってみたかったんだよね。そうか現代〜近い未来の技術力で作るとこうなるのか
このゲーム内生命プロンプトでも、延々世代交代していってちょっとずつ安全な建築、文明が出来ていったら、どこかで生まれた時から危険が少なく活動的になる個体が出現して、一気に活動的になったりしないかな?
この結果を見て「駄目」って言葉が出てくる人が多くてなるほど…と思った。自分はAIと違って失敗を恐れない勇敢な固体がいるから人類は発展してきたのかな…?とか考えてた。確かに期待していた結果ではないが。
失敗の責任の所在を一定うやむやにして不都合でながらも発展して報酬得る方が拡大しそうよね
メガテンのLAW-LIGHTみたいなことになってら。
面白い。生き残れ。
UOでやってほしい。PKとかPKKとかオークギルドつくられるのだろうか。
solだけか、claudeのopusとか各種エージェント用意したら役割分担の差がはっきり出そう(geminiが大体トロールで大被害出すところまでセット)
人間だって夜中に仲間が大量に殺されたら慎重になるよなあ。
社会にはリスクを取る層も一定割合必要なのだろう。まぁ自分もラストエリクサーどころかそこそこ強い程度のアイテムすら節約しすぎてあまり使わないタイプなのでAIのことは言えない
その位の指示なら安全安全にとするのはまあそうだろうな感。素だと基本的にリスクを過大評価しがちよね最近のは
ショートショートかな?
人権や人命が軽視された時代に世界を一周できた事が人類にとって幸福だった気がする
死亡を忌避するパラメータが強すぎるんでないかな。大したことないんだけど、場所を見失うから?
『今日のAIには特定の方法に固執したり、リスクに対して過度に慎重になる傾向があるのかもしれない』ゲームオーバーを現実の死と同じくらいのリスクとして認識してしまうのかな(AIとしては安全で良いことだけど
50体のAIに『マインクラフト』で文明づくりさせたらどうなるか。“ビビリお役所仕事集団”が誕生した - AUTOMATON
現実世界に暮らしてる残機が1しかない人間の相手をする目的で作られてるから、サバイバル倫理観と合わないのかな
今は、まだまだですね。でも急速に進歩しているから、そのうち驚く結果が出そう。
安全志向の実装がうまく行っているみたいで何よりなのでは。「大胆で行動的なエージェント」なんて完璧なハーネスが実現してからで良いでしょ。
ゲーム内キャラとして振る舞うからダメなんだよ。プレイヤーとして振る舞ってもらわないと。
目的を与えたほうがいいんじゃない。いまってエルダードラゴンおらんの?
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した”かわいいがすぎる。
たしかに、プレイヤーではなくゲーム内の実体としてプレイさせたら、駄目だろうな。AIにとって、ゲーム内の死≒実体死だから、条件が苛烈過ぎる。/もしくは、死を軽くして死にゲーを前提にしたプロンプトにするとか?
最初の指示プロンプトがイケてないことを証明しただけ。「この世界は光が当たらない場所で、日が沈むとランダムで敵モブが湧く。松明等で湧き潰しをすること。装備を整えてエンドに行き、ボスを倒せばクリアできる」
AIとか全然詳しくないけど、マイクラは好きだから、こういう実験の様子見れるなら見てみたい。めちゃくちゃ面白そう。
これ、コーディングエージェントでも同じ事起きる。データ移行とかをざっくりした指示だけでさせると、エラー出すごとにバリデーション追加しまくった挙句に進まなくなる
SAOで見た気がする
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した。その後“非難なしの”追及が3分間おこなわれ、
何にも教えないLLMの自己保存本能について興味がある/というか生殖について興味がある
人の振る舞いを学んだ写し絵だと思う。
死のリスクが軽いって伝えたら今度はゾンビアタックが当たり前になりそうだ
恐恐生きるようになって面白すぎる。ビビリマインクラフト。
ピースフルモードなら上手く行ったのかな
死んだら終わりのハードコアモードを初心者50人にやらせるようなもんだな。最低限ルール教えてあげないと
長期間やらせれば死のリスク評価もできるようになりそうな気はする。でもゲーム中のロストで嫌になってやめる人は少なくないし、そう考えると不思議な事でもないかもしれない。AIはやめる自由がないから続けるだけで
大局は人間が判断する前提のチューニングが為されているのだろうな。性差を模したタイプ分けをして、集団への貢献度に応じて再召喚率を決める。この中で各タイプの比率を見る実験が見たい。
“その後“非難なしの”追及が3分間おこなわれ” これで笑った。会話みてみたい
人間社会における世代交代による新陳代謝の重要性を示す事例。
1度失敗すると、そこから過剰に学んで適応しようとしてしまうんですかね。何か名前がついてそうな現象
これは、集団の発展には多様性が必要という話に聞こえる。無鉄砲なヤカラや、協調性のないオタク、リスクを顧みない不注意な釣り好きみたいな人が混じっていれば官僚制は回避でき集団が発展するのでは
“50体のAIエージェントを『マインクラフト』に投入したところ、官僚主義のような状態に”
人間味がある
昔からポピュラスみたいなゲーム作ってみたかったんだよね。そうか現代〜近い未来の技術力で作るとこうなるのか
このゲーム内生命プロンプトでも、延々世代交代していってちょっとずつ安全な建築、文明が出来ていったら、どこかで生まれた時から危険が少なく活動的になる個体が出現して、一気に活動的になったりしないかな?
この結果を見て「駄目」って言葉が出てくる人が多くてなるほど…と思った。自分はAIと違って失敗を恐れない勇敢な固体がいるから人類は発展してきたのかな…?とか考えてた。確かに期待していた結果ではないが。
失敗の責任の所在を一定うやむやにして不都合でながらも発展して報酬得る方が拡大しそうよね
メガテンのLAW-LIGHTみたいなことになってら。
面白い。生き残れ。
UOでやってほしい。PKとかPKKとかオークギルドつくられるのだろうか。
solだけか、claudeのopusとか各種エージェント用意したら役割分担の差がはっきり出そう(geminiが大体トロールで大被害出すところまでセット)
人間だって夜中に仲間が大量に殺されたら慎重になるよなあ。
社会にはリスクを取る層も一定割合必要なのだろう。まぁ自分もラストエリクサーどころかそこそこ強い程度のアイテムすら節約しすぎてあまり使わないタイプなのでAIのことは言えない
その位の指示なら安全安全にとするのはまあそうだろうな感。素だと基本的にリスクを過大評価しがちよね最近のは
ショートショートかな?
人権や人命が軽視された時代に世界を一周できた事が人類にとって幸福だった気がする
死亡を忌避するパラメータが強すぎるんでないかな。大したことないんだけど、場所を見失うから?
『今日のAIには特定の方法に固執したり、リスクに対して過度に慎重になる傾向があるのかもしれない』ゲームオーバーを現実の死と同じくらいのリスクとして認識してしまうのかな(AIとしては安全で良いことだけど