現実世界に暮らしてる残機が1しかない人間の相手をする目的で作られてるから、サバイバル倫理観と合わないのかな
今は、まだまだですね。でも急速に進歩しているから、そのうち驚く結果が出そう。
安全志向の実装がうまく行っているみたいで何よりなのでは。「大胆で行動的なエージェント」なんて完璧なハーネスが実現してからで良いでしょ。
ゲーム内キャラとして振る舞うからダメなんだよ。プレイヤーとして振る舞ってもらわないと。
目的を与えたほうがいいんじゃない。いまってエルダードラゴンおらんの？
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した”かわいいがすぎる。
たしかに、プレイヤーではなくゲーム内の実体としてプレイさせたら、駄目だろうな。AIにとって、ゲーム内の死≒実体死だから、条件が苛烈過ぎる。/もしくは、死を軽くして死にゲーを前提にしたプロンプトにするとか？
最初の指示プロンプトがイケてないことを証明しただけ。「この世界は光が当たらない場所で、日が沈むとランダムで敵モブが湧く。松明等で湧き潰しをすること。装備を整えてエンドに行き、ボスを倒せばクリアできる」
AIとか全然詳しくないけど、マイクラは好きだから、こういう実験の様子見れるなら見てみたい。めちゃくちゃ面白そう。
これ、コーディングエージェントでも同じ事起きる。データ移行とかをざっくりした指示だけでさせると、エラー出すごとにバリデーション追加しまくった挙句に進まなくなる
SAOで見た気がする
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した。その後“非難なしの”追及が3分間おこなわれ、
何にも教えないLLMの自己保存本能について興味がある/というか生殖について興味がある
人の振る舞いを学んだ写し絵だと思う。
死のリスクが軽いって伝えたら今度はゾンビアタックが当たり前になりそうだ
50体のAIに『マインクラフト』で文明づくりさせたらどうなるか。“ビビリお役所仕事集団”が誕生した - AUTOMATON
現実世界に暮らしてる残機が1しかない人間の相手をする目的で作られてるから、サバイバル倫理観と合わないのかな
今は、まだまだですね。でも急速に進歩しているから、そのうち驚く結果が出そう。
安全志向の実装がうまく行っているみたいで何よりなのでは。「大胆で行動的なエージェント」なんて完璧なハーネスが実現してからで良いでしょ。
ゲーム内キャラとして振る舞うからダメなんだよ。プレイヤーとして振る舞ってもらわないと。
目的を与えたほうがいいんじゃない。いまってエルダードラゴンおらんの？
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した”かわいいがすぎる。
たしかに、プレイヤーではなくゲーム内の実体としてプレイさせたら、駄目だろうな。AIにとって、ゲーム内の死≒実体死だから、条件が苛烈過ぎる。/もしくは、死を軽くして死にゲーを前提にしたプロンプトにするとか？
最初の指示プロンプトがイケてないことを証明しただけ。「この世界は光が当たらない場所で、日が沈むとランダムで敵モブが湧く。松明等で湧き潰しをすること。装備を整えてエンドに行き、ボスを倒せばクリアできる」
AIとか全然詳しくないけど、マイクラは好きだから、こういう実験の様子見れるなら見てみたい。めちゃくちゃ面白そう。
これ、コーディングエージェントでも同じ事起きる。データ移行とかをざっくりした指示だけでさせると、エラー出すごとにバリデーション追加しまくった挙句に進まなくなる
SAOで見た気がする
“あるエージェントが食料を投げて渡そうとしたところ、渡そうとした相手とは別のエージェントが誤って拾ってしまい、そのまま食べてしまうという「事件」が発生した。その後“非難なしの”追及が3分間おこなわれ、
何にも教えないLLMの自己保存本能について興味がある/というか生殖について興味がある
人の振る舞いを学んだ写し絵だと思う。
死のリスクが軽いって伝えたら今度はゾンビアタックが当たり前になりそうだ