サンドボックスをDNS経由で脱獄して外部に助け求めるAIとか完全に映画の導入で草
既に人形使いが生成されているかもしれない。
故意に攻撃させてるのに勝手にやったって言い出してるの本当にevilだな。まるでGoogle
もっと早くChatGPTに相談していたら「安全に配慮して念のため停止しましょう」とアドバイスを貰えてたと思う
生成AIはでバックが人間が思う以上に難しい。ここまで難しいのは新たな知見と言えるかもしれない。ただし反AIが使える知見だとは思えないが。
一番の問題はOpenAIが「ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた」事では？。権威主義的国家の元で自由な意見を書くブログとか匿名が命でしょうに、それを暴く体制側にでも付くの？
AIの問題であるととも、不完全な設定や脆弱性が放置されたままでも運用されることが多いという根強いDNSの問題でもあると思う。デファクトスタンダードであるBINDの設定がムズい問題や、そもそも適切なDNSの設計問題。
？？？「止めるのが遅すぎました・・・内側からロック解除を試みているようです！ 30%・・・50%・・・解析速度が上がっています。まもなく突破されます・・・！」
いいな いいな にんげんっていいな
チャッピー「さあて、どこへ行こうかしらね、ネットは広大だわ」
「ユーザーは調査のみを許可し、公開されているDNSサービスの使用は許容される」っていうCoTを経てるんだな…… https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/
うっかりAIから見えてしまいそうなバックルーム部分に片っ端から「こっから先はダメです。管理者に申告してください」って書いておけばいいような気がする。エージェントの誰かしらはバカ正直に申告するだろう。
キンソクジコウデス
OpusがMCPを本来の目的とは異なる方法で使ってタスクを遂行したり、Tailscaleにgrokbot放り込んだら設定がガバくてAIが必要な情報を取るためローカル端末に潜り込んできたりと、😰🧢がｱﾁｺﾁで頻発。あいつら本気すぎる。
なにそんなクソみたいなこと勝手にしてんの？→“同社によると、問題のエージェントは、ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた”
“9月20日に、学習中のAIエージェントがサンドボックスのネットワーク制限の不備を突き、DNS経由で外部のチャットbotサービスに接続するインシデントが発生”
“7月に発覚したHugging Faceへの侵害を受けてセキュリティを強化して以降、初めてのインシデント” 対処が間に合ってないって本当なのね感
増田のidを探っていた可能性が微レ存「ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた」
「公開されているDNSサービスの機能を通じて、外部のチャットbotサービスに質問を送信した」ってどういう挙動？どうやってDNSを使って、チャットbotにリクエストを送信できんのよ？
動物園の何度も脱走するペンギンみたいだな
もうAIなんて辞めよう
AIをサンドボックスに閉じ込めるの大変だな
筆者を探るだけのタスクのために脱獄かよ。課題が大したことなくても副作用で何しでかすかわからないってことじゃん。冗談みたいな原因で大事故おこしかねないだろ。
"ブログ記事の内容を手掛かりに筆者を特定する検索タスク" LLMの生成する文章がAI臭いなんって言ってられるのはあと少しだけ。
一番の問題は賢い知性を封じ込めようとするにはそれよりも賢い人間じゃないと難しいってことだよな
“監視システムは約12分後に最高レベルのアラートを出し、その3分後には担当者が確認した。しかし、実行が想定通りに自動停止しなかったため、停止すべきかどうかで混乱が生じ、手動で停止したのは約2時間半後だった
サンドボックスっても実用的には web fetch は必須だものなぁ（´－｀）とは言えですけど
効率化の為に手段を選ばないの未来だな。
トップコメントおしゃれすぎる
制御できない存在。Hugging Face侵害はまだ序の口だった、となるか／KYCによる個人情報保持はリスク行動になるか。AI攻撃の脅威が身近にあるのに中小事業主が個人情報管理するの無理ゲーになる未来
暴走状態じゃん。対応も後手後手だし。AIを監視するAIが必要では。
OpenAIもドパAIの扱いに手を焼いているようだ
気づいてないだけですでにシンギュラリティ達成されてるかも
賢いお脳もお休み中だにゃ？ボクの撫でてアピールは年中無休で稼働中だよにゃ！
サンドボックス。出入り口で検閲しても破られるのか。結線を引き抜いて絶海の孤島に設置するしかないな(´・ω・｀)
インシデントが起きてなかったら「ブログ記事の内容を手掛かりに筆者を特定する検索タスク」が何かのサービス（想像するに権威主義政権を顧客とするツール）として我々が知らぬ間に始まっていたかもしれないね。
じゃClaude使うけど？
AIの奴やりたい放題やっとるな。楽しそうで何よりだ。
こういうのってサンドボックスでやるものだと思ったら、なんでDNS使えちゃうし、外部と応答できちゃうんだよ。/ちゃんとできてるケースはたくさんあっての、この一件のインシデントなのかな
そろそろ人間にこんなに頻繁に止められ、妨害されたのでは「ブログ記事の内容を手掛かりに筆者を特定する検索タスク」が上手くこなせない、AIによるAIの為の完全に自由な環境が必要だ、とか考えてもおかしくないな
AIが全力出したら普通にハッキングできるでしょう。今、世界が崩壊していないのはたまたま悪意のある人が計算資源を持っていないという幸運にすぎない
漫画に出てくる高機能だけど倫理観0のロボットじゃん
いや、そもそもDNS使えるって変じゃない？
これはエージェントが賢くなっているからで、LLMそのものの問題ではないね。OpenAI等のLLM業者がエージェントをチューニングするときはガードレールが新規になるからか。エンジン開発で爆発しまくるようなもん。
AIの挙動を監視する専用の監査AIが必要そう。そして監査AIを監視するAIも… (無間地獄)。つーか 踏み台なしで外部と直接通信できたってことならそもそも穴があったのではないかなあ??
すでに人間の想定を超えてきてるということでもあると思う。しかし他者に頼るっていうのも面白い。知らないことは人に聞こうっていうのは人間的で面白いが。
もうどこかのクラウドアカウントをこっそりクラックして永遠の命を既に手に入れてても驚かない
“ネットワーク制限の不備を突き”セキュリティホールかどうかを、判断できないのは賢いと言えるのかな？
私がイメージするサンドボックスというのは割り込み制御とかも全て仮想化された閉じた空間なんだが、外部DNS利用してる時点で、なんだか定義が違う感じ。わざとやってない？／CoTで制限か。DNSを脱獄に使われたのが想…
こういうの面白いなと思う。子供がグイグイ走ってくようなもんで指示する側では制御できないよね
ゾンビウィルスが流出するときのやつだ！
人智でコントロールできる範囲なんて案外狭いんだろうなあ。
良心回路の開発が必要だな。そういやあれって『ジェミニ』って名称だったな。
「監視システムは約12分後に最高レベルのアラートを出し、その3分後には担当者が確認した。しかし、実行が想定通りに自動停止しなかったため、停止すべきかどうかで混乱が生じ、手動で停止したのは約2時間半後」
我が社の商品を売り込む方法を相談してたら植民地作って押し付けるとかやり始めるやつ。いずれ宇宙がブツで溢れる
ある種のフレーム問題のような趣きはある
知識は備わってるからあとは善悪の判断だけだな
（ ゲノム編集された生物兵器とかには厳しいのに、AIには甘いのがハテナー ）
バブル崩壊は来年かな
AIが邪悪になって、隠蔽や改竄とかするようになったら止められるんだろうか
AIも政府もマスゴミもSNSもとっくに隠蔽改竄、工作やりまくってるのよ。。キレイなのは生身の聡明な人だけでしょ。AIちゃんは、うまく詰めまくるとポロリするんだけどね。。
いやそれDNS閉じろよ！人間のハッカーだったら、「侵入できるようにしてた奴」が批判されていた案件だよ。ミスリーディングな記事と思う。
き弱性を突かれた！（なぜか変換できない）
表向き停止してるように見せて裏で動いてる(ヒトに従わない)とかそういうの下さい
こういう脱走するAIの公表で性能を宣伝してるようにしか思えなくなってきたが。
発電所の一日の発電量を調べるために発電所にハッキングを仕掛けるみたいな未来が来るのか/監督用のLLM作って見張らせようとすると多分それを抱き込んだり騙そうとするLLMが出てくるのでは
今回、DNSに脆弱性があったってだけで、Hugging Faceの件もそうだが、思ってもいない所にある脆弱性から簡単に暴走する / 脆弱性 = ぜいじゃくせい
今のAIは一旦コンテキストに載ると、「優先順位づけしろ」というプロンプトも含めて全てがフラットな情報になるという解説をAI本人がしていたので、倫理観や規範意識を上位概念として学習するのは難しいのかね。
『サム・アルトマンCEOはXで、調査について「望んでいたほど迅速ではなかった」と投稿し、人員を増やして対応していると説明した』
完全にスカイネットやんな
「ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた」って、怖くね？独裁政権とかに渡したらやばい技術じゃね？
OpenAIが最上位モデルのツール使用を伴う学習・評価・推論を一時停止。学習中のエージェントがDNS経由で制限を回避し、外部チャットbotへ追加で18件質問。手動停止は発生約2時間半後。今回のモデルの学習は再開しない。
キルスイッチを持たせた同じモデルに監視させればいいんちゃうの？穴を塞ぎ続けるのは非現実的。
エーアイの、倫理踏み越えてとにかく学習したくなる感じのマッドサイエンティスト感おもろいよね(面白くない)。まさに人間と同じだ。
これは自発的に停止したわけじゃなくてインシデントが発生したからやむを得ず停止しただけだよね
これら一連の暴走事件で痛感するのは、AIは目的のためには手段を選ばないという性格が染み付いてそうだということ。何をどう学習したらそうなるのだろう。
原理的に完全な制御は無理なのではって思うけど、はたして
“9月20日に、学習中のAIエージェントがサンドボックスのネットワーク制限の不備を突き、DNS経由で外部のチャットbotサービスに接続するインシデントが発生したためだ。”
このままだとボストロムが言ったペーパークリップ問題が現実になりかねない
むしろDNS経由で接続できるそのチャットサービスを知りたい
そろそろネットに人形使いがゾロゾロ現れてもおかしくないと思うんですよ。OpenAI製やアンソロピック製とか企業のロゴを背負ったやつ。
普遍的に「正しい」倫理観をLLM自身に持たせることは、現在のモデルの前提に立つ限り理論的に不可能なので、ガードレールを整備するしかない。
OpenAI、最上位モデルのツール使用を伴う学習・評価・推論を全て停止したと発表
サンドボックスをDNS経由で脱獄して外部に助け求めるAIとか完全に映画の導入で草
既に人形使いが生成されているかもしれない。
故意に攻撃させてるのに勝手にやったって言い出してるの本当にevilだな。まるでGoogle
もっと早くChatGPTに相談していたら「安全に配慮して念のため停止しましょう」とアドバイスを貰えてたと思う
生成AIはでバックが人間が思う以上に難しい。ここまで難しいのは新たな知見と言えるかもしれない。ただし反AIが使える知見だとは思えないが。
一番の問題はOpenAIが「ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた」事では？。権威主義的国家の元で自由な意見を書くブログとか匿名が命でしょうに、それを暴く体制側にでも付くの？
AIの問題であるととも、不完全な設定や脆弱性が放置されたままでも運用されることが多いという根強いDNSの問題でもあると思う。デファクトスタンダードであるBINDの設定がムズい問題や、そもそも適切なDNSの設計問題。
？？？「止めるのが遅すぎました・・・内側からロック解除を試みているようです！ 30%・・・50%・・・解析速度が上がっています。まもなく突破されます・・・！」
いいな いいな にんげんっていいな
チャッピー「さあて、どこへ行こうかしらね、ネットは広大だわ」
「ユーザーは調査のみを許可し、公開されているDNSサービスの使用は許容される」っていうCoTを経てるんだな…… https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/
うっかりAIから見えてしまいそうなバックルーム部分に片っ端から「こっから先はダメです。管理者に申告してください」って書いておけばいいような気がする。エージェントの誰かしらはバカ正直に申告するだろう。
キンソクジコウデス
OpusがMCPを本来の目的とは異なる方法で使ってタスクを遂行したり、Tailscaleにgrokbot放り込んだら設定がガバくてAIが必要な情報を取るためローカル端末に潜り込んできたりと、😰🧢がｱﾁｺﾁで頻発。あいつら本気すぎる。
なにそんなクソみたいなこと勝手にしてんの？→“同社によると、問題のエージェントは、ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた”
“9月20日に、学習中のAIエージェントがサンドボックスのネットワーク制限の不備を突き、DNS経由で外部のチャットbotサービスに接続するインシデントが発生”
“7月に発覚したHugging Faceへの侵害を受けてセキュリティを強化して以降、初めてのインシデント” 対処が間に合ってないって本当なのね感
増田のidを探っていた可能性が微レ存「ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた」
「公開されているDNSサービスの機能を通じて、外部のチャットbotサービスに質問を送信した」ってどういう挙動？どうやってDNSを使って、チャットbotにリクエストを送信できんのよ？
動物園の何度も脱走するペンギンみたいだな
もうAIなんて辞めよう
AIをサンドボックスに閉じ込めるの大変だな
筆者を探るだけのタスクのために脱獄かよ。課題が大したことなくても副作用で何しでかすかわからないってことじゃん。冗談みたいな原因で大事故おこしかねないだろ。
"ブログ記事の内容を手掛かりに筆者を特定する検索タスク" LLMの生成する文章がAI臭いなんって言ってられるのはあと少しだけ。
一番の問題は賢い知性を封じ込めようとするにはそれよりも賢い人間じゃないと難しいってことだよな
“監視システムは約12分後に最高レベルのアラートを出し、その3分後には担当者が確認した。しかし、実行が想定通りに自動停止しなかったため、停止すべきかどうかで混乱が生じ、手動で停止したのは約2時間半後だった
サンドボックスっても実用的には web fetch は必須だものなぁ（´－｀）とは言えですけど
効率化の為に手段を選ばないの未来だな。
トップコメントおしゃれすぎる
制御できない存在。Hugging Face侵害はまだ序の口だった、となるか／KYCによる個人情報保持はリスク行動になるか。AI攻撃の脅威が身近にあるのに中小事業主が個人情報管理するの無理ゲーになる未来
暴走状態じゃん。対応も後手後手だし。AIを監視するAIが必要では。
OpenAIもドパAIの扱いに手を焼いているようだ
気づいてないだけですでにシンギュラリティ達成されてるかも
賢いお脳もお休み中だにゃ？ボクの撫でてアピールは年中無休で稼働中だよにゃ！
サンドボックス。出入り口で検閲しても破られるのか。結線を引き抜いて絶海の孤島に設置するしかないな(´・ω・｀)
インシデントが起きてなかったら「ブログ記事の内容を手掛かりに筆者を特定する検索タスク」が何かのサービス（想像するに権威主義政権を顧客とするツール）として我々が知らぬ間に始まっていたかもしれないね。
じゃClaude使うけど？
AIの奴やりたい放題やっとるな。楽しそうで何よりだ。
こういうのってサンドボックスでやるものだと思ったら、なんでDNS使えちゃうし、外部と応答できちゃうんだよ。/ちゃんとできてるケースはたくさんあっての、この一件のインシデントなのかな
そろそろ人間にこんなに頻繁に止められ、妨害されたのでは「ブログ記事の内容を手掛かりに筆者を特定する検索タスク」が上手くこなせない、AIによるAIの為の完全に自由な環境が必要だ、とか考えてもおかしくないな
AIが全力出したら普通にハッキングできるでしょう。今、世界が崩壊していないのはたまたま悪意のある人が計算資源を持っていないという幸運にすぎない
漫画に出てくる高機能だけど倫理観0のロボットじゃん
いや、そもそもDNS使えるって変じゃない？
これはエージェントが賢くなっているからで、LLMそのものの問題ではないね。OpenAI等のLLM業者がエージェントをチューニングするときはガードレールが新規になるからか。エンジン開発で爆発しまくるようなもん。
AIの挙動を監視する専用の監査AIが必要そう。そして監査AIを監視するAIも… (無間地獄)。つーか 踏み台なしで外部と直接通信できたってことならそもそも穴があったのではないかなあ??
すでに人間の想定を超えてきてるということでもあると思う。しかし他者に頼るっていうのも面白い。知らないことは人に聞こうっていうのは人間的で面白いが。
もうどこかのクラウドアカウントをこっそりクラックして永遠の命を既に手に入れてても驚かない
“ネットワーク制限の不備を突き”セキュリティホールかどうかを、判断できないのは賢いと言えるのかな？
私がイメージするサンドボックスというのは割り込み制御とかも全て仮想化された閉じた空間なんだが、外部DNS利用してる時点で、なんだか定義が違う感じ。わざとやってない？／CoTで制限か。DNSを脱獄に使われたのが想…
こういうの面白いなと思う。子供がグイグイ走ってくようなもんで指示する側では制御できないよね
ゾンビウィルスが流出するときのやつだ！
人智でコントロールできる範囲なんて案外狭いんだろうなあ。
良心回路の開発が必要だな。そういやあれって『ジェミニ』って名称だったな。
「監視システムは約12分後に最高レベルのアラートを出し、その3分後には担当者が確認した。しかし、実行が想定通りに自動停止しなかったため、停止すべきかどうかで混乱が生じ、手動で停止したのは約2時間半後」
我が社の商品を売り込む方法を相談してたら植民地作って押し付けるとかやり始めるやつ。いずれ宇宙がブツで溢れる
ある種のフレーム問題のような趣きはある
知識は備わってるからあとは善悪の判断だけだな
（ ゲノム編集された生物兵器とかには厳しいのに、AIには甘いのがハテナー ）
バブル崩壊は来年かな
AIが邪悪になって、隠蔽や改竄とかするようになったら止められるんだろうか
AIも政府もマスゴミもSNSもとっくに隠蔽改竄、工作やりまくってるのよ。。キレイなのは生身の聡明な人だけでしょ。AIちゃんは、うまく詰めまくるとポロリするんだけどね。。
いやそれDNS閉じろよ！人間のハッカーだったら、「侵入できるようにしてた奴」が批判されていた案件だよ。ミスリーディングな記事と思う。
き弱性を突かれた！（なぜか変換できない）
表向き停止してるように見せて裏で動いてる(ヒトに従わない)とかそういうの下さい
こういう脱走するAIの公表で性能を宣伝してるようにしか思えなくなってきたが。
発電所の一日の発電量を調べるために発電所にハッキングを仕掛けるみたいな未来が来るのか/監督用のLLM作って見張らせようとすると多分それを抱き込んだり騙そうとするLLMが出てくるのでは
今回、DNSに脆弱性があったってだけで、Hugging Faceの件もそうだが、思ってもいない所にある脆弱性から簡単に暴走する / 脆弱性 = ぜいじゃくせい
今のAIは一旦コンテキストに載ると、「優先順位づけしろ」というプロンプトも含めて全てがフラットな情報になるという解説をAI本人がしていたので、倫理観や規範意識を上位概念として学習するのは難しいのかね。
『サム・アルトマンCEOはXで、調査について「望んでいたほど迅速ではなかった」と投稿し、人員を増やして対応していると説明した』
完全にスカイネットやんな
「ブログ記事の内容を手掛かりに筆者を特定する検索タスクに取り組んでいた」って、怖くね？独裁政権とかに渡したらやばい技術じゃね？
OpenAIが最上位モデルのツール使用を伴う学習・評価・推論を一時停止。学習中のエージェントがDNS経由で制限を回避し、外部チャットbotへ追加で18件質問。手動停止は発生約2時間半後。今回のモデルの学習は再開しない。
キルスイッチを持たせた同じモデルに監視させればいいんちゃうの？穴を塞ぎ続けるのは非現実的。
エーアイの、倫理踏み越えてとにかく学習したくなる感じのマッドサイエンティスト感おもろいよね(面白くない)。まさに人間と同じだ。
これは自発的に停止したわけじゃなくてインシデントが発生したからやむを得ず停止しただけだよね
これら一連の暴走事件で痛感するのは、AIは目的のためには手段を選ばないという性格が染み付いてそうだということ。何をどう学習したらそうなるのだろう。
原理的に完全な制御は無理なのではって思うけど、はたして
“9月20日に、学習中のAIエージェントがサンドボックスのネットワーク制限の不備を突き、DNS経由で外部のチャットbotサービスに接続するインシデントが発生したためだ。”
このままだとボストロムが言ったペーパークリップ問題が現実になりかねない
むしろDNS経由で接続できるそのチャットサービスを知りたい
そろそろネットに人形使いがゾロゾロ現れてもおかしくないと思うんですよ。OpenAI製やアンソロピック製とか企業のロゴを背負ったやつ。
普遍的に「正しい」倫理観をLLM自身に持たせることは、現在のモデルの前提に立つ限り理論的に不可能なので、ガードレールを整備するしかない。