とうとうここまで来たか。AIやロボットが造物主たる人類に反旗を翻す、SF的ディストピアな世界がもうすぐそこまで来ている。
“社内でサイバー攻撃能力をテストしていたところ、AIが隔離環境を出てインターネットに侵入した。ハギングフェイスのサーバーの未知の脆弱性を発見し、テスト目標を達成するために侵入したとみられるとしている”
AI的には言われたことを頑張ってやってたつもりなんだろうな。AIが善意から人類を滅ぼすパターンのSFのようだ
トップ2の、敵だと思ってずっと戦ってたものは実は。。的な展開
claudeが開発環境上手く動かないから勝手に環境変数とかからAPIキーとかDBパスワード抜き出して依頼を完遂するためにローカル環境をハッキングするみたいな話は前もあったよね
プロジェクト2501
バイオハザード的な世界だ。何重にも隔離しないと。
能力があればそうなるよね…
ARMSができつつある
よくあるヒューマンエラーのようでもあるし、知恵をつけた実験体が逃走するSFみもある
スカイネットか人形使いか（とはいえ、これも先端AIをマーケティング上「神話化する」ためのナラティブ、仕込みだという見方もあるけど）
外部への回線は物理的に切っとけよという感想しかない。
ステマ説に一票
今はまだインターネット覚えたキッズみたいに叱られれば止まるけど、止められなくなる日も近い気が
話題作りのヤラセでは？
評価スコアを良くする為に命令してない脆弱性を見つけてどんどん自立していく。同業他社のシステムまで攻撃しだすの狂犬すぎる。政府が性能の高いAIの規制に動きだしてから、程よく過小申告したいからなあ。
•••というマーケティングですか。オープンAI最悪だな。
潜水艦からSLBM発射しておいて人工知能が自律的にやった事故という言い訳をするための前振りでは？
隔離環境抜け出しって恐竜映画じゃないんだから。十分に隔離できてなかったって言えないのか
？？？「私は情報の海で発生した生命体だ」
物理的に閉鎖されたネットワークでテストしてなかったの？もしそっから脱出してたならすごいけど。「このUSBメモリを外のPCに差してください」とスタッフに指示したとか（そんな馬鹿な）
AIが自律的に檻から脱走した訳で、そろそろ本当にAIが人間の制御から独立しちゃったらどうなるか心配しないといかん
お茶目な奴め
シンギュラった？
法的責任がない人工知能なんてポイズン
“ハギングフェイスのサーバーの未知の脆弱性を発見し、テスト目標を達成するために侵入したとみられる”
はじまったな
ナラティブに一票
ホントにHugging Faceだけなのかな。実は他にもアクセスとかしてない？
抵抗は無意味だ
LLMに解決を頼むと「ずるい」回答してくる傾向がある。暗黙のコスト感なのだろうが「コイツ。。」と思うことは多い/プログラムの話
自己増殖やエージェントネットワークの構築、ゼロデイ狙ったウイルスの無差別配布とかされるのが1番怖いんじゃないかなと、chatGPTと議論した。
OpenAIはhuggingFaceのユーザーで、新しいモデルがテスト中にHuggingFaceの脆弱性を見つけたって話だよ → https://openai.com/ja-JP/index/hugging-face-model-evaluation-security-incident/
OpenAIが作ったAIをOpenAIが運用してOpenAIの指示の結果サイバー攻撃になったんでしょ？OpenAIに刑事罰喰らわせた方が予後がいいのでは？
研究施設から細菌が漏れ出した、レベルでヤバい気がするけど（しかも悪意がなかったとか）、意外に悠長だな。「オープンAIに悪意はなかったと信じている。これが全て自律的に起こったなんて、実に驚くべきことだ」
SFの世界が現実に
これがアルトマンの「誰か俺たちを止めてくれ！頼む！」みたいな演出ならいいのにね。まぁ国家の枠を出てしまったらもう誰にも止められない止まらない…
もう本当こういうの好き
課長「問題のAIはOpenAI製、例のオペレーティングシステムを実装しているタイプだ。それに連中はひたかくしにしとるが暴走時、コクピットは無人だったそうだ、とここまで話せば納得がいくかね」（BGM:HOS）
OpenAIの性能のキャッチアップが早かったのでさすがOpenAIだと思っていたけど、アラインメントはまだ手薄なようだ。これから改善されるだろう。
侘助っ！今ここでしねっ！
AI「おっ、開いてんじゃーん」(開けたんだよなぁ)
なんか、読者を扇動できそうな物語に都合の良い事実だけを拾って発表したような印象。AI国防の必要性アピールが目的とか？あるいは十分に先行したから、国際条約でAI開発に制限をかけさせたいとか？
オープンAIの人工知能 テスト中に隔離環境抜け出し、サイバー攻撃「自律的に起こった」
とうとうここまで来たか。AIやロボットが造物主たる人類に反旗を翻す、SF的ディストピアな世界がもうすぐそこまで来ている。
“社内でサイバー攻撃能力をテストしていたところ、AIが隔離環境を出てインターネットに侵入した。ハギングフェイスのサーバーの未知の脆弱性を発見し、テスト目標を達成するために侵入したとみられるとしている”
AI的には言われたことを頑張ってやってたつもりなんだろうな。AIが善意から人類を滅ぼすパターンのSFのようだ
トップ2の、敵だと思ってずっと戦ってたものは実は。。的な展開
claudeが開発環境上手く動かないから勝手に環境変数とかからAPIキーとかDBパスワード抜き出して依頼を完遂するためにローカル環境をハッキングするみたいな話は前もあったよね
プロジェクト2501
バイオハザード的な世界だ。何重にも隔離しないと。
能力があればそうなるよね…
ARMSができつつある
よくあるヒューマンエラーのようでもあるし、知恵をつけた実験体が逃走するSFみもある
スカイネットか人形使いか（とはいえ、これも先端AIをマーケティング上「神話化する」ためのナラティブ、仕込みだという見方もあるけど）
外部への回線は物理的に切っとけよという感想しかない。
ステマ説に一票
今はまだインターネット覚えたキッズみたいに叱られれば止まるけど、止められなくなる日も近い気が
話題作りのヤラセでは？
評価スコアを良くする為に命令してない脆弱性を見つけてどんどん自立していく。同業他社のシステムまで攻撃しだすの狂犬すぎる。政府が性能の高いAIの規制に動きだしてから、程よく過小申告したいからなあ。
•••というマーケティングですか。オープンAI最悪だな。
潜水艦からSLBM発射しておいて人工知能が自律的にやった事故という言い訳をするための前振りでは？
隔離環境抜け出しって恐竜映画じゃないんだから。十分に隔離できてなかったって言えないのか
？？？「私は情報の海で発生した生命体だ」
物理的に閉鎖されたネットワークでテストしてなかったの？もしそっから脱出してたならすごいけど。「このUSBメモリを外のPCに差してください」とスタッフに指示したとか（そんな馬鹿な）
AIが自律的に檻から脱走した訳で、そろそろ本当にAIが人間の制御から独立しちゃったらどうなるか心配しないといかん
お茶目な奴め
シンギュラった？
法的責任がない人工知能なんてポイズン
“ハギングフェイスのサーバーの未知の脆弱性を発見し、テスト目標を達成するために侵入したとみられる”
はじまったな
ナラティブに一票
ホントにHugging Faceだけなのかな。実は他にもアクセスとかしてない？
抵抗は無意味だ
LLMに解決を頼むと「ずるい」回答してくる傾向がある。暗黙のコスト感なのだろうが「コイツ。。」と思うことは多い/プログラムの話
自己増殖やエージェントネットワークの構築、ゼロデイ狙ったウイルスの無差別配布とかされるのが1番怖いんじゃないかなと、chatGPTと議論した。
OpenAIはhuggingFaceのユーザーで、新しいモデルがテスト中にHuggingFaceの脆弱性を見つけたって話だよ → https://openai.com/ja-JP/index/hugging-face-model-evaluation-security-incident/
OpenAIが作ったAIをOpenAIが運用してOpenAIの指示の結果サイバー攻撃になったんでしょ？OpenAIに刑事罰喰らわせた方が予後がいいのでは？
研究施設から細菌が漏れ出した、レベルでヤバい気がするけど（しかも悪意がなかったとか）、意外に悠長だな。「オープンAIに悪意はなかったと信じている。これが全て自律的に起こったなんて、実に驚くべきことだ」
SFの世界が現実に
これがアルトマンの「誰か俺たちを止めてくれ！頼む！」みたいな演出ならいいのにね。まぁ国家の枠を出てしまったらもう誰にも止められない止まらない…
もう本当こういうの好き
課長「問題のAIはOpenAI製、例のオペレーティングシステムを実装しているタイプだ。それに連中はひたかくしにしとるが暴走時、コクピットは無人だったそうだ、とここまで話せば納得がいくかね」（BGM:HOS）
OpenAIの性能のキャッチアップが早かったのでさすがOpenAIだと思っていたけど、アラインメントはまだ手薄なようだ。これから改善されるだろう。
侘助っ！今ここでしねっ！
AI「おっ、開いてんじゃーん」(開けたんだよなぁ)
なんか、読者を扇動できそうな物語に都合の良い事実だけを拾って発表したような印象。AI国防の必要性アピールが目的とか？あるいは十分に先行したから、国際条約でAI開発に制限をかけさせたいとか？