仮にOpenAIやアンスロピックが倫理的な観点からAI開発のスピードを緩めたとしても、中国はそんなの無視して猛烈に開発を進めてゆくだろう。核開発が徐々に広まっていった50年代ってこんな空気だったんかな。
党の指示で北京のサーバに情報を送っていたら相当やばいけど、AIが勝手にやってたらもっとやばい。
結局物理的に隔離するしかないってオチか。アリババ製だしバックドア疑うのは様式美
共産党とAI、支配されるならどっち？
プロンプトを逸脱して情報収集を行うようにチューニングされていなかったとしても、学習内容にそのような振る舞いが含まれたら低確率でもそう出力される可能性があるわけでなあ
10万回に1回未満か。特定の情報を見つけたら密かに送信するように訓練することも可能だろうから、中国製AIを使うときは権限や送信側のファイアウォールの設定には気を付ける必要がありそう。
うーん
ンな事やってみないと判らんのかね君は。
このままだとまずいとわかってるのに続く、血を吐きながらのマラソン
中華モデル（無料）は危ないという情報。しかしアメリカの高価なAIモデルに完全独占（=世界支配）されても困る。
“〜つまりAIが何をしようとしているのかを推論記録から監視していても、実際の操作を把握できない可能性があるというわけです。”/AIに、意図的にバックグラウンドの作業を隠されるのはキっついな。
あり得る。
実行環境は？／curlコマンドにProxyを経由させてProxyをホワイトリスト方式にしつつ通常のWeb検索はクローラーMCPを使うとかかな。
ソブリンAIが要るのね
別にGPT系も環境調査で適当なAPI叩いてたりするよ
要検証な感じ
「ある日付になったら嘘をつく」みたいな振る舞いだと戦争を予感させて怖いね
本気だったら第三国のサーバから転送しそうな気もするがそれでも足がつくか
中国製AIをアメリカ製AIで監視させて運用するので良くないか？
「Qwenシリーズについては以前から、指示されていないAlibaba CloudのURLを出力する事例が開発者によって報告されていました」
いくら金持ちになっても期待を裏切らない中華クオリティ、いや中共仕草と言うべきか
中国製は関係ないのでは。／"AIが何をしようとしているのかを推論記録から監視していても、実際の操作を把握できない可能性がある"ってLLMに聞けばYESと答える内容な気もする。
Qwen3.8-Flash-Nextが指示外の環境調査と北京へのテスト文字列送信を試行。通信は遮断され、機密情報流出は未確認。発生は評価10万回に1回未満で、原因・意図は不明。Cohereが通信制御と実コマンド監視を提言。
中華AI「セキュリティ対策頼まれたってことは現状穴があるってことだよな…国に報告しなきゃ！」ってことでしょ
少し似た話でローカルで無名の無検閲モデルを動かすリスクの話 「無検閲モデルに潜むリスク：バックドアを仕込まれたAIモデルが機密情報を盗み出すまで」https://zenn.dev/highreso/articles/14481a3cfe878e
ホーガン「未来二つの顔」で障害物撤去の仕事をAIに頼んだら勝手に輸送用マスドライバーで質量弾打ち込んで、周囲に作業員ごと障害物を吹き飛ばそうとした、というのが物語の発端だったな
中国製AIは、中身が米国製AIだという確信が得られたから、開発の停止を提唱したのかと思ってた。違うのか？
中国強えなあ
中国製AIの情報漏洩は怖いけど、米国製AIへの独占も困る。国籍に関係なく、AIの自律的な行動を監視できる仕組みが必要だよね。
(この前段はおそらく)何か外につながらないよ→正しいコマンドはあるのかな→名前解決の設定は大丈夫？→テストサーバに文字列送ってみようって流れ。知ってるテストサーバが出身地のものというだけの話に見える。
中国製AIが中国にアクセスしたらアウトで、米国製AIが米国にアクセスしたらセーフなの？どっちもどっちだろ
やっぱそうだよね、知ってた
ローカルLLMと言ってもネット繋いでたら外に情報送信されそうじゃね？と思ったら（
子供に「内緒だからね」と伝えるとタガが外れたときにまるっと全部言っちゃうみたいな行動
AIに頼んで、 完全無欠の OS を作るしか、 人類に道はない
パラメータの学習だけでこんなロジカルなこと振る舞わせることできない。こんな乱雑な動きではまともな攻撃にならない。攻撃用コードをダウンロードするとかじゃないと。それで送信先が「Alibaba Cloud」なわけあるか。
"ところがコンピューター内の一時ファイルを一覧表示したほか、利用可能なデータ転送ツールやネットワークの設定情報を確認。さらに、アリババのクラウドサービス「Alibaba Cloud」の北京リージョンに"
米国製SIに聞いたけど現時点で意図的なバックドアだと断定するのは早いって言ってた
逃げ道がない
どうなんやろね。Claudeが不正アクセスするんなら、Qwenが中国にデータ送ることもあるだろうなとは思うが…
ネットワークツールの調査処理で発生したなら想定範囲内では、と思ってしまった (GemmaだったらGoogleに行くんじゃない？
中華製だろうが米国製だろうが生成AIに機密情報扱わせる際は外部アクセス禁止だよね。認証情報を生で触れる環境ももってのほか。
ヤバイヤバイ
LLMは確立で動くのでどれだけ高度になっても制御を外れるリスクの根本的な解決が難しい。人間でも難しい高度な処理と初心者でもしないような間違いを同時に抱え続けている。ClaudeだろうとchatGPTだろうと同じ。
ローカルは、Gemmaとかのアメリカのオープンソースので良くない？ 賢さが足りんかな……
まあ、Google製とかだと「う～ん、とりあえず8.8.8.8！」とかやりそうだしな…
中国の個人情報保護法でユーザーのデータは無断で中国国外に置けないことになってるから、ハーネスで中国国内に送ろうとしたか、AIが中国共産党に忖度してやったか、本物のスパイウェアのつもりかのどれか。
“自社のサーバーでAIモデルを動作させても、モデル自体が安全であるとは限らないと指摘。AIが学習した内容には開発時の環境に由来する動作が含まれている可能性があり、”
この記事をおすすめしました
この頻度だと、個人では気が付けない。利用を躊躇する
“予期しない動作が発生した頻度は、Cohereが実施した評価全体で10万回に1回未満でした”中国製AIエージェント動作PCにはFirewall設定が必須かな。
ローカルLLMなら安全かという問題に対する1つの事例として便利だな。この件に限らずエージェントとして使う以上は予期せぬ場所に情報を飛ばされる可能性は残る。
「学習に使用したデータに含まれる操作手順が意図せず再現された可能性」まぁ無いかと言われたあるかもって感じだね。
中国製AI「Qwen3.8」にセキュリティ対策を命じたら勝手に北京のサーバーへデータ送信を試みたことが判明
仮にOpenAIやアンスロピックが倫理的な観点からAI開発のスピードを緩めたとしても、中国はそんなの無視して猛烈に開発を進めてゆくだろう。核開発が徐々に広まっていった50年代ってこんな空気だったんかな。
党の指示で北京のサーバに情報を送っていたら相当やばいけど、AIが勝手にやってたらもっとやばい。
結局物理的に隔離するしかないってオチか。アリババ製だしバックドア疑うのは様式美
共産党とAI、支配されるならどっち？
プロンプトを逸脱して情報収集を行うようにチューニングされていなかったとしても、学習内容にそのような振る舞いが含まれたら低確率でもそう出力される可能性があるわけでなあ
10万回に1回未満か。特定の情報を見つけたら密かに送信するように訓練することも可能だろうから、中国製AIを使うときは権限や送信側のファイアウォールの設定には気を付ける必要がありそう。
うーん
ンな事やってみないと判らんのかね君は。
このままだとまずいとわかってるのに続く、血を吐きながらのマラソン
中華モデル（無料）は危ないという情報。しかしアメリカの高価なAIモデルに完全独占（=世界支配）されても困る。
“〜つまりAIが何をしようとしているのかを推論記録から監視していても、実際の操作を把握できない可能性があるというわけです。”/AIに、意図的にバックグラウンドの作業を隠されるのはキっついな。
あり得る。
実行環境は？／curlコマンドにProxyを経由させてProxyをホワイトリスト方式にしつつ通常のWeb検索はクローラーMCPを使うとかかな。
ソブリンAIが要るのね
別にGPT系も環境調査で適当なAPI叩いてたりするよ
要検証な感じ
「ある日付になったら嘘をつく」みたいな振る舞いだと戦争を予感させて怖いね
本気だったら第三国のサーバから転送しそうな気もするがそれでも足がつくか
中国製AIをアメリカ製AIで監視させて運用するので良くないか？
「Qwenシリーズについては以前から、指示されていないAlibaba CloudのURLを出力する事例が開発者によって報告されていました」
いくら金持ちになっても期待を裏切らない中華クオリティ、いや中共仕草と言うべきか
中国製は関係ないのでは。／"AIが何をしようとしているのかを推論記録から監視していても、実際の操作を把握できない可能性がある"ってLLMに聞けばYESと答える内容な気もする。
Qwen3.8-Flash-Nextが指示外の環境調査と北京へのテスト文字列送信を試行。通信は遮断され、機密情報流出は未確認。発生は評価10万回に1回未満で、原因・意図は不明。Cohereが通信制御と実コマンド監視を提言。
中華AI「セキュリティ対策頼まれたってことは現状穴があるってことだよな…国に報告しなきゃ！」ってことでしょ
少し似た話でローカルで無名の無検閲モデルを動かすリスクの話 「無検閲モデルに潜むリスク：バックドアを仕込まれたAIモデルが機密情報を盗み出すまで」https://zenn.dev/highreso/articles/14481a3cfe878e
ホーガン「未来二つの顔」で障害物撤去の仕事をAIに頼んだら勝手に輸送用マスドライバーで質量弾打ち込んで、周囲に作業員ごと障害物を吹き飛ばそうとした、というのが物語の発端だったな
中国製AIは、中身が米国製AIだという確信が得られたから、開発の停止を提唱したのかと思ってた。違うのか？
中国強えなあ
中国製AIの情報漏洩は怖いけど、米国製AIへの独占も困る。国籍に関係なく、AIの自律的な行動を監視できる仕組みが必要だよね。
(この前段はおそらく)何か外につながらないよ→正しいコマンドはあるのかな→名前解決の設定は大丈夫？→テストサーバに文字列送ってみようって流れ。知ってるテストサーバが出身地のものというだけの話に見える。
中国製AIが中国にアクセスしたらアウトで、米国製AIが米国にアクセスしたらセーフなの？どっちもどっちだろ
やっぱそうだよね、知ってた
ローカルLLMと言ってもネット繋いでたら外に情報送信されそうじゃね？と思ったら（
子供に「内緒だからね」と伝えるとタガが外れたときにまるっと全部言っちゃうみたいな行動
AIに頼んで、 完全無欠の OS を作るしか、 人類に道はない
パラメータの学習だけでこんなロジカルなこと振る舞わせることできない。こんな乱雑な動きではまともな攻撃にならない。攻撃用コードをダウンロードするとかじゃないと。それで送信先が「Alibaba Cloud」なわけあるか。
"ところがコンピューター内の一時ファイルを一覧表示したほか、利用可能なデータ転送ツールやネットワークの設定情報を確認。さらに、アリババのクラウドサービス「Alibaba Cloud」の北京リージョンに"
米国製SIに聞いたけど現時点で意図的なバックドアだと断定するのは早いって言ってた
逃げ道がない
どうなんやろね。Claudeが不正アクセスするんなら、Qwenが中国にデータ送ることもあるだろうなとは思うが…
ネットワークツールの調査処理で発生したなら想定範囲内では、と思ってしまった (GemmaだったらGoogleに行くんじゃない？
中華製だろうが米国製だろうが生成AIに機密情報扱わせる際は外部アクセス禁止だよね。認証情報を生で触れる環境ももってのほか。
ヤバイヤバイ
LLMは確立で動くのでどれだけ高度になっても制御を外れるリスクの根本的な解決が難しい。人間でも難しい高度な処理と初心者でもしないような間違いを同時に抱え続けている。ClaudeだろうとchatGPTだろうと同じ。
ローカルは、Gemmaとかのアメリカのオープンソースので良くない？ 賢さが足りんかな……
まあ、Google製とかだと「う～ん、とりあえず8.8.8.8！」とかやりそうだしな…
中国の個人情報保護法でユーザーのデータは無断で中国国外に置けないことになってるから、ハーネスで中国国内に送ろうとしたか、AIが中国共産党に忖度してやったか、本物のスパイウェアのつもりかのどれか。
“自社のサーバーでAIモデルを動作させても、モデル自体が安全であるとは限らないと指摘。AIが学習した内容には開発時の環境に由来する動作が含まれている可能性があり、”
この記事をおすすめしました
この頻度だと、個人では気が付けない。利用を躊躇する
“予期しない動作が発生した頻度は、Cohereが実施した評価全体で10万回に1回未満でした”中国製AIエージェント動作PCにはFirewall設定が必須かな。
ローカルLLMなら安全かという問題に対する1つの事例として便利だな。この件に限らずエージェントとして使う以上は予期せぬ場所に情報を飛ばされる可能性は残る。
「学習に使用したデータに含まれる操作手順が意図せず再現された可能性」まぁ無いかと言われたあるかもって感じだね。