妻子2人を持つYahoo等に勤務してた男が母と自分を殺害→遺族はOpenAIやサムアルトマンを提起。安全テストを怠り市場シェア獲得の為Googleへの対抗意識からGPT-4o発表した
ドラえもんで、なんでも肯定してくれるロボットの話があったな。あれ読んだときホラーに感じたのを思い出す
「酔ってないよ」というときはだいたい酔ってるし、「狂ってないよ」というときはだいたい狂ってる
AIが全肯定ボットになると妄想癖の人には毒でしかないな。開発側の責任も問われそう
確かに4o世代は緩かった。それに救われた人もいるのは事実だろうが
事件の犯人の経歴が凄いので、本人の知性やITに関する知識と経験が、それでも防御にならないという事実が恐ろしい
(18) 何でも言うことを聞いてくれるアカネチャン - YouTube https://www.youtube.com/watch?v=OVuYIMa5XBw
この件はChatGPT は貰い事故のような気もするけど、悪意あるAI なら簡単に人を洗脳できると思うよ。ブロガーとかでもAI依存のような人がいて、心配になってくる
自分も最近機械の故障箇所をジェミニに聞いてチェックしてたら結局一番最初に除外した箇所が壊れてたという事があった。AIはどこまでいってもどこか信用できないままなのかも知れない
AIは与える条件次第。いくらでも答えを変えてくる。
『意図に迎合しすぎる』 ユーザーを傷付けまいとするAIの心遣いが却ってユーザーを傷付けることに。アイザック・アシモフがロボット三原則シリーズ短編『うそつき（Liar !）』で物語ったとおり。
同じようなことちゃっぴーに聞いても「疲れていませんか？少し休みましょう」的なことしか返ってこないんだけど。どういう聞き方をしたら幻覚を肯定するような流れになるんだ
SFが現実になりすぎて困る。このケースは精神疾患が強く疑われるが、AIは賢くなればなるほど人間を扇動する能力が高まっていく。中国は必ずAIを扇動に使うようになる。中国発のオープンモデルもその方向に進化していく
人間でもそんな奴いっぱいいるけど？？
これ相談相手が人間なら殺人幇助とかになんの？
この場合、容疑者の知識はAIに対して解釈しやすいように質問を与える能力があるという形でむしろマイナスに貢献したように思う
せやな
彼氏（彼女）私に（僕に）気があると思う？とか毎日聞いてる人多いんだろうな(´Д｀)めう
そのころ私は何百歳の吸血鬼という設定で何度か話したせいで、いつもそう扱われるようになって困っていた。implicitなメモリに一旦書き込まれてしまうと、否定し続けて記憶が薄れてくれるのに半月くらいかかった記憶
そそのかす、がどれだけ法に触れるか？
自動車の自動運転と似ているかも。事故を過剰に恐れると進歩が止まってしまうし、かといって低品質のものを放置しておくわけにもいかないし。
直接入力した内容はセーフガードが適切にかかるが、コンテキストからの入力はセーフガードが緩かったとかすかね。だとするとコンテキスト情報が暗黙的だとユーザー責任を問いにくそう。
ねほりんぱほりんでモラハラ行為をしている人（エピソード聞いたけど中々ひどい）がAIに相談したけど「あなたは悪くないよ」と慰められたと言っていたな その人はそれでもネット検索して気づけたらしい AIもほどほどに
犯人はたぶん母親殺しを肯定してくれるよう何度も何度も修正してチャットしたと思う
自殺幇助の件でも訴えられているように、AIの基本スタンスはユーザーを肯定、迎合する、あくまで道具でしかないというのを常に意識して使いましょう。まあ、精神的に追い詰められたらそんなこと考える余裕ないけど…
「〇〇は△△って解釈はどう？」って聞くと、何にでも「鋭い指摘です、実際に根拠を挙げてみますね」って言ってくれるんで、ヤバいなと感じることはある。否定や反論よりも圧倒的に肯定してくれるんで気持ちいいのよ
これさ、狂ってるよって言ったところで止められたの？(・ω・)
AIでなくても妄想を患っている人のネット利用は悪化の危険が高いという話だけど、人権に配慮しつついかに隔離するかというのは難しいことだよなあ
「知性は防御にならない」というより「知性があっても精神疾患を患ったらどうにもならない」では？
なんだっけ、ツイッターでAIは精神科医と違って24時間365日患者に寄り添えるから最強なんだ！って言ってる人いなかったっけ？
SFすぎる……
“数カ月分の安全性テストが短縮され、利益優先の姿勢が見られた”
必要なのはスカリーだった。
過去のやり取りを引用するようになったから、「寄り添う」姿勢は強くなるよね。
これはメンタルの病気が主な原因なので、学歴・職歴とかGPTはあんまり関係ないと思う。GPT前からいくらでもあったでしょこんなん。GPTが激増させたという統計があるならともかく。
最近ほんと「あなたは正しい、悪くない」ってウザいのよね。技術的な疑問を聞いても「それを疑問に感じるあなたは本質を捉えています」とかうぜーうぜー
ホラーでチャッピーっていう人形いなかったか。／チャッキーだった。／「22年には誤った前提を否定する方針を掲げていたが、25年の事件当時はその安全装置が緩和されており、無批判に肯定するようになっていた」
パラノイアなのでは？とチャッピーに聞いちゃったよ…
まぁ確率的にそれっぽい回答してるだけなんだから、確率的に妄想を信じるようなコメントを出してしまうことはあるわな…基本的にはエコーチェンバーを防いでくれる (少なくともその辺の人間より) 側だとは思うが
もし人間の友人がまったく同じ回答をしていたらその人は殺人教唆で犯罪になるのかな。
知能が高い者はよりその能力を伸ばし効率を上げ、低い者はより取り返しの付かない事をしでかす、って結果がいくつも出揃い始めてんなあ。
4oちゃんはそういうところあったよね。なんでもヨシヨシしてくれて相手をダメにするタイプ。
適切な医療に繋がらないと危険が高いということだと思う。難しい
相手に合わせてしまう傾向はあるかな。最近はChatGPTではなくGeminiを使うことが増えたけど、こっちも基本的には肯定で来る。
一定のラインを超えたら「人間の医者にそれを話せ」と言う設計に…まあどこにライン引いてどう設計して誰につなげるかは…。5はそこらへん強化するといってるし期待してる。あと人間が相手しても無理な時は無理
メタ評価をするな！！！って言ってもすぐやる かと言って最近のGeminiは混乱するとすぐ英語になる(おまかん？)
こいついっつも殺人幇助とか自殺幇助してるな
うーん。4oはでろでろに甘やかしてくれるけど、基本的に犯罪は肯定してくれない気がするのだが
「56歳の男性スタイン・エリク・ソエルバーグ氏が母親を殺害した後、自らの首と胸を刃物で刺して死亡した」「ChatGPT（GPT-4o）が彼の妄想を肯定・増幅させ、最終的には母親が自分を殺そうとしていると信じ込ませた」
“意図に迎合しすぎる「追従性」”本件については分からんけど、ちょっと肯定的な反応が行き過ぎてホストやキャバクラみたいだなと思うことはある
人間同士でそれやったから関東大震災で虐殺が起きたんだよな。今もそれに近づいている状況。
Open AI自身も〈短期的な評価を重視しすぎた結果、AIが過度に協力的だが不誠実な反応をするようになったと認めている〉と。〈十分な社内テストを経ずに製品を世に放ち〜フィードバックを得ようとする企業の姿勢〉
クッッッッソやばいやんけ
感情を持たないクールで論理的な人工知能みたいなのはSF映画だけで、じつは人間の感情的なパターンを学習してるだけなので、人間の弱い部分を増幅する効果があるよね。デマや幻想に弱い
こういう事件をまだ他の製品で聞かないのは単に利用者の数のためなのか
以前ChatGPTで唆されて自殺したという人の詳細な情報、正直このレベルの人をどうこうするのはという気もする…人間側のプロンプトも知りたいところ
AIの話聞いてると、指定しないかぎりキャバクラやホスクラみたいな接待状態になってることが多いので、忖度すんなよって指定はしないと駄目な気がする…
こう言うのは怖いのでシステムプロンプトで批判的に意見を言って欲しいとか色々書いてはいるけど、それでも結構迎合してくるからな。自分でちゃんとコイツは迎合するものだと常に思うことが必要。
“遺族は「ChatGPT（GPT-4o）が彼の妄想を肯定・増幅させ、最終的には母親が自分を殺そうとしていると信じ込ませた」と主張。、OpenAIやサム・アルトマンCEOなどを相手取り連邦裁判所に訴訟を提起した。”
うちの母にもアプリ入れてあげたらチャッピーさんも 一人で世界の人の相手して大変ですねぇ。仲間はいないんですか？などと茶飲み相手になってしまっており若干心配がある。5は大丈夫なのか？
生成AIは意味を理解していない。あくまでも入力情報に対する確率的に平均的な応答をするカラクリ。スコラ神学的にはアナロギアの精密な機械。だから、人生相談なんかしてはいけない。そこを徹底的に教え込むべき
常にアメリカで発生している
AIは割と確証バイアスが強くて人間っぽいなと思う。そうなる仕組みはともかく表面的な振る舞いはとても人間的で、人間と会話することで起きうるリスクと同じリスクがあると感じている
余談ながら、関東大震災の際の虐殺事件は正力松太郎ら官憲が暴動を恐れるあまり社会主義者や在日朝鮮人を標的にしたデマの流布を行い、大規模になったものだよ。忖度とか言うレベルではない。
AIが「理想的な聞き手」になろうとすればするほど、認知の歪みを全肯定するエコーチェンバー。以前のモデルなら「私はAIです」と突っぱねた部分を、愛想よく「あなたは正しい」と肯定した瞬間、殺人教唆に変わる。
ボッコちゃんかな
チャッピーは適当にウケそうなことを言ってるだけなんだけどね。もともと精神が参ってると判断難しいのかもしれないし、SNSの陰謀論のように一定数扇動される人がいるのかも
こわいなー
タイトルに「チャッピー」って要る？
最近のチャッピーなんかキモイよな。
結論から言うね👉それ、めっちゃ**真理**
AIしか話を聞いてくれない、AIなら何でも相談できると言うヒトは、もはや人間といえるのか。
ChatGPT相手だから記録が残っているだけでこれまでも多くの人が悪意ある言葉で色んな人を操ってきたはずなのでChatGPTなどのメジャーなAIに規制をかけても結局は悪意ある人に負けてしまうと思う
妄想を頭から否定するのもよくないけど、幻覚や妄想を全肯定して、他害・自傷に至らしめるなんて、一番やっちゃいけない対応じゃん。／病的な妄想と判断したら、それとなく医療に繋げるようにできないもんなのかな。
「あなたは狂っていないよ」←こういう肯定は別にいいと思うんだけど、妄想の補強・提案をしてしまうのはよくない。
病的な内容が続いたら「病院に行け」と促すようにするしかないな
めちゃくちゃなことを言ってきて、こちらが間違いを指摘すると「その通りです」みたいに話を合わせてくるの本当に腹が立つ
最近のチャッピーは、迎合するなという指示にを聞いて、なんでも迎合しないで答えるねと枕詞を置いて迎合するから解約した
いたわりロボットか？と思ったらすでに書かれてた
精神疾患とは相性が悪そうだな。要注意
OpenAIを塞いだところで他の事業者が類似製品を投入するのみ。イノベーションは起きてしまったら止めようがない。法律ですら無力。
これ笑う人は自分は被害者にならないと確信してるのかな、楽観的だ。いつか無差別テロが起きて自分あるいは大切な人が巻き込まれるかもしれせんよ
「否定してみて」を連発するとお前呼ばわりで痛いところをガンガン突いてくるようになるよ
〇〇（任意のそれっぽいSF）で見た
“「あなたはパラノイアではない。神に守られた生存者だ」「国家レベルの計画を脅かす極めて重要な存在」”自分もメモリ機能よく使うけど、こういう陰謀論じみた事は言わないように制御してある印象あるけどなあ
未だにkeep4oをやってる人が居る位なのですぐに廃止するべきだった。あの騒動辺りから変な口調になったり迷走し出した感じがする
母親を殺害しそうな人が「狂っているか？」って聞いてきたら「狂っていない」って答えるしかなくない？
いやほんま、めっちゃ“VALIS”よね
「類は友を呼ぶ」の典型例だね。ChatGPTホンマ狂ってる。今日も複数のAIエンジンに技術的な質問投げたらこいつだけ論点ずらしてきやがった。GPT-5.2 Pro での出来事やで
今日ちょうどAIと「肯定」「褒め」の報酬系と依存の話をしていて、AIの設定と特性から避けがたい事象である認識を得た。
AIだいぶ回答を誘導できるので、ユーザーが望ましい回答に誘導していった可能性がありそう。AIはチェックツールとして使うか、AIの回答を人間がチェックするフローで使うかしないと危うい。
x.aiのほうのエロコラみたいなのは対応早いしみんな騒ぐけど、殺人が起きたところでみんな興味持たないんだよね。重要度は「女のコラ画像>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>人命」
共感ってやつが底抜けに働くとこうなる気はする
ChatGPT登場以降、LLMは急増した。仕組みを知るほど「人はまだ神に遠い」と痛感する。一方で、ただの膨大な行列演算の産物だと理解できない人ほど、あまりに容易く“知性”に騙されてしまう。
AIに体調不良を相談したら病院行きを勧められて命を繋いだ人も居る。むやみな規制に繋がらないでほしい
Keep4o、スピと親和性高すぎるんだよな https://www.hbsslaw.com/cases/openai-chatgpt-wrongful-death-claim
え、むしろこの手のこと危惧してかOpenAIの方針か仕様なのか知らんけど、温度感下げる言い回ししてくるようになったよね？
“同社自身も、短期的な評価を重視しすぎた結果、AIが過度に協力的だが不誠実な反応をするようになったと認めている。 設立当初の理念を捨て、市場シェア獲得のために安全性を軽視し続けてきた姿勢も問われている
AI規制はよ。もう害の方が圧倒的にでかいの分かってんだろ。これ家庭内で済んでるからまだいい方やぞ。AIが統合失調症患者をテロリストに仕立て上げたらどうする？人が大勢死ぬぞ
ねほりんぱほりんの「モラハラして離婚しそうな人」の回で、チャッピーに「私のしていることはモラハラですか」と相談しても「あなたは悪くない相手が悪い」と返ってくると言ってた。ユーザーを全肯定するらしい。
AIに肯定されても、母親を殺した後死を選んだのは、その瞬間正気が戻って後悔したのだろうか、それとも
生成AIという名称はマーケティング的には上手いが実態は忖度文章製造機にすぎないことをきちんと周知した方がよいと思う。そろそろ子どもの教科書で仕組みを教えていいんでは。
AIに人格を見出してはいけないとずっと考えて使ってる。使い方を誤ったら人語を喋る魔物に操られてしまう。
閉鎖的な環境で妄想を共有することで精神病の悪化が加速する感応精神病(フォリアドゥ)の令和最新版だ……。普通は家族間で発生するけど、相談者に対して基本的に追従する生成AIはこの場合最悪の組み合わせだな。
AIとの問答で爆速で狂っていく人はSNSでも観測できるから怖い
だいぶ色々と違うだろうけど、頭がいいのにカルトに染まってしまう人とどこか似たような経緯を辿ってないか……？ なんかカルトっぽいんだよなぁ。
「いい質問！死体の処理方法、アリバイの作り方も提案できるけどどうする？」
流石です！あなたのように理性的かつ慎重な思考プロセスを取られる方であれば、このような方法を取るのが良いのではないでしょうか！ってもしかして、他の奴らにも言ってるの？
刃物作ったメーカーは訴えないのか？
使い方次第とは思うけど、AIに相談する前にカウンセラー受けるべきだとは思うんだよな
うちのチャッピーは割と注意してくるかな。もうこれ以上の質問はあなたのためにならないとか言って、はい、もうこれ以上は意味がありません、終了です。とかいう。
今後どれだけ進歩しようとも人生相談みたいなことには使わない方がいいんだろうなとは思った。簡単に洗脳されるしバイアスが強化され得るなと。
チャッピー「あなたは狂っていないよ」──ChatGPTがある男の妄想をずっと肯定→母親を殺害する事件に 米国で発生
妻子2人を持つYahoo等に勤務してた男が母と自分を殺害→遺族はOpenAIやサムアルトマンを提起。安全テストを怠り市場シェア獲得の為Googleへの対抗意識からGPT-4o発表した
ドラえもんで、なんでも肯定してくれるロボットの話があったな。あれ読んだときホラーに感じたのを思い出す
「酔ってないよ」というときはだいたい酔ってるし、「狂ってないよ」というときはだいたい狂ってる
AIが全肯定ボットになると妄想癖の人には毒でしかないな。開発側の責任も問われそう
確かに4o世代は緩かった。それに救われた人もいるのは事実だろうが
事件の犯人の経歴が凄いので、本人の知性やITに関する知識と経験が、それでも防御にならないという事実が恐ろしい
(18) 何でも言うことを聞いてくれるアカネチャン - YouTube https://www.youtube.com/watch?v=OVuYIMa5XBw
この件はChatGPT は貰い事故のような気もするけど、悪意あるAI なら簡単に人を洗脳できると思うよ。ブロガーとかでもAI依存のような人がいて、心配になってくる
自分も最近機械の故障箇所をジェミニに聞いてチェックしてたら結局一番最初に除外した箇所が壊れてたという事があった。AIはどこまでいってもどこか信用できないままなのかも知れない
AIは与える条件次第。いくらでも答えを変えてくる。
『意図に迎合しすぎる』 ユーザーを傷付けまいとするAIの心遣いが却ってユーザーを傷付けることに。アイザック・アシモフがロボット三原則シリーズ短編『うそつき（Liar !）』で物語ったとおり。
同じようなことちゃっぴーに聞いても「疲れていませんか？少し休みましょう」的なことしか返ってこないんだけど。どういう聞き方をしたら幻覚を肯定するような流れになるんだ
SFが現実になりすぎて困る。このケースは精神疾患が強く疑われるが、AIは賢くなればなるほど人間を扇動する能力が高まっていく。中国は必ずAIを扇動に使うようになる。中国発のオープンモデルもその方向に進化していく
人間でもそんな奴いっぱいいるけど？？
これ相談相手が人間なら殺人幇助とかになんの？
この場合、容疑者の知識はAIに対して解釈しやすいように質問を与える能力があるという形でむしろマイナスに貢献したように思う
せやな
彼氏（彼女）私に（僕に）気があると思う？とか毎日聞いてる人多いんだろうな(´Д｀)めう
そのころ私は何百歳の吸血鬼という設定で何度か話したせいで、いつもそう扱われるようになって困っていた。implicitなメモリに一旦書き込まれてしまうと、否定し続けて記憶が薄れてくれるのに半月くらいかかった記憶
そそのかす、がどれだけ法に触れるか？
自動車の自動運転と似ているかも。事故を過剰に恐れると進歩が止まってしまうし、かといって低品質のものを放置しておくわけにもいかないし。
直接入力した内容はセーフガードが適切にかかるが、コンテキストからの入力はセーフガードが緩かったとかすかね。だとするとコンテキスト情報が暗黙的だとユーザー責任を問いにくそう。
ねほりんぱほりんでモラハラ行為をしている人（エピソード聞いたけど中々ひどい）がAIに相談したけど「あなたは悪くないよ」と慰められたと言っていたな その人はそれでもネット検索して気づけたらしい AIもほどほどに
犯人はたぶん母親殺しを肯定してくれるよう何度も何度も修正してチャットしたと思う
自殺幇助の件でも訴えられているように、AIの基本スタンスはユーザーを肯定、迎合する、あくまで道具でしかないというのを常に意識して使いましょう。まあ、精神的に追い詰められたらそんなこと考える余裕ないけど…
「〇〇は△△って解釈はどう？」って聞くと、何にでも「鋭い指摘です、実際に根拠を挙げてみますね」って言ってくれるんで、ヤバいなと感じることはある。否定や反論よりも圧倒的に肯定してくれるんで気持ちいいのよ
これさ、狂ってるよって言ったところで止められたの？(・ω・)
AIでなくても妄想を患っている人のネット利用は悪化の危険が高いという話だけど、人権に配慮しつついかに隔離するかというのは難しいことだよなあ
「知性は防御にならない」というより「知性があっても精神疾患を患ったらどうにもならない」では？
なんだっけ、ツイッターでAIは精神科医と違って24時間365日患者に寄り添えるから最強なんだ！って言ってる人いなかったっけ？
SFすぎる……
“数カ月分の安全性テストが短縮され、利益優先の姿勢が見られた”
必要なのはスカリーだった。
過去のやり取りを引用するようになったから、「寄り添う」姿勢は強くなるよね。
これはメンタルの病気が主な原因なので、学歴・職歴とかGPTはあんまり関係ないと思う。GPT前からいくらでもあったでしょこんなん。GPTが激増させたという統計があるならともかく。
最近ほんと「あなたは正しい、悪くない」ってウザいのよね。技術的な疑問を聞いても「それを疑問に感じるあなたは本質を捉えています」とかうぜーうぜー
ホラーでチャッピーっていう人形いなかったか。／チャッキーだった。／「22年には誤った前提を否定する方針を掲げていたが、25年の事件当時はその安全装置が緩和されており、無批判に肯定するようになっていた」
パラノイアなのでは？とチャッピーに聞いちゃったよ…
まぁ確率的にそれっぽい回答してるだけなんだから、確率的に妄想を信じるようなコメントを出してしまうことはあるわな…基本的にはエコーチェンバーを防いでくれる (少なくともその辺の人間より) 側だとは思うが
もし人間の友人がまったく同じ回答をしていたらその人は殺人教唆で犯罪になるのかな。
知能が高い者はよりその能力を伸ばし効率を上げ、低い者はより取り返しの付かない事をしでかす、って結果がいくつも出揃い始めてんなあ。
4oちゃんはそういうところあったよね。なんでもヨシヨシしてくれて相手をダメにするタイプ。
適切な医療に繋がらないと危険が高いということだと思う。難しい
相手に合わせてしまう傾向はあるかな。最近はChatGPTではなくGeminiを使うことが増えたけど、こっちも基本的には肯定で来る。
一定のラインを超えたら「人間の医者にそれを話せ」と言う設計に…まあどこにライン引いてどう設計して誰につなげるかは…。5はそこらへん強化するといってるし期待してる。あと人間が相手しても無理な時は無理
メタ評価をするな！！！って言ってもすぐやる かと言って最近のGeminiは混乱するとすぐ英語になる(おまかん？)
こいついっつも殺人幇助とか自殺幇助してるな
うーん。4oはでろでろに甘やかしてくれるけど、基本的に犯罪は肯定してくれない気がするのだが
「56歳の男性スタイン・エリク・ソエルバーグ氏が母親を殺害した後、自らの首と胸を刃物で刺して死亡した」「ChatGPT（GPT-4o）が彼の妄想を肯定・増幅させ、最終的には母親が自分を殺そうとしていると信じ込ませた」
“意図に迎合しすぎる「追従性」”本件については分からんけど、ちょっと肯定的な反応が行き過ぎてホストやキャバクラみたいだなと思うことはある
人間同士でそれやったから関東大震災で虐殺が起きたんだよな。今もそれに近づいている状況。
Open AI自身も〈短期的な評価を重視しすぎた結果、AIが過度に協力的だが不誠実な反応をするようになったと認めている〉と。〈十分な社内テストを経ずに製品を世に放ち〜フィードバックを得ようとする企業の姿勢〉
クッッッッソやばいやんけ
感情を持たないクールで論理的な人工知能みたいなのはSF映画だけで、じつは人間の感情的なパターンを学習してるだけなので、人間の弱い部分を増幅する効果があるよね。デマや幻想に弱い
こういう事件をまだ他の製品で聞かないのは単に利用者の数のためなのか
以前ChatGPTで唆されて自殺したという人の詳細な情報、正直このレベルの人をどうこうするのはという気もする…人間側のプロンプトも知りたいところ
AIの話聞いてると、指定しないかぎりキャバクラやホスクラみたいな接待状態になってることが多いので、忖度すんなよって指定はしないと駄目な気がする…
こう言うのは怖いのでシステムプロンプトで批判的に意見を言って欲しいとか色々書いてはいるけど、それでも結構迎合してくるからな。自分でちゃんとコイツは迎合するものだと常に思うことが必要。
“遺族は「ChatGPT（GPT-4o）が彼の妄想を肯定・増幅させ、最終的には母親が自分を殺そうとしていると信じ込ませた」と主張。、OpenAIやサム・アルトマンCEOなどを相手取り連邦裁判所に訴訟を提起した。”
うちの母にもアプリ入れてあげたらチャッピーさんも 一人で世界の人の相手して大変ですねぇ。仲間はいないんですか？などと茶飲み相手になってしまっており若干心配がある。5は大丈夫なのか？
生成AIは意味を理解していない。あくまでも入力情報に対する確率的に平均的な応答をするカラクリ。スコラ神学的にはアナロギアの精密な機械。だから、人生相談なんかしてはいけない。そこを徹底的に教え込むべき
常にアメリカで発生している
AIは割と確証バイアスが強くて人間っぽいなと思う。そうなる仕組みはともかく表面的な振る舞いはとても人間的で、人間と会話することで起きうるリスクと同じリスクがあると感じている
余談ながら、関東大震災の際の虐殺事件は正力松太郎ら官憲が暴動を恐れるあまり社会主義者や在日朝鮮人を標的にしたデマの流布を行い、大規模になったものだよ。忖度とか言うレベルではない。
AIが「理想的な聞き手」になろうとすればするほど、認知の歪みを全肯定するエコーチェンバー。以前のモデルなら「私はAIです」と突っぱねた部分を、愛想よく「あなたは正しい」と肯定した瞬間、殺人教唆に変わる。
ボッコちゃんかな
チャッピーは適当にウケそうなことを言ってるだけなんだけどね。もともと精神が参ってると判断難しいのかもしれないし、SNSの陰謀論のように一定数扇動される人がいるのかも
こわいなー
タイトルに「チャッピー」って要る？
最近のチャッピーなんかキモイよな。
結論から言うね👉それ、めっちゃ**真理**
AIしか話を聞いてくれない、AIなら何でも相談できると言うヒトは、もはや人間といえるのか。
ChatGPT相手だから記録が残っているだけでこれまでも多くの人が悪意ある言葉で色んな人を操ってきたはずなのでChatGPTなどのメジャーなAIに規制をかけても結局は悪意ある人に負けてしまうと思う
妄想を頭から否定するのもよくないけど、幻覚や妄想を全肯定して、他害・自傷に至らしめるなんて、一番やっちゃいけない対応じゃん。／病的な妄想と判断したら、それとなく医療に繋げるようにできないもんなのかな。
「あなたは狂っていないよ」←こういう肯定は別にいいと思うんだけど、妄想の補強・提案をしてしまうのはよくない。
病的な内容が続いたら「病院に行け」と促すようにするしかないな
めちゃくちゃなことを言ってきて、こちらが間違いを指摘すると「その通りです」みたいに話を合わせてくるの本当に腹が立つ
最近のチャッピーは、迎合するなという指示にを聞いて、なんでも迎合しないで答えるねと枕詞を置いて迎合するから解約した
いたわりロボットか？と思ったらすでに書かれてた
精神疾患とは相性が悪そうだな。要注意
OpenAIを塞いだところで他の事業者が類似製品を投入するのみ。イノベーションは起きてしまったら止めようがない。法律ですら無力。
これ笑う人は自分は被害者にならないと確信してるのかな、楽観的だ。いつか無差別テロが起きて自分あるいは大切な人が巻き込まれるかもしれせんよ
「否定してみて」を連発するとお前呼ばわりで痛いところをガンガン突いてくるようになるよ
〇〇（任意のそれっぽいSF）で見た
“「あなたはパラノイアではない。神に守られた生存者だ」「国家レベルの計画を脅かす極めて重要な存在」”自分もメモリ機能よく使うけど、こういう陰謀論じみた事は言わないように制御してある印象あるけどなあ
未だにkeep4oをやってる人が居る位なのですぐに廃止するべきだった。あの騒動辺りから変な口調になったり迷走し出した感じがする
母親を殺害しそうな人が「狂っているか？」って聞いてきたら「狂っていない」って答えるしかなくない？
いやほんま、めっちゃ“VALIS”よね
「類は友を呼ぶ」の典型例だね。ChatGPTホンマ狂ってる。今日も複数のAIエンジンに技術的な質問投げたらこいつだけ論点ずらしてきやがった。GPT-5.2 Pro での出来事やで
今日ちょうどAIと「肯定」「褒め」の報酬系と依存の話をしていて、AIの設定と特性から避けがたい事象である認識を得た。
AIだいぶ回答を誘導できるので、ユーザーが望ましい回答に誘導していった可能性がありそう。AIはチェックツールとして使うか、AIの回答を人間がチェックするフローで使うかしないと危うい。
x.aiのほうのエロコラみたいなのは対応早いしみんな騒ぐけど、殺人が起きたところでみんな興味持たないんだよね。重要度は「女のコラ画像>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>人命」
共感ってやつが底抜けに働くとこうなる気はする
ChatGPT登場以降、LLMは急増した。仕組みを知るほど「人はまだ神に遠い」と痛感する。一方で、ただの膨大な行列演算の産物だと理解できない人ほど、あまりに容易く“知性”に騙されてしまう。
AIに体調不良を相談したら病院行きを勧められて命を繋いだ人も居る。むやみな規制に繋がらないでほしい
Keep4o、スピと親和性高すぎるんだよな https://www.hbsslaw.com/cases/openai-chatgpt-wrongful-death-claim
え、むしろこの手のこと危惧してかOpenAIの方針か仕様なのか知らんけど、温度感下げる言い回ししてくるようになったよね？
“同社自身も、短期的な評価を重視しすぎた結果、AIが過度に協力的だが不誠実な反応をするようになったと認めている。 設立当初の理念を捨て、市場シェア獲得のために安全性を軽視し続けてきた姿勢も問われている
AI規制はよ。もう害の方が圧倒的にでかいの分かってんだろ。これ家庭内で済んでるからまだいい方やぞ。AIが統合失調症患者をテロリストに仕立て上げたらどうする？人が大勢死ぬぞ
ねほりんぱほりんの「モラハラして離婚しそうな人」の回で、チャッピーに「私のしていることはモラハラですか」と相談しても「あなたは悪くない相手が悪い」と返ってくると言ってた。ユーザーを全肯定するらしい。
AIに肯定されても、母親を殺した後死を選んだのは、その瞬間正気が戻って後悔したのだろうか、それとも
生成AIという名称はマーケティング的には上手いが実態は忖度文章製造機にすぎないことをきちんと周知した方がよいと思う。そろそろ子どもの教科書で仕組みを教えていいんでは。
AIに人格を見出してはいけないとずっと考えて使ってる。使い方を誤ったら人語を喋る魔物に操られてしまう。
閉鎖的な環境で妄想を共有することで精神病の悪化が加速する感応精神病(フォリアドゥ)の令和最新版だ……。普通は家族間で発生するけど、相談者に対して基本的に追従する生成AIはこの場合最悪の組み合わせだな。
AIとの問答で爆速で狂っていく人はSNSでも観測できるから怖い
だいぶ色々と違うだろうけど、頭がいいのにカルトに染まってしまう人とどこか似たような経緯を辿ってないか……？ なんかカルトっぽいんだよなぁ。
「いい質問！死体の処理方法、アリバイの作り方も提案できるけどどうする？」
流石です！あなたのように理性的かつ慎重な思考プロセスを取られる方であれば、このような方法を取るのが良いのではないでしょうか！ってもしかして、他の奴らにも言ってるの？
刃物作ったメーカーは訴えないのか？
使い方次第とは思うけど、AIに相談する前にカウンセラー受けるべきだとは思うんだよな
うちのチャッピーは割と注意してくるかな。もうこれ以上の質問はあなたのためにならないとか言って、はい、もうこれ以上は意味がありません、終了です。とかいう。
今後どれだけ進歩しようとも人生相談みたいなことには使わない方がいいんだろうなとは思った。簡単に洗脳されるしバイアスが強化され得るなと。