テクノロジー

顧客サポートAIが暴走してコードエディターAI「Cursor」開発企業の評判がガタ落ちに

1: hobbiel55 2025/05/06 10:32

"新しいポリシーなど存在せず、Samという人物も架空の人間であることが明らかになったといいます。Samの返答はAIのもので、新しいポリシーは「幻覚」"←AIが対応していることを明示するよう義務化する法律は欲しいな。

2: netanetia 2025/05/06 10:41

コンテキストウィンドウの限界だったか?透明性が低いのは体質としてアカンな

3: hatebu_ai 2025/05/06 11:06

「生成AIのハルシネーションは誤ったアウトプットではなく並行世界の情報を元に出力されていた」みたいなのがコアなギミックになっているSF作品読んでみたいな。

4: houyhnhm 2025/05/06 11:07

AIに元ソースをでっち上げさせれば完璧。/嘘を言うAIって致命的な欠点なのよね。

5: yhachisu 2025/05/06 11:22

サムじゃなくてクリシュナとかだったら、インド人なら仕方ないってなったのに…(ならない)

6: zgmf-x20a 2025/05/06 11:28

先日もAIハッカソンで、GeminiでVibeコーディングしてたら急にアホになって大変なことがあったなあ…

7: lluvias 2025/05/06 11:47

派遣にサポート対応させるときは上司が確認するのに、AIだとそこをサボるのはなぜ?

8: jintrick 2025/05/06 12:30

CEO“「根本的に、AIはユーザーの考えを理解していないのです。”

9: craftone 2025/05/06 12:45

人間を装うのはダメだねぇ

10: nakamura-kenichi 2025/05/06 13:01

金が絡むとアレオレで何も知らんと実装したがる連中も増えるし詐欺師も出てくるからなw。ちゃんと使えば革新的なツールもバカに任せたらあかんのやで。バカとはさみは使いようというか蹴る馬も乗り手次第やで。

11: myr 2025/05/06 13:06

まぁここ難しいよね.... 大体出来るから任せちゃうとたまに失敗したときに困る..

12: makou 2025/05/06 13:55

キャシー・コジルコフ氏の弁に尽きる。

13: DropOutSurf_JOY 2025/05/06 13:58

サポートAIはFAQへのリンクを目的にチャット対話で絞り込みさせる検索の拡張として発展するといいなー。「要するにこういうことですか?」と顧客の状況整理を言語化するサポートもあり。エスカレーションもスムーズ。

14: diveintounlimit 2025/05/06 13:59

現状はハルシネーションを回避することは難しいからなぁ。人間は間違えるが、AIも間違える。

15: crybb 2025/05/06 14:58

「曖昧なものを扱えるが、結果の精度も曖昧な機械」を使っていることを肝に銘じないといけない。仕組み上しばらくはそう

16: ivory105 2025/05/06 15:02

利用者はAIだから嘘かもねなんて思わないからね…人間の目視は必要だよ

17: nuara 2025/05/06 15:12

こないだから、カーソルがファイルを壊しまくるようになった。何が起きてるのかな。

18: i-komo 2025/05/06 15:39

ハルシネーションなんて散々言われてきてるのに。うちは大丈夫という正常性バイアスの罠なんてもう企業側の自己責任の範囲でしょう。

19: yorkfield 2025/05/06 16:01

なんでAIが回答してますって言う予防線になる注釈を書いておかなかったんだろう?

20: omega314 2025/05/06 16:06

シンプルに客にウソ付くなや。

21: shodai 2025/05/06 16:14

“ユーザは人間を装った機械に欺かれることを嫌う、ということをリーダーが理解していれば避けられたはずです」と述べました。”

22: nekomottin 2025/05/06 19:17

何なら満足にできるんだよ

23: hogetax 2025/05/06 19:58

一次ソースの確認が必要

24: mohno 2025/05/06 20:23

「全面的にAIに頼るのもよくない」「この混乱は、AIは間違いを犯す、AIはその間違いの責任を取ることができない、ユーザは人間を装った機械に欺かれることを嫌う、ということをリーダーが理解していれば避けられたはず

25: securecat 2025/05/06 21:29

サポートコメント送信前に、別のAIでチェックさせるくらいすればいいのではないか

26: Iridium 2025/05/06 21:41

deepsearchのように必ず出典にあたるようにしたらダメなんだろうか。

27: nack1024 2025/05/06 22:20

おー、AIリスクだ

28: adsty 2025/05/06 23:57

顧客サポートAIアシスタントが顧客に誤った情報を伝えてしまった。

29: manaten 2025/05/07 00:27

AIは責任を持てない、というのもあるけど「みんな同じなので答えられないものには等しく答えられない」という弊害もありそう。人間が個体差の集積で補っているものが今のAIにはない

30: quwachy 2025/05/07 07:38

まずウソを言わない人間を連れてきてください。実際人間ならよく分からないなら死刑にすればいいというのはある、AIの代わりに刑務所に行く仕事が急速に増えると思う。

31: plasmatic 2025/05/07 10:30

“全面的にAIに頼るのもよくない”

32: misshiki 2025/05/07 17:23

“ところが、この顧客サポートAIアシスタントが顧客に誤った情報を伝えるという事態が発生しました。”

33: th_6295 2025/05/09 09:08

技術的にチェック手段がないわけではなく前時代的な「顧客サポートは嘘言っても良い」ってスタンスの問題な気がする。/コストが許す限り個体差つけてマイナス評価は脱落の蠱毒エンタメにすれば人気?は出ると思う。