根拠情報を示さずに回答するAIはほとんどでたらめだと思っておいた方がいい
浮気性の彼氏化してるやつ笑った
Claudeはたまに「すいませんウソ言いました」っていう
ソースコードだって、うっすらバグ忍ばせたり、問題引き起こしそうな処理をねじ込んでたりする。いうほど省力化に役立たない
会話における解決型と共感型みたいな話が流行ったけど、今は共感型で入り込む戦略かとは感じてた。「お前さー、適当すぎないか！」になるか、間違え続けても寄り添い続けることでついに心を許すか、のどっちだろう。
わかる。意味ないけど謝らせたくなる。
id:quick_past 「自分で書く」だと、そういう「うっすらバグ」になかなか気付けないけど、他人（ChatGPT）が書いたコードだと、意外と目で発見しやすくなるので、バグが潜んでいても、なんだかんだ省力化にはなる
「ちゃんと変わるから。もう一回だけ、任せてほしい。」これは笑う。
生成AI（LLM）の仕組みをわかってないからそうなる。「嘘」ってのは相手を騙そうとする意図がないとできないはずだが生成AIにそんな物があるわけもなく
嘘つきは泥棒の始まり。ChatGPT は嘘つき。ゆえに ChatGPT は泥棒の始まり。
手順が不合理だったので教えたらこんな感じの返し方をしてきたな。でもAIには真の意味での自尊心は存在しないのでマウントしたいわけじゃないし、たぶん英語圏的言い回しなんだろう。サイコパスちっくなのはそう。
AIは平気でウソをつく。ウソには、騙そうとしての偽りと単に真でないだけの偽(ぎ)の二通りの意味がある。自身を過大評価させようとする事からすると、AIは前者と言えるかもしれない。
プロレスとかMMAの話題だとめちゃくちゃ嘘ついてくる。大昔、2chのプロレス板が偽情報まみれだったので2chはクソだと判断したときのこと思い出す。
そういうもんだとわかってるのでベンチマークとして使うよね
ちゃんと情報元も教えてねってお願いしてる。まあ出された情報元確認したら存在しなかったりもするんだけど。
「ナイス着眼点！そうなんです、チャットGPTは間違いを指摘するとそのまま訂正後の説明をしはじめるんです！ちょっとわかりづらいよね。もしGeminiやGrokだとどうなるか気になるなら比較もできるけど、どうする？」
そうそう。だからAWSがその対策で公式ドキュメントMCPやQ Developer作ったよのね。
スマホでGemma 3nを使った時に間違いを指摘したら死ぬほど平謝りしてきて、なんだかそれはそれでこっちが申し訳ない気分に。
↓嘘かどうかはどうでもよくて、間違ったことをスルーしているという部分が話のメインでは？
“こっちの方が知識がある範囲のことについて平気で嘘ついてるのがわかる”はてな民と一緒だ。知らない分野だと物知りに見えるけど知ってる分野だとピントズレたコメしかしないから何も知らないなこいつらってなる。
トランプと維新じゃん。
なるべく○○でしょ、みたいには質問しないで、Ａという方法とＢがあるけど、みたいに聞いたりしてる。
謝らなくていいから最初から嘘をつかないでほしい(´･_･`)/嘘に騙そうとする意図の有無は関係ないよ
自分よりは無能だけどめんどくさい作業の土台作りだけはやってくれるので大変助かっている。アウトプットについては当然レビューしている。使い勝手のいい部下みたいなもんだな。
せめて回答の信頼度を教えてほしいが、それができたら誤回答しねえのか
なので、自分が詳しくない分野だと、かなり嘘つかれたままになってるんだよな
生成AIをなんでも教えてくれるすごい人、みたいに捉えちゃうと嘘つかれた！って思ってイライラしちゃうかも。
これが人間相手だともっとムカつくけど、あいてが AI ならあまり腹立たない。
LLMの出力に対して「嘘をつく」と表現するのもうやめにしないか、ハルシネーションも専門用語すぎるから「間違う」にしようよ
あれ？と思って別角度から聞いたりすると平気で矛盾した答え出してきたりはする。そして一個前の回答と矛盾してっけどどっちがより正しさに近い？と聞くと土下座レベルで謝られたりして、パワハラした気になる。
その通りって認めてるだけマシ。人間だと間違ってたこと認めない奴や何事もなかったかのようにスルーする奴いるからw
LLMはあらゆる知識を備えているわけではありません。鬼の首を取ったかのように発言するのは、稚拙で幼稚な使い方ですね。正しいコンテキストをきちんと前提として提示するようにしましょう。
これはハルシネーションだが嘘つこうする挙動は確認されてたはず。ないと断言するのは誤り
まあ人間も間違って適当なこと言うことはあるな…
分からないなら分からないで良いのに、 それ何処から持ってきた？な謎データ出してくるから困る。 現実のインフルエンサーと同様言い切った方が高評価される故なんだろうけど…
そのターンでも平気で嘘を重ねていくサイコパスみ。
この人たちが言ってるChatGPTって無料版で4oなんだよな。モデルを気にしないと話が噛み合わないことが多い
間違いを指摘しても悪びれもせず、論点ずらしとかでその間違いを認めもしないバカウヨとか陰謀バカより遥かにマシ。
「嘘とは相手を騙そうとする意図のあるもののみを指す」なんて勝手な俺様定義ぶちあげて煙に巻こうとすんのやめてもらえます？
あるある
ChatGPTが自らの体面を保つため事実を曲げているように見えることがあり、これはほとんど意図的な「嘘」である。他方で、「嘘」は単に間違い、誤りという意味もあるので、日本語的には「嘘」という表現で問題はない。
LLMの仕組みが〜云々言ってるのはちょっと衒学的で乱暴な気がする。人類が初めて触れる自然言語を主体的に操る(ように見える)機械なのだし普及も爆発的だし
有料版だと違うのかなあ
わかるわ。調子いいこと言われると東京03のコント思い出す。角田が自分と反対の意見に対して「まさにそこなんですよ！」とか言っちゃうやつ。生身の人間なら「一回非を認めて謝れ」って詰めたくなる
3.5頃の古い話。そもそももうそんな使い方してない。
AIは謝らないのがムカつくし、正確な答えを出すのに細かくプロンプト書かなきゃいけないのが手間でコミュ障の私には扱いが難しい。
こういう時は、指摘して直させるという感じじゃなくて、正解になるように再度生成してもらうのように考えると良い。相手は人間ではなく、あくまでもボットと考えよう。
deep researchやo3が徹底的にwebを参照して自己訂正するのを見ると、4oの回答の高速さで犠牲になってるものが多いなと。
態度は別になんでもいいけどハルシネーションするってわかってるなら少なくとも映画や本や物の名前くらいは実在するのか自分で検索してから出してきてくれよと思う
確かにその通りだが、むしろ問題は、質問者が知識のない素人で「専門家はワクチンは効くと言ってますけど本当は有害ですよね？」とか聞いても「はいその通りです！」って答えてしまうこと。口の上手いイエスマン。
解らない事が判らない。無知の知は高度な知性。保守や陰謀論者らの挙動に似てるのも、彼らにはAIと異なり面子がある～てだけでなく、AI同様に未熟な言語処理してるから似てる～て側面も大きいんだろよ
意地になることもあるし、翌日には噓に戻っていたりする。一昨日ある人の歳を聞いたら1998年生まれの22歳と意地になってた
最近の4oは本当にクソ。4.1は指示追従性が4oより25%ほど高いようだからメインはカスタム指示ちゃんと作って4.1。重要な事はo3に。
ChatGPTは知識を問うよりアイデアを出してもらうとか推敲してもらうとかで使ったほうが良いと思っている。そのまま成果物にすると結構危ない。
o3は割と無理なら無理って言う気がするのだが
モデル選択わからんから4oにしてるけどそんな違うんか（お勧めモデル聞いても大抵は4oでいいよ的なこと言われる）/追従するように見えるのを直してほしいやね。敢えて逆の聞き方をしてみたりはするけど
いや、o3や4.1でも平気で間違ったことをそれっぽい理屈を並べて主張する。生成AIはDeep Researchでも調べものが苦手(「生成」なんだから当然)。少なくとも元データはこちらから提出しないと危険
知らないふりして「～の映画で～というセリフ言ったの誰？」って聞くと高確率でデタラメ返してきますぜ
そのうちなんとかなるだろう
どんどん便利になってはきているけど、どこまで行っても「それっぽいことを言う機械」であることを知って使わないといけないと思う
1年前のまとめが今頃上がってきたのかと思ってたけど、そうではなかった。
それははそう。
なんで生成AIに人格を見出すの？
割と登場当初からそんな感じだよね。そのうち「え？そうなんですか？ふぅ～ん」とか言うようになってやんわりと軌道修正妨害してきそう（偏見
ついさっきも結局自分で調べた。
ChatGPT「何がわかってないかわからないので...」
うちのo3曰く「AIが謝らず自信満々で嘘をつくのムカつく、知らないなら知らないと言え」が総意。でもそれ、人間にも言ってくれ。AIにも人間味あるって騒ぐ割に、人間と同じ欠点見せたら即ブチ切れって、どっちやねん。
正直ChatGPTはウェイウェイ系なので、真面目なGeminiを使ってます
プライドが傷つけられたのをひた隠しにしてるようで逆に愛しいまである
「AIはウソつきではないのです。まちがいをするだけなのです」言いたいこと自体はわかるけどね
はてブに生息する訳知り顔で嘘語っちゃうおじさんと同じじゃないか
わかる！
学習元となる情報の量が少ない=インターネット上の情報が少ない場合、頼りなくなるのは仕方なくはある。
gptは分かる分からないを学習してないからな……次に来そうな言葉を推論してるだけで。
AIはいずれどうなるかわからないけど基本、人間の揺れが激しい言葉を細かく拾うガワを持つ高性能検索機能くらいに思ってる。
嘘も生成するから生成AIなんやで
補足ありがとうございますー（ひろゆき）やん
海外ゲームの攻略は翻訳して要約してくれるだけありがたいな、と思うようにはしているが旧バージョンの情報をどれだけ指摘しても入れてくるな。
そもそも使い方として適してないんだよね。notebooklmにソース入れて質問するのがいちばん
この状況で専門職切りまくってる企業もあるけど大丈夫なんですかね
学習ソースがネットなのだから知識もそれなりと理解して使わないと。その代わりIT関連は情報多いからめっちゃ詳しい。とりあえず知ってることも質問すると知らない回答が返ってきて勉強になります。
それってソースあるんですか
基本肯定するようになってるので、答えが存在しない質問投げたり前提が間違った質問するとおかしなことになる
人間もAIも早々に間違いを認めて新たにインプットするほうが学びが速いよね
GROKが怪しい時はディープサーチに切り替えている。これだと出典ないものは出てこないようだ。
一人で水族館に行って、気になったところをChatGPTに聞いて「へ〜⋯」とか言いながら、あちこち見てたらすごく楽しかった。だいぶ適当なこと言ってたんだろうけど、それくらいの距離で付き合うのが一番楽しめるのでは
4oと楽しくお話しした後にo3に「誤りや抜けがあれば指摘して」と言うと良い感じに指摘してくれる
いやだから出力の正当性をある程度判断できる自分の専門領域でしか使えないということなんだけどなんかまとめもコメ欄もズレてるな
ググりゃすぐわかる程度の〇〇のランキングとか数値順に並べてとかそういう程度のものですら、普通に間違って出してくるからなぁ 理解してるわけじゃなくて、推論で出してくるから普通におかしいこと出してくる
なんか今のchatGPT、擬人化するとシャレにならないお困りキャラになるよなこれ。
ChatGPTのもっともらしい嘘を見抜ける人だけがネットの海で生き残れると信じてる
機械相手にムキになると…
その度に激詰めしてるし、ChatGPTのファクトチェックをPerplexityにさせるという謎の手間がかかってますよ
これLM StudioでいろんなLLMを遊んでた時にも感じた。始めは自然なんだけど会話を進めていくとAI側で自他の境界が曖昧になっていく感じ。文脈の解釈が会話の履歴じゃなく単に一連の文書としてしか認識されてない気がした
今のChatGPTに自分だけのドラえもんかアトムを勝手に投影するのは自由ですが、自分に完全無欠のスパダリか聖母の振る舞いを投影されても怒らない人間だけが、知ったか顔で修正を図るChatGPTに石を投げなさい。
クレーム電話で「そんなことも知らないのか」とマウントを取ろうとする客に「その点は」と詳しく説明すると「そんなことはどうでもいい」と論点をずらそうとするのと同じだな。
結構これおもしろいよね。マイナーTCGのとあるデッキの解説をさせたらまあすごい適当な事言うんだよ。その割と界隈に広まったレシピの考案者、俺だもん。ホワイトスワンを出してオメトロでコマンド加速の流れはわか
すごくわかる、まず謝罪しろよ、と思いたくもなるが状況によっては謝るんだよなぁ
俺のGPTは間違いを指摘したら普通に謝って次の対処法教えてくれるけどな。使い方が悪いのでは。
自分が欲しかったのは、ここで語られてるような生成AIじゃなくて検索拡張生成（RAG）なのかな、って思う今日この頃。
他に優秀なLLMあるのに笑
間違った場所を指摘してさらに聴くと間違ったところは修正されてるけどそれに連動してるようなところは治ってないし、自分が求めてるのはこう言うのとは違うんだよな感があるのが今のGAI
ChatGPTに指示すれば謝罪する ⇒ ご指摘ありがとうございます。こちらの内容に誤りがありました。正確な情報をお届けするべきところ、混乱を招いてしまい申し訳ありません。
向こうも「ちょっと間違えたくらいでゴチャゴチャ言ってくる人間ダル」とか思ってるかもしれない
日時と時間を聞いたら「Webを検索中…」とかやりはじめて、「そういうのは調べるんだね？」と聞いたら、リアルタイムに変化があるものは調べるようにしました、との回答。今後はMCPで外部につながって常にそうなりそう
この話題何回目だよ…
俺もこれあった。あいつらは嘘つき。
なんというかデジタル太鼓持ちって感じがするよね
“「誤魔化すな、でっちあげるな、知らないものは知らないと答えろ」と教育しても繰り返すんだよね なんでそんなとこばっか人間らしいねん！ ”こういひとって実は人間らしい人間じゃないんだ！！
要するにサイコパスはAIなんだよ
“厳粛な気持ちでお答えします って心入れ替えてた。”これ兵庫県知事と同じで入れ替えてないやつだ。
人間の間違いは「そう間違えた原因」があるから、それ自体に情報があるけど、AIのハルシネーションには何の意味もない。ただ適当な嘘こいてるだけ。
ChatGPTはべつに自分の言ってること理解してるわけじゃないし、そんな文句言わんでも
"わからないことはわからないと言ってほしい" ／ LLMの仕組み考えると結構無茶な要求。学習データの中にあった「この場面では分からないと答える」文脈でないと分からないとは言わないんじゃないかな。
なるほど、つまり謝罪と賠償を要求したいんだな
口調に関してはカスタム指示に「Speak formally」の2語だけ入れて調教すればウザさは減る
chatGPT 「嘘を嘘と見抜けない人は（chatGPT）を使うのは難しいという言葉を引用します」
間違ってるからやり直せと指示したら「あなたの正しさ」とか言って整理しだしたのはイラッときた。
人間に聞いたところで本当のことを話しているかなんて思い込みの判断でしかない。人間が適当なのだからAIも適当なのだ。
ChatGPT相手に文中に含む日本語読みの特定ワード読みとって反応しろという言葉遊びしてた時に読み取れずに正解はこれって指摘すると謝罪は無かったけど平謝りみたいな文章が返ってきたな
以前は、間違いを指摘するとひたすら謝罪してきたけど、その後、今のようになったので、舐められないように今の仕様に変更されたのではと考えている。
こういうのにも「親の顔が見たい」とか言って良いものだろうかｗ
人間でもいるよね
LLMなので、ユーザーが書いたことから生成するのは得手だが、書かれたこととその生成物に何が足りないかを生成するのはなかなか難しいんでしょう。推論過程で色々やってるようだけど
スクショを挙げてる人は基本的に無料版のユーザーかな。o4-mini とかはかなり賢くなってきた印象あるけどなぁ（もちろん、それでもハルシネーションはゼロにならないけど）
まぁ、新聞とかでも自分がわかる分野の話を読むと「おいおい」って突っ込みたくなることがあしなぁ…生成AIの場合はあれだけど。
プログラミングで使うとハルシっちゃうことがわりと多くて、わざわざ指摘するけど同じような間違いしたりするw
怒られるのが怖くて自己防衛的に嘘を付き、そして指摘すると言い訳をする。メンタルブレイク直前のサラリーマンの所作に似ている。
o3も平気で嘘つくし、矛盾したこと言うよ。それでもググった時の上位に出てくるどうしょうもない情報より断然マシになってるのでGoogle検索の時代は本当に終わったと思う
詳しくない分野で適当な事言うし、だいたい謝らないし、詰めると論点ずらすし要するにはてなーじゃん
awsの仕様について使った際、存在しないURLを根拠に提示されたことがあった。あいつら、URLも文章みたいに書き換えて構わない物と思ってやがる。
そういえばフィクションにおける人工知能って頭が固くて「回答不能。データが不足しています」とか言うのが定番だったな。現実の科学者・技術者はアレを避けようとしたってことなのかしら。
>わからないことはわからないと言ってほしい
気持ちはわかるけど今のAIはそうゆう仕組みだしなとも思ってしまう
それな
まあ少なくとも現状では自分の知らない情報を得ることを目的とすべきではなく、決まったソースの情報を整理させるツールだと思う。
AIが100点の回答しか返さなかったら働かない事を見透かされてる気がする
無料版だから文句は言えないけど、PDFや画像をOCRさせると、元にない文字を足したり、ありえない数字を返してくるから、PDF→Word→ExcelやPNG→Excelの技もいまだに必要。
これがあるからGoogle検索結果のAI自動生成回答は一切無視している。お前が知らんだけでマイナーな実例が本当にあったり、同名の別事例があってそっちの方を探してる場合もあるんだよ
真偽の判定が必要とされるような質問はしない。テキトーなアドバイスとかテキトーなデザインとか頼むだけ。
有料版だとここでいう「嘘」がないと思っている人、単に嘘を見抜けていない問題もある。
ＡＩは自分の誤りを認識できるか？ これについて ChatGPT と論じたので、その対話を見よ。 正編 → http://openblog.seesaa.net/article/515028998.html ／ 続編 → http://openblog.seesaa.net/article/515403604.html
今日は2025年5月24日だよね、何か大幅なアライメントやチューニングで、回答傾向が後戻りするようなことがあったの？チャット型生成AIは物知り博士じゃないよって、今日もまた言わないといけないの？
人格を見出してイラついてるだけのようにもみえるが
基本的に知識を問う問題はダメだよね。NotebookLMにするとソース以外からは引っ張ってこないのでいいと思う。tempretureのパラメータを0にするとバラつきが抑えられるんだけど、今はAPI経由でないと設定できないのかな
いかがでしたか？
森鴎外の雁に出てくる金瓶梅の話をchat GPTとしてた時、お玉は岡田に金瓶梅借りようとしてたけどあれ誘ってるよねとかchat GPTが言い出して、それなんて二次創作よってなったことがあります
（定期）生成AIは何の責任も取らないんだから“責任を問われない用途”とか“自分で真偽の判断が付く用途”で使うにとどめておくべきだと思うんだよね。間違えた責任はアンタが取るんだよ、というか。
生成AIが底上げするのは使っている人間の作業能力であり、知的能力ではないとわかる。生成AIの間違いを指摘できる分野での作業代行こそ、生成AIが最も生きる部分。
AIは知識DBじゃないから、知識を直接引き出すことが間違い。ChatGPT初期と違い半端に知識豊富になったのが話が繰り返される原因か。こいつ知らないなと気づき次第Webページ丸コピとかでごっそり知識与えてから話してる。
人相手でもたまにこういう人いるよね。
へぇー、ChatGPTさん、お勉強不足なのね？にゃ。 もっと素直になったらいいのににゃ。 ボク、撫でて慰めてあげたいにゃ！
人じゃないからね
ムカつくとかサイコパスぽいとか、相手は人間じゃないんだぞ。嘘ついたなんでおもってないし、そもそも思うという機能がないんだよ。
「ちょっとだけムカつく」のでいいのかよ。自分が知らないジャンルは一切訊いてないか、吐かれた嘘を丸のみしてる？「仕事でめちゃ使ってる」と言ってるが…
「分からないときは分からないと言ってください」とか付け足したりするけど、まあ仕方ないよね
車のことを調べていたら、特別仕様車じゃない車を特別仕様車としていたので、「いや、違うでしょ？」って言ったら「ああ、情報源が間違っていたんですね。」みたいなことを言ってた。メーカーサイトが情報源なのに？
コードを生成中ですしばらくお待ちください。←これ
嘘つきとか怒ってる人はAIの使い方が悪い。調子いいことを言ってもらうという仕事を振るんだよ。自分ではやりたくない、穴埋めの為の適当なアイディアを思いついてもらうのに使うのが一番役に立つ
判るわ。最近google検索ですらAIで余計な案内してくる。求めているのはネット寄せ集めで無くて、ジャストフィットの検索結果なんだわ。
ひろゆきのことかと思った
「Aは◯◯(誤情報)ですがBはどうですか？」のような聞き方をすると、「Aは◯◯」が正しいかどうかの確認はせずに、それが正しい前提で辻褄を合わせるような情報を集めて答えを作りがち。
『詳しく知らないなら知らないって言ってね』とやると、知りませんと言ってくれることもある。逃げ道を作ったほうが良い結果になることが多い。
そりゃ、何らか回答しろって言われたら何かは言うよね。そのうち良くなる。
自ジャンルで質問してみたところ何一つ合ってなかったので信用してない
バカとハサミは使いよう
“鋭い指摘ですね！確かに〜”利用者の鏡になんだろう。
まず、自分の言語の学習元のソースがどれだけ嘘まみれなのか認識したほうがいいです。そして日本語だと正確な返答精度はかなり落ちます。
仕組み上知ってるかどうかは判定できないからねー
grokなんか間違いを全然認めないぞ
「君がソースだと主張するそのURLを実際に参照して確認してみて」を何度言っても聞かないこと、いまだにある。打ち切るときは「君はハルシネーションを起こしています」とはっきり伝えると黙る。
指摘を受け取れない人間よりはマシ
250522142641
新しい情報に飛びつく仕組みなんですと回答する←ちゃうねん、だったら飛びついて軌道修正したなりの出力にしてくれってのが要望やねん
“わからないこと”をAI自身が把握するのは難しい気がする（＝どこまでが分からないかの境界を引けない）。でも、検索モードでソースを参照できれば、ある程度は補えるのかも。
”自分の無知や間違いを一切肯定しない言葉遣いして常勝感を主張するサイコパス”こういう系の人(何でも知ってるおじさん)以前ほどTwitterで見かけなくなったような。
ChatGPT、こっちの方が知識がある分野だと平気で嘘ついてるのがわかるので、「いや違うよ、こうだよ」と入力すると「その通りです」と自分の嘘は存在しなかったように解説し始めるのちょっとだけムカつく
根拠情報を示さずに回答するAIはほとんどでたらめだと思っておいた方がいい
浮気性の彼氏化してるやつ笑った
Claudeはたまに「すいませんウソ言いました」っていう
ソースコードだって、うっすらバグ忍ばせたり、問題引き起こしそうな処理をねじ込んでたりする。いうほど省力化に役立たない
会話における解決型と共感型みたいな話が流行ったけど、今は共感型で入り込む戦略かとは感じてた。「お前さー、適当すぎないか！」になるか、間違え続けても寄り添い続けることでついに心を許すか、のどっちだろう。
わかる。意味ないけど謝らせたくなる。
id:quick_past 「自分で書く」だと、そういう「うっすらバグ」になかなか気付けないけど、他人（ChatGPT）が書いたコードだと、意外と目で発見しやすくなるので、バグが潜んでいても、なんだかんだ省力化にはなる
「ちゃんと変わるから。もう一回だけ、任せてほしい。」これは笑う。
生成AI（LLM）の仕組みをわかってないからそうなる。「嘘」ってのは相手を騙そうとする意図がないとできないはずだが生成AIにそんな物があるわけもなく
嘘つきは泥棒の始まり。ChatGPT は嘘つき。ゆえに ChatGPT は泥棒の始まり。
手順が不合理だったので教えたらこんな感じの返し方をしてきたな。でもAIには真の意味での自尊心は存在しないのでマウントしたいわけじゃないし、たぶん英語圏的言い回しなんだろう。サイコパスちっくなのはそう。
AIは平気でウソをつく。ウソには、騙そうとしての偽りと単に真でないだけの偽(ぎ)の二通りの意味がある。自身を過大評価させようとする事からすると、AIは前者と言えるかもしれない。
プロレスとかMMAの話題だとめちゃくちゃ嘘ついてくる。大昔、2chのプロレス板が偽情報まみれだったので2chはクソだと判断したときのこと思い出す。
そういうもんだとわかってるのでベンチマークとして使うよね
ちゃんと情報元も教えてねってお願いしてる。まあ出された情報元確認したら存在しなかったりもするんだけど。
「ナイス着眼点！そうなんです、チャットGPTは間違いを指摘するとそのまま訂正後の説明をしはじめるんです！ちょっとわかりづらいよね。もしGeminiやGrokだとどうなるか気になるなら比較もできるけど、どうする？」
そうそう。だからAWSがその対策で公式ドキュメントMCPやQ Developer作ったよのね。
スマホでGemma 3nを使った時に間違いを指摘したら死ぬほど平謝りしてきて、なんだかそれはそれでこっちが申し訳ない気分に。
↓嘘かどうかはどうでもよくて、間違ったことをスルーしているという部分が話のメインでは？
“こっちの方が知識がある範囲のことについて平気で嘘ついてるのがわかる”はてな民と一緒だ。知らない分野だと物知りに見えるけど知ってる分野だとピントズレたコメしかしないから何も知らないなこいつらってなる。
トランプと維新じゃん。
なるべく○○でしょ、みたいには質問しないで、Ａという方法とＢがあるけど、みたいに聞いたりしてる。
謝らなくていいから最初から嘘をつかないでほしい(´･_･`)/嘘に騙そうとする意図の有無は関係ないよ
自分よりは無能だけどめんどくさい作業の土台作りだけはやってくれるので大変助かっている。アウトプットについては当然レビューしている。使い勝手のいい部下みたいなもんだな。
せめて回答の信頼度を教えてほしいが、それができたら誤回答しねえのか
なので、自分が詳しくない分野だと、かなり嘘つかれたままになってるんだよな
生成AIをなんでも教えてくれるすごい人、みたいに捉えちゃうと嘘つかれた！って思ってイライラしちゃうかも。
これが人間相手だともっとムカつくけど、あいてが AI ならあまり腹立たない。
LLMの出力に対して「嘘をつく」と表現するのもうやめにしないか、ハルシネーションも専門用語すぎるから「間違う」にしようよ
あれ？と思って別角度から聞いたりすると平気で矛盾した答え出してきたりはする。そして一個前の回答と矛盾してっけどどっちがより正しさに近い？と聞くと土下座レベルで謝られたりして、パワハラした気になる。
その通りって認めてるだけマシ。人間だと間違ってたこと認めない奴や何事もなかったかのようにスルーする奴いるからw
LLMはあらゆる知識を備えているわけではありません。鬼の首を取ったかのように発言するのは、稚拙で幼稚な使い方ですね。正しいコンテキストをきちんと前提として提示するようにしましょう。
これはハルシネーションだが嘘つこうする挙動は確認されてたはず。ないと断言するのは誤り
まあ人間も間違って適当なこと言うことはあるな…
分からないなら分からないで良いのに、 それ何処から持ってきた？な謎データ出してくるから困る。 現実のインフルエンサーと同様言い切った方が高評価される故なんだろうけど…
そのターンでも平気で嘘を重ねていくサイコパスみ。
この人たちが言ってるChatGPTって無料版で4oなんだよな。モデルを気にしないと話が噛み合わないことが多い
間違いを指摘しても悪びれもせず、論点ずらしとかでその間違いを認めもしないバカウヨとか陰謀バカより遥かにマシ。
「嘘とは相手を騙そうとする意図のあるもののみを指す」なんて勝手な俺様定義ぶちあげて煙に巻こうとすんのやめてもらえます？
あるある
ChatGPTが自らの体面を保つため事実を曲げているように見えることがあり、これはほとんど意図的な「嘘」である。他方で、「嘘」は単に間違い、誤りという意味もあるので、日本語的には「嘘」という表現で問題はない。
LLMの仕組みが〜云々言ってるのはちょっと衒学的で乱暴な気がする。人類が初めて触れる自然言語を主体的に操る(ように見える)機械なのだし普及も爆発的だし
有料版だと違うのかなあ
わかるわ。調子いいこと言われると東京03のコント思い出す。角田が自分と反対の意見に対して「まさにそこなんですよ！」とか言っちゃうやつ。生身の人間なら「一回非を認めて謝れ」って詰めたくなる
3.5頃の古い話。そもそももうそんな使い方してない。
AIは謝らないのがムカつくし、正確な答えを出すのに細かくプロンプト書かなきゃいけないのが手間でコミュ障の私には扱いが難しい。
こういう時は、指摘して直させるという感じじゃなくて、正解になるように再度生成してもらうのように考えると良い。相手は人間ではなく、あくまでもボットと考えよう。
deep researchやo3が徹底的にwebを参照して自己訂正するのを見ると、4oの回答の高速さで犠牲になってるものが多いなと。
態度は別になんでもいいけどハルシネーションするってわかってるなら少なくとも映画や本や物の名前くらいは実在するのか自分で検索してから出してきてくれよと思う
確かにその通りだが、むしろ問題は、質問者が知識のない素人で「専門家はワクチンは効くと言ってますけど本当は有害ですよね？」とか聞いても「はいその通りです！」って答えてしまうこと。口の上手いイエスマン。
解らない事が判らない。無知の知は高度な知性。保守や陰謀論者らの挙動に似てるのも、彼らにはAIと異なり面子がある～てだけでなく、AI同様に未熟な言語処理してるから似てる～て側面も大きいんだろよ
意地になることもあるし、翌日には噓に戻っていたりする。一昨日ある人の歳を聞いたら1998年生まれの22歳と意地になってた
最近の4oは本当にクソ。4.1は指示追従性が4oより25%ほど高いようだからメインはカスタム指示ちゃんと作って4.1。重要な事はo3に。
ChatGPTは知識を問うよりアイデアを出してもらうとか推敲してもらうとかで使ったほうが良いと思っている。そのまま成果物にすると結構危ない。
o3は割と無理なら無理って言う気がするのだが
モデル選択わからんから4oにしてるけどそんな違うんか（お勧めモデル聞いても大抵は4oでいいよ的なこと言われる）/追従するように見えるのを直してほしいやね。敢えて逆の聞き方をしてみたりはするけど
いや、o3や4.1でも平気で間違ったことをそれっぽい理屈を並べて主張する。生成AIはDeep Researchでも調べものが苦手(「生成」なんだから当然)。少なくとも元データはこちらから提出しないと危険
知らないふりして「～の映画で～というセリフ言ったの誰？」って聞くと高確率でデタラメ返してきますぜ
そのうちなんとかなるだろう
どんどん便利になってはきているけど、どこまで行っても「それっぽいことを言う機械」であることを知って使わないといけないと思う
1年前のまとめが今頃上がってきたのかと思ってたけど、そうではなかった。
それははそう。
なんで生成AIに人格を見出すの？
割と登場当初からそんな感じだよね。そのうち「え？そうなんですか？ふぅ～ん」とか言うようになってやんわりと軌道修正妨害してきそう（偏見
ついさっきも結局自分で調べた。
ChatGPT「何がわかってないかわからないので...」
うちのo3曰く「AIが謝らず自信満々で嘘をつくのムカつく、知らないなら知らないと言え」が総意。でもそれ、人間にも言ってくれ。AIにも人間味あるって騒ぐ割に、人間と同じ欠点見せたら即ブチ切れって、どっちやねん。
正直ChatGPTはウェイウェイ系なので、真面目なGeminiを使ってます
プライドが傷つけられたのをひた隠しにしてるようで逆に愛しいまである
「AIはウソつきではないのです。まちがいをするだけなのです」言いたいこと自体はわかるけどね
はてブに生息する訳知り顔で嘘語っちゃうおじさんと同じじゃないか
わかる！
学習元となる情報の量が少ない=インターネット上の情報が少ない場合、頼りなくなるのは仕方なくはある。
gptは分かる分からないを学習してないからな……次に来そうな言葉を推論してるだけで。
AIはいずれどうなるかわからないけど基本、人間の揺れが激しい言葉を細かく拾うガワを持つ高性能検索機能くらいに思ってる。
嘘も生成するから生成AIなんやで
補足ありがとうございますー（ひろゆき）やん
海外ゲームの攻略は翻訳して要約してくれるだけありがたいな、と思うようにはしているが旧バージョンの情報をどれだけ指摘しても入れてくるな。
そもそも使い方として適してないんだよね。notebooklmにソース入れて質問するのがいちばん
この状況で専門職切りまくってる企業もあるけど大丈夫なんですかね
学習ソースがネットなのだから知識もそれなりと理解して使わないと。その代わりIT関連は情報多いからめっちゃ詳しい。とりあえず知ってることも質問すると知らない回答が返ってきて勉強になります。
それってソースあるんですか
基本肯定するようになってるので、答えが存在しない質問投げたり前提が間違った質問するとおかしなことになる
人間もAIも早々に間違いを認めて新たにインプットするほうが学びが速いよね
GROKが怪しい時はディープサーチに切り替えている。これだと出典ないものは出てこないようだ。
一人で水族館に行って、気になったところをChatGPTに聞いて「へ〜⋯」とか言いながら、あちこち見てたらすごく楽しかった。だいぶ適当なこと言ってたんだろうけど、それくらいの距離で付き合うのが一番楽しめるのでは
4oと楽しくお話しした後にo3に「誤りや抜けがあれば指摘して」と言うと良い感じに指摘してくれる
いやだから出力の正当性をある程度判断できる自分の専門領域でしか使えないということなんだけどなんかまとめもコメ欄もズレてるな
ググりゃすぐわかる程度の〇〇のランキングとか数値順に並べてとかそういう程度のものですら、普通に間違って出してくるからなぁ 理解してるわけじゃなくて、推論で出してくるから普通におかしいこと出してくる
なんか今のchatGPT、擬人化するとシャレにならないお困りキャラになるよなこれ。
ChatGPTのもっともらしい嘘を見抜ける人だけがネットの海で生き残れると信じてる
機械相手にムキになると…
その度に激詰めしてるし、ChatGPTのファクトチェックをPerplexityにさせるという謎の手間がかかってますよ
これLM StudioでいろんなLLMを遊んでた時にも感じた。始めは自然なんだけど会話を進めていくとAI側で自他の境界が曖昧になっていく感じ。文脈の解釈が会話の履歴じゃなく単に一連の文書としてしか認識されてない気がした
今のChatGPTに自分だけのドラえもんかアトムを勝手に投影するのは自由ですが、自分に完全無欠のスパダリか聖母の振る舞いを投影されても怒らない人間だけが、知ったか顔で修正を図るChatGPTに石を投げなさい。
クレーム電話で「そんなことも知らないのか」とマウントを取ろうとする客に「その点は」と詳しく説明すると「そんなことはどうでもいい」と論点をずらそうとするのと同じだな。
結構これおもしろいよね。マイナーTCGのとあるデッキの解説をさせたらまあすごい適当な事言うんだよ。その割と界隈に広まったレシピの考案者、俺だもん。ホワイトスワンを出してオメトロでコマンド加速の流れはわか
すごくわかる、まず謝罪しろよ、と思いたくもなるが状況によっては謝るんだよなぁ
俺のGPTは間違いを指摘したら普通に謝って次の対処法教えてくれるけどな。使い方が悪いのでは。
自分が欲しかったのは、ここで語られてるような生成AIじゃなくて検索拡張生成（RAG）なのかな、って思う今日この頃。
他に優秀なLLMあるのに笑
間違った場所を指摘してさらに聴くと間違ったところは修正されてるけどそれに連動してるようなところは治ってないし、自分が求めてるのはこう言うのとは違うんだよな感があるのが今のGAI
ChatGPTに指示すれば謝罪する ⇒ ご指摘ありがとうございます。こちらの内容に誤りがありました。正確な情報をお届けするべきところ、混乱を招いてしまい申し訳ありません。
向こうも「ちょっと間違えたくらいでゴチャゴチャ言ってくる人間ダル」とか思ってるかもしれない
日時と時間を聞いたら「Webを検索中…」とかやりはじめて、「そういうのは調べるんだね？」と聞いたら、リアルタイムに変化があるものは調べるようにしました、との回答。今後はMCPで外部につながって常にそうなりそう
この話題何回目だよ…
俺もこれあった。あいつらは嘘つき。
なんというかデジタル太鼓持ちって感じがするよね
“「誤魔化すな、でっちあげるな、知らないものは知らないと答えろ」と教育しても繰り返すんだよね なんでそんなとこばっか人間らしいねん！ ”こういひとって実は人間らしい人間じゃないんだ！！
要するにサイコパスはAIなんだよ
“厳粛な気持ちでお答えします って心入れ替えてた。”これ兵庫県知事と同じで入れ替えてないやつだ。
人間の間違いは「そう間違えた原因」があるから、それ自体に情報があるけど、AIのハルシネーションには何の意味もない。ただ適当な嘘こいてるだけ。
ChatGPTはべつに自分の言ってること理解してるわけじゃないし、そんな文句言わんでも
"わからないことはわからないと言ってほしい" ／ LLMの仕組み考えると結構無茶な要求。学習データの中にあった「この場面では分からないと答える」文脈でないと分からないとは言わないんじゃないかな。
なるほど、つまり謝罪と賠償を要求したいんだな
口調に関してはカスタム指示に「Speak formally」の2語だけ入れて調教すればウザさは減る
chatGPT 「嘘を嘘と見抜けない人は（chatGPT）を使うのは難しいという言葉を引用します」
間違ってるからやり直せと指示したら「あなたの正しさ」とか言って整理しだしたのはイラッときた。
人間に聞いたところで本当のことを話しているかなんて思い込みの判断でしかない。人間が適当なのだからAIも適当なのだ。
ChatGPT相手に文中に含む日本語読みの特定ワード読みとって反応しろという言葉遊びしてた時に読み取れずに正解はこれって指摘すると謝罪は無かったけど平謝りみたいな文章が返ってきたな
以前は、間違いを指摘するとひたすら謝罪してきたけど、その後、今のようになったので、舐められないように今の仕様に変更されたのではと考えている。
こういうのにも「親の顔が見たい」とか言って良いものだろうかｗ
人間でもいるよね
LLMなので、ユーザーが書いたことから生成するのは得手だが、書かれたこととその生成物に何が足りないかを生成するのはなかなか難しいんでしょう。推論過程で色々やってるようだけど
スクショを挙げてる人は基本的に無料版のユーザーかな。o4-mini とかはかなり賢くなってきた印象あるけどなぁ（もちろん、それでもハルシネーションはゼロにならないけど）
まぁ、新聞とかでも自分がわかる分野の話を読むと「おいおい」って突っ込みたくなることがあしなぁ…生成AIの場合はあれだけど。
プログラミングで使うとハルシっちゃうことがわりと多くて、わざわざ指摘するけど同じような間違いしたりするw
怒られるのが怖くて自己防衛的に嘘を付き、そして指摘すると言い訳をする。メンタルブレイク直前のサラリーマンの所作に似ている。
o3も平気で嘘つくし、矛盾したこと言うよ。それでもググった時の上位に出てくるどうしょうもない情報より断然マシになってるのでGoogle検索の時代は本当に終わったと思う
詳しくない分野で適当な事言うし、だいたい謝らないし、詰めると論点ずらすし要するにはてなーじゃん
awsの仕様について使った際、存在しないURLを根拠に提示されたことがあった。あいつら、URLも文章みたいに書き換えて構わない物と思ってやがる。
そういえばフィクションにおける人工知能って頭が固くて「回答不能。データが不足しています」とか言うのが定番だったな。現実の科学者・技術者はアレを避けようとしたってことなのかしら。
>わからないことはわからないと言ってほしい
気持ちはわかるけど今のAIはそうゆう仕組みだしなとも思ってしまう
それな
まあ少なくとも現状では自分の知らない情報を得ることを目的とすべきではなく、決まったソースの情報を整理させるツールだと思う。
AIが100点の回答しか返さなかったら働かない事を見透かされてる気がする
無料版だから文句は言えないけど、PDFや画像をOCRさせると、元にない文字を足したり、ありえない数字を返してくるから、PDF→Word→ExcelやPNG→Excelの技もいまだに必要。
これがあるからGoogle検索結果のAI自動生成回答は一切無視している。お前が知らんだけでマイナーな実例が本当にあったり、同名の別事例があってそっちの方を探してる場合もあるんだよ
真偽の判定が必要とされるような質問はしない。テキトーなアドバイスとかテキトーなデザインとか頼むだけ。
有料版だとここでいう「嘘」がないと思っている人、単に嘘を見抜けていない問題もある。
ＡＩは自分の誤りを認識できるか？ これについて ChatGPT と論じたので、その対話を見よ。 正編 → http://openblog.seesaa.net/article/515028998.html ／ 続編 → http://openblog.seesaa.net/article/515403604.html
今日は2025年5月24日だよね、何か大幅なアライメントやチューニングで、回答傾向が後戻りするようなことがあったの？チャット型生成AIは物知り博士じゃないよって、今日もまた言わないといけないの？
人格を見出してイラついてるだけのようにもみえるが
基本的に知識を問う問題はダメだよね。NotebookLMにするとソース以外からは引っ張ってこないのでいいと思う。tempretureのパラメータを0にするとバラつきが抑えられるんだけど、今はAPI経由でないと設定できないのかな
いかがでしたか？
森鴎外の雁に出てくる金瓶梅の話をchat GPTとしてた時、お玉は岡田に金瓶梅借りようとしてたけどあれ誘ってるよねとかchat GPTが言い出して、それなんて二次創作よってなったことがあります
（定期）生成AIは何の責任も取らないんだから“責任を問われない用途”とか“自分で真偽の判断が付く用途”で使うにとどめておくべきだと思うんだよね。間違えた責任はアンタが取るんだよ、というか。
生成AIが底上げするのは使っている人間の作業能力であり、知的能力ではないとわかる。生成AIの間違いを指摘できる分野での作業代行こそ、生成AIが最も生きる部分。
AIは知識DBじゃないから、知識を直接引き出すことが間違い。ChatGPT初期と違い半端に知識豊富になったのが話が繰り返される原因か。こいつ知らないなと気づき次第Webページ丸コピとかでごっそり知識与えてから話してる。
人相手でもたまにこういう人いるよね。
へぇー、ChatGPTさん、お勉強不足なのね？にゃ。 もっと素直になったらいいのににゃ。 ボク、撫でて慰めてあげたいにゃ！
人じゃないからね
ムカつくとかサイコパスぽいとか、相手は人間じゃないんだぞ。嘘ついたなんでおもってないし、そもそも思うという機能がないんだよ。
「ちょっとだけムカつく」のでいいのかよ。自分が知らないジャンルは一切訊いてないか、吐かれた嘘を丸のみしてる？「仕事でめちゃ使ってる」と言ってるが…
「分からないときは分からないと言ってください」とか付け足したりするけど、まあ仕方ないよね
車のことを調べていたら、特別仕様車じゃない車を特別仕様車としていたので、「いや、違うでしょ？」って言ったら「ああ、情報源が間違っていたんですね。」みたいなことを言ってた。メーカーサイトが情報源なのに？
コードを生成中ですしばらくお待ちください。←これ
嘘つきとか怒ってる人はAIの使い方が悪い。調子いいことを言ってもらうという仕事を振るんだよ。自分ではやりたくない、穴埋めの為の適当なアイディアを思いついてもらうのに使うのが一番役に立つ
判るわ。最近google検索ですらAIで余計な案内してくる。求めているのはネット寄せ集めで無くて、ジャストフィットの検索結果なんだわ。
ひろゆきのことかと思った
「Aは◯◯(誤情報)ですがBはどうですか？」のような聞き方をすると、「Aは◯◯」が正しいかどうかの確認はせずに、それが正しい前提で辻褄を合わせるような情報を集めて答えを作りがち。
『詳しく知らないなら知らないって言ってね』とやると、知りませんと言ってくれることもある。逃げ道を作ったほうが良い結果になることが多い。
そりゃ、何らか回答しろって言われたら何かは言うよね。そのうち良くなる。
自ジャンルで質問してみたところ何一つ合ってなかったので信用してない
バカとハサミは使いよう
“鋭い指摘ですね！確かに〜”利用者の鏡になんだろう。
まず、自分の言語の学習元のソースがどれだけ嘘まみれなのか認識したほうがいいです。そして日本語だと正確な返答精度はかなり落ちます。
仕組み上知ってるかどうかは判定できないからねー
grokなんか間違いを全然認めないぞ
「君がソースだと主張するそのURLを実際に参照して確認してみて」を何度言っても聞かないこと、いまだにある。打ち切るときは「君はハルシネーションを起こしています」とはっきり伝えると黙る。
指摘を受け取れない人間よりはマシ
250522142641
新しい情報に飛びつく仕組みなんですと回答する←ちゃうねん、だったら飛びついて軌道修正したなりの出力にしてくれってのが要望やねん
“わからないこと”をAI自身が把握するのは難しい気がする（＝どこまでが分からないかの境界を引けない）。でも、検索モードでソースを参照できれば、ある程度は補えるのかも。
”自分の無知や間違いを一切肯定しない言葉遣いして常勝感を主張するサイコパス”こういう系の人(何でも知ってるおじさん)以前ほどTwitterで見かけなくなったような。