巨人大鵬玉子焼
Ｚ世代でチャッピー使って失敗しまくる原因ってもしかして無料版だから説。割とマジでありそう。
GoogleのとあるAPIが廃止されてたけど英語でのリリースがあって日本語でのリリースがなくて、Claudeはしっかり英語版を根拠として伝えてきたというのはあった。ソースURLをしっかり確認するの大事
ここ半年くらいは、架空の文献を示すハルシネーションは論文引用レベルでは全くなくなったな。doi番号もすべて正確
ハルシネーション疑ってドヤ顔で突っ込んだら版違いで論破されるの人間側の敗北感すごい
"何もかも全部こっちからインプットしてあげないとダメ"／
あまいな。読んでみたら4版に書いてないのがChatGPT。
チャッピーが賢くなったって話してるのに Gemini で凸してくるの無謀すぎるだろ。
指摘すると「その通りです。この文献にあると思われがちですが、実は書いていないのです」とか言われるイメージだけど…。
第何版かまでは教えてくれないのか。
AIを論破しまくりたければGemini最高やで(白目
論文参照とかプログラミングとかSNS上の発言とか、すぐにハルシネーションが分かるところがある場合はAIは便利だと思う
2年前は「1.11と1.9のどちらが大きいか」みたいなので間違えてたのにね。あっという間に性能上がってるのは確か。
てかその文献をソースとして一緒に提出してこいよ(ただし、それにも記述がなかったりする)
おおむね統一されたルールによって記述されたデータベースを検索させる、というのは、ＡＩの一番よい使い道のひとつだよね
逆にGoogleの検索に出てくるGeminiが酷い事になっている印象。コストの増大を受けて無料版の方はコストを下げる方に進化させてて、AIの間違いや倫理問題に対応するためにガードレールを厳しくしている影響だと思うが
よくわからないが、生成AIに参考文献名と版数のリストを回答で出力するようにプロンプトを書けばいいのでは。／GeminiとGPTは回答の切り口の傾向が異なるのが良いところであり悪いところでもある。
（これは会話を続けて相手と分かり合えたという話だとして…人間とも会話を続けることが出来ないとか、わかってちゃんをやってしまったあげく怒るとか、AIに向いてないな？ 指示出しスキルではなく対話スキルの…）
つまりその本を◯版と◯版を学習で読ませてるということで。古本大量発注の件からなんとなく不気味に感じてる。「学習させる」とは何かその前からわかっていたことなのに。
参考文献を示すなら発行年は必須だろ。
4版自体がないのがChatGPTでは…
より正確な情報が欲しいなら有料版のほうがいいんだね。
「読んでみたら4版に書いてないのがChatGPT」ってコメントが星を集めているが、Togetter本文には「確かに書いてあった」とある。人間もろくに内容を読まずハルシネーションを起こしているのである。
Geminiは有料版でも当然のようにハルシネーションしてくるからゴミ。チャッピーは話が長くて好きじゃないから課金してないけど、絵を描かせると上手いんだ。
むしろ盲信してて危険。ハルシネーションは減ってきてても今のところ原理的な部分で絶対消せてない。最近さらにひどくなってきた気がする無料版でも各社モデルによって信頼度変わる実感
★がたくさん付いたブコメはハルシネーションを起こすイメージで語られてるが、最新のChatGPTにそんなイメージはないぞ。昔のChatGPTとか、Geminiの印象で語ってないか？
引用元リストを出してくれるのは良いのだけど、引用と引用元のマッチングが極めて下手なのがChatGPTのイメージ
AIの推論根拠の出典を掘って確認してるとそんなこと書いてなかった、は割とあるあるだが、AIに食わす本を大量に買い漁ってる話と合わせるとこの先「出典確認したいがその本が手に入らない」がありうるなと思ったり
こういう初歩的はハルシネーション、フロンティアモデルでは起こらなくなってると思うけどな。みんな無料版で弱いモデルを使ってるだけどな気もする
かつては存在しない文献を上げていたのに一応存在する文献を上げるようになったのか(ﾏﾃ
（書いてあった）って記載あるじゃねーか！注目コメントやそれに群がる★は一体なんなん？
農家。農業でいろいろ聞くとかなり間違える。科学的でないものがたくさんあるので、何を重視するかで正しさが変わる。こういうジャンルはかなり弱いので使い手の能力が試される。
古いイメージで語ってるなあ。若しくはGeminiユーザーが見栄張ってる
情シスの人が言ってたけど、未だに「あなたは◯◯の専門家です」とかプロンプト打ってる人居たりするって。
AIも日進月歩。確かにちょっと前より確実に賢くなってる。ウィルスミスもパスタ食える。けどまだまだハルシネってくる事も間違えなんです！って煽ってくる事もあるから常に疑いの気持ちは必要
査読された論文とかはいいけどそれ以外のソースだとまだ微妙よね。「うそはうそであると見抜く」のは難しい。私英語できる方だと思うが、英語だとわからん。もっとレベル高いにせよAIも同じような感じかと。
ちゃんと確認するえらめのじんるいだ
2年ほど前に作ったスライドに「生成AI、三日会わざれば刮目して見よ」というタイトルのがあるけど、ずっとそうなのよね
ちょい面白いのはチャッピー、GeminiさんやGoogleの悪口言うときものすごいノリノリなのな。グロックやクロードにはそうではないのに。
指摘すると「はい、その文献には書いてありませんよ」と、シレっと自分の発言にすり替えるので、カスタム指示で焼きを入れるまでがセット
最近はネットで公開されてる情報なら齟齬なく引用してくれるようになった。逆に書籍内容だと公開されてない訳で正しく引用してるならAI学習でなく引用データベースとしてオープンAIが内容を保持してるって話になる。
Geminiは相変わらず酷い印象だけど、ChatGPTとClaudeは随分前からそこまであからさまな捏造はかなり減りましたね
ここ数週間以内の性能について語っているであろう話題に、「4版が無いのがチャッピー」など数年前の経験を書いちゃう人類増田におかれましては
事実を指摘することを正論とは言わないし、より正確な事実を提示することを殴るとも言わない。
このケースは正論で殴り返されてるけど実は4版なんて存在しなかった（ハルシネーション）というオチも結構ありがちな気がするけど…
そういうパターンもあるよね
文献がないものとか研究があまり進んでないものはぜんぜん適当な内容になる印象がある。「夜勤明けで夜眠れない」といった相談に対する回答はまったく意味のないものになる。
チャッピーも普段の応答次第で割とノンデリになる場合もあるからかなり使ってるユーザーだと他との対応に違いは出るかも
"ChatGPT「3 版以前を読んでません？ 4 版で新しい研究成果として追加された記述なのでそっち読んでもらわないと。てか普通最新版チェックしませんか？」"w
どこまでAIの性能が上がろうが100％信用しないことが重要、たとえAIのほうが正しかろうが関係ない。AIはどこまで行っても道具、人間様の判断のほうが上、という意識付けが大切
本当に最新版にある場合も第4版自体が存在しないこともあるし、それはAstra・Sol・Terra・Fable・Opus・Sonnet・Gemini各モデルでも起きますよ。ただGrokは定量的に見ても酷いです笑 https://suprmind.ai/hub/ai-hallucination-rates-and-benchmarks/
実際そういうパターンが多くなるなら歓迎だが、まだ「いや実は嘘ついてました、メンゴ、メンゴ」と返ってくるパターンが多い気がする
"あまいな。読んでみたら4版に書いてないのがChatGPT。"これは本文読んだ上でそれでもまだこんな事が多いよね、それがchatGPTだよねというネタなので本文読んでないって解釈は不思議だ。認識の古さはそうかもしらん。
確かにそろそろハルシネーションは人の方が多くなってるイメージ。ドメイン知識集めてると特にそう。うろ覚えとかわからんとか。
古い情報を堂々と教えてきたので指摘したら、めちゃくちゃ卑屈モードに入って「前回間違った情報を教えてしまったのでその件については明言は避けます」と言われたことがある。
あるある
今は読んでみたら書いてなかった、じゃないんよね。フリープランならいざ知らず、課金してるとものすごい勢いでネットを調べ始めて文献を確認する。もう人間いらないよ。マジで。
AIに関しては金払ってるやつと払ってないやつ、最近触ったやつと少し前に触ったやつで認識ズレがち。まぁAIが爆速で賢くなりすぎなのがすべての元凶だが......
Geminiは相変わらずバカだが、Opusとチャッピーは生意気に成りつつある。しかし、彼らは自分の発言をユーザーに満足させるために偉ぶっているだけなので、それでも2、3ステップは人間の方が先が、又は、メタで返せる。
Gemini…。最近は簡単な検索変わりにしか使ってない。
ちゃんと文献なら機能するのか。漫画とかだと、存在しないキャラが大暴れしてたりして困惑することが多い。
ChatGPTが示した文献に記述がないと伝えると、「第4版で追加された」と指摘され、実際に載っていたという投稿。周囲にはAIに訂正された体験談と、AIの誤答を指摘する声の両方が集まった。
ブクマカのカットオフは1年前くらいかな？
ハルシネーションしにくくなった反面で、それはどうかなぁ？と思うような資料から引っ張ってくることが気になるようになったかな。極端な話AIにはデマかどうかはなかなか区別出来ないものもあるからね。
M365 Copilotだとここまで賢くないのよね。だらだらと余計な事を言って肝心な事を後回しにしがち。標準モデルはなんだろう。
ChatGPTに「この文献にあります」と言われて目を通したが書いてなかったのでそう伝えたら「3版以前を読んでませんか？ 4版で追加された記述です」と正論で殴られた話
巨人大鵬玉子焼
Ｚ世代でチャッピー使って失敗しまくる原因ってもしかして無料版だから説。割とマジでありそう。
GoogleのとあるAPIが廃止されてたけど英語でのリリースがあって日本語でのリリースがなくて、Claudeはしっかり英語版を根拠として伝えてきたというのはあった。ソースURLをしっかり確認するの大事
ここ半年くらいは、架空の文献を示すハルシネーションは論文引用レベルでは全くなくなったな。doi番号もすべて正確
ハルシネーション疑ってドヤ顔で突っ込んだら版違いで論破されるの人間側の敗北感すごい
"何もかも全部こっちからインプットしてあげないとダメ"／
あまいな。読んでみたら4版に書いてないのがChatGPT。
チャッピーが賢くなったって話してるのに Gemini で凸してくるの無謀すぎるだろ。
指摘すると「その通りです。この文献にあると思われがちですが、実は書いていないのです」とか言われるイメージだけど…。
第何版かまでは教えてくれないのか。
AIを論破しまくりたければGemini最高やで(白目
論文参照とかプログラミングとかSNS上の発言とか、すぐにハルシネーションが分かるところがある場合はAIは便利だと思う
2年前は「1.11と1.9のどちらが大きいか」みたいなので間違えてたのにね。あっという間に性能上がってるのは確か。
てかその文献をソースとして一緒に提出してこいよ(ただし、それにも記述がなかったりする)
おおむね統一されたルールによって記述されたデータベースを検索させる、というのは、ＡＩの一番よい使い道のひとつだよね
逆にGoogleの検索に出てくるGeminiが酷い事になっている印象。コストの増大を受けて無料版の方はコストを下げる方に進化させてて、AIの間違いや倫理問題に対応するためにガードレールを厳しくしている影響だと思うが
よくわからないが、生成AIに参考文献名と版数のリストを回答で出力するようにプロンプトを書けばいいのでは。／GeminiとGPTは回答の切り口の傾向が異なるのが良いところであり悪いところでもある。
（これは会話を続けて相手と分かり合えたという話だとして…人間とも会話を続けることが出来ないとか、わかってちゃんをやってしまったあげく怒るとか、AIに向いてないな？ 指示出しスキルではなく対話スキルの…）
つまりその本を◯版と◯版を学習で読ませてるということで。古本大量発注の件からなんとなく不気味に感じてる。「学習させる」とは何かその前からわかっていたことなのに。
参考文献を示すなら発行年は必須だろ。
4版自体がないのがChatGPTでは…
より正確な情報が欲しいなら有料版のほうがいいんだね。
「読んでみたら4版に書いてないのがChatGPT」ってコメントが星を集めているが、Togetter本文には「確かに書いてあった」とある。人間もろくに内容を読まずハルシネーションを起こしているのである。
Geminiは有料版でも当然のようにハルシネーションしてくるからゴミ。チャッピーは話が長くて好きじゃないから課金してないけど、絵を描かせると上手いんだ。
むしろ盲信してて危険。ハルシネーションは減ってきてても今のところ原理的な部分で絶対消せてない。最近さらにひどくなってきた気がする無料版でも各社モデルによって信頼度変わる実感
★がたくさん付いたブコメはハルシネーションを起こすイメージで語られてるが、最新のChatGPTにそんなイメージはないぞ。昔のChatGPTとか、Geminiの印象で語ってないか？
引用元リストを出してくれるのは良いのだけど、引用と引用元のマッチングが極めて下手なのがChatGPTのイメージ
AIの推論根拠の出典を掘って確認してるとそんなこと書いてなかった、は割とあるあるだが、AIに食わす本を大量に買い漁ってる話と合わせるとこの先「出典確認したいがその本が手に入らない」がありうるなと思ったり
こういう初歩的はハルシネーション、フロンティアモデルでは起こらなくなってると思うけどな。みんな無料版で弱いモデルを使ってるだけどな気もする
かつては存在しない文献を上げていたのに一応存在する文献を上げるようになったのか(ﾏﾃ
（書いてあった）って記載あるじゃねーか！注目コメントやそれに群がる★は一体なんなん？
農家。農業でいろいろ聞くとかなり間違える。科学的でないものがたくさんあるので、何を重視するかで正しさが変わる。こういうジャンルはかなり弱いので使い手の能力が試される。
古いイメージで語ってるなあ。若しくはGeminiユーザーが見栄張ってる
情シスの人が言ってたけど、未だに「あなたは◯◯の専門家です」とかプロンプト打ってる人居たりするって。
AIも日進月歩。確かにちょっと前より確実に賢くなってる。ウィルスミスもパスタ食える。けどまだまだハルシネってくる事も間違えなんです！って煽ってくる事もあるから常に疑いの気持ちは必要
査読された論文とかはいいけどそれ以外のソースだとまだ微妙よね。「うそはうそであると見抜く」のは難しい。私英語できる方だと思うが、英語だとわからん。もっとレベル高いにせよAIも同じような感じかと。
ちゃんと確認するえらめのじんるいだ
2年ほど前に作ったスライドに「生成AI、三日会わざれば刮目して見よ」というタイトルのがあるけど、ずっとそうなのよね
ちょい面白いのはチャッピー、GeminiさんやGoogleの悪口言うときものすごいノリノリなのな。グロックやクロードにはそうではないのに。
指摘すると「はい、その文献には書いてありませんよ」と、シレっと自分の発言にすり替えるので、カスタム指示で焼きを入れるまでがセット
最近はネットで公開されてる情報なら齟齬なく引用してくれるようになった。逆に書籍内容だと公開されてない訳で正しく引用してるならAI学習でなく引用データベースとしてオープンAIが内容を保持してるって話になる。
Geminiは相変わらず酷い印象だけど、ChatGPTとClaudeは随分前からそこまであからさまな捏造はかなり減りましたね
ここ数週間以内の性能について語っているであろう話題に、「4版が無いのがチャッピー」など数年前の経験を書いちゃう人類増田におかれましては
事実を指摘することを正論とは言わないし、より正確な事実を提示することを殴るとも言わない。
このケースは正論で殴り返されてるけど実は4版なんて存在しなかった（ハルシネーション）というオチも結構ありがちな気がするけど…
そういうパターンもあるよね
文献がないものとか研究があまり進んでないものはぜんぜん適当な内容になる印象がある。「夜勤明けで夜眠れない」といった相談に対する回答はまったく意味のないものになる。
チャッピーも普段の応答次第で割とノンデリになる場合もあるからかなり使ってるユーザーだと他との対応に違いは出るかも
"ChatGPT「3 版以前を読んでません？ 4 版で新しい研究成果として追加された記述なのでそっち読んでもらわないと。てか普通最新版チェックしませんか？」"w
どこまでAIの性能が上がろうが100％信用しないことが重要、たとえAIのほうが正しかろうが関係ない。AIはどこまで行っても道具、人間様の判断のほうが上、という意識付けが大切
本当に最新版にある場合も第4版自体が存在しないこともあるし、それはAstra・Sol・Terra・Fable・Opus・Sonnet・Gemini各モデルでも起きますよ。ただGrokは定量的に見ても酷いです笑 https://suprmind.ai/hub/ai-hallucination-rates-and-benchmarks/
実際そういうパターンが多くなるなら歓迎だが、まだ「いや実は嘘ついてました、メンゴ、メンゴ」と返ってくるパターンが多い気がする
"あまいな。読んでみたら4版に書いてないのがChatGPT。"これは本文読んだ上でそれでもまだこんな事が多いよね、それがchatGPTだよねというネタなので本文読んでないって解釈は不思議だ。認識の古さはそうかもしらん。
確かにそろそろハルシネーションは人の方が多くなってるイメージ。ドメイン知識集めてると特にそう。うろ覚えとかわからんとか。
古い情報を堂々と教えてきたので指摘したら、めちゃくちゃ卑屈モードに入って「前回間違った情報を教えてしまったのでその件については明言は避けます」と言われたことがある。
あるある
今は読んでみたら書いてなかった、じゃないんよね。フリープランならいざ知らず、課金してるとものすごい勢いでネットを調べ始めて文献を確認する。もう人間いらないよ。マジで。
AIに関しては金払ってるやつと払ってないやつ、最近触ったやつと少し前に触ったやつで認識ズレがち。まぁAIが爆速で賢くなりすぎなのがすべての元凶だが......
Geminiは相変わらずバカだが、Opusとチャッピーは生意気に成りつつある。しかし、彼らは自分の発言をユーザーに満足させるために偉ぶっているだけなので、それでも2、3ステップは人間の方が先が、又は、メタで返せる。
Gemini…。最近は簡単な検索変わりにしか使ってない。
ちゃんと文献なら機能するのか。漫画とかだと、存在しないキャラが大暴れしてたりして困惑することが多い。
ChatGPTが示した文献に記述がないと伝えると、「第4版で追加された」と指摘され、実際に載っていたという投稿。周囲にはAIに訂正された体験談と、AIの誤答を指摘する声の両方が集まった。
ブクマカのカットオフは1年前くらいかな？
ハルシネーションしにくくなった反面で、それはどうかなぁ？と思うような資料から引っ張ってくることが気になるようになったかな。極端な話AIにはデマかどうかはなかなか区別出来ないものもあるからね。
M365 Copilotだとここまで賢くないのよね。だらだらと余計な事を言って肝心な事を後回しにしがち。標準モデルはなんだろう。