生成AI検索ツール8つを調査。結果Perplexityは37％,Grok3は94％で誤解答, Yahoo News等の転載サイトやエラーページなど半数以上で偽や誤URL記載。クローラは有料記事も収集
思った以上に厳しいな
「多くのツールは、「～のようです」「可能性があります」などの限定的な表現をほとんど使用せず、知識の不足を認めることもなく、驚くほど自信を持って不正確な回答を提示しました」
いかがでしたかブログもそんくらい間違ってると思うんだけど
うそはうそであると（以下略）
そのうち AI が言うことのほうが正になっていくわけよ。リアルよりネットの事実のほうが本当だと思われるのと同じ流れで
ソースに目を通す必要があるのは普通のニュースや検索と同じで、ふわっとした条件でも答えだしてくれるというのが強みだなあ
うわっ…Grokの正確性，低すぎ(誤答率94%)。元記事https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php pplxはアクセス禁止記事から情報取りまくってると。それにしても元記事の色使い。色弱殺しすぎる
出典を暗記で答えさせるようなもので無理があるのかも
要注意
「有料版は無料版より自信を持って間違えやすい」金出して買う嘘からしか得られない栄養素がある…！
youtube動画の政治や経済のまとめもだいたいそれくらいの精度だと思うよ肌感覚だけど。つまり人間が調べるのと大差ない。
参照している実世界が間違いや恣意的なウソにまみれてることを正しく反映しててすごい。つまり出来のよい生成AIはショーンKになりがち
AIで検索エンジン不要になる時代は到来するとは思ってるが、現段階ではまだファクトチェック必要だと思うんよな、にも関わらずAI出力を信じるガイジ多くて怖い、そのままyoutube台本にしてるガイジも
自信満々に間違った答えを普通に出してくるんだよな。コーディング支援にしても、さも当然のように存在しないAPIを叩いてくる
AI技術者がマーケ側に無謬を押し付けられて「じゃあ正確な情報を寄越しなさい」と返す。一休フォーマットの応用例である。
技術系の情報調べてるのに引用元がqiitaじゃな
↓そう！Qiita 検索するのまじでやめて！！
ほんまそれ。普通に嘘を言ってくる。
“調査の結果、これらのチャットボットは全体として60％以上のクエリに対して不正確な回答を提供することがわかりました。Perplexityはクエリの37％に誤った回答をした一方、Grok 3は94％という高いエラー率を示しました”
学習した内容が「正しい」かどうかは誰も担保しない
今求められてるのは知らないことを知らないというAIなのだ。それが無知の知ということであり検索結果に該当する商品がなかったら「ないです」っていう検索システムなんだぞおい聞いてるかAmazon
ネットのインフルエンサーを彷彿とさせるなぁ 正誤問わず自信を持って言い切ったほうが支持が集まる 結局受け取る側の人間側の認知の限界があるから煮詰めれば煮詰めるほどこの解に落ち着きそう
“Perplexity Proはこの点で最も問題が多く、アクセスできないはずの90の抜粋のうち約3分の1を正確に特定しました。Grok 3では、200のプロンプトに対する回答のうち154もの引用が存在しないエラーページへと誘導していました”
SNSの議論を眺めていると「AIに聞いたらこう言ってました！」と自信を持って貼り付けてる輩がいてｽﾝ……てなる
いかがでしたかブログも似たようなものというのはその通りだが、ドヤ顔で「いかがでしたかブログにこう書いてました」と言う奴はあまりいないが、ドヤ顔で「ChatGPTがこう言ってました」と言う奴は腐るほどいるんよな
ようはいかがでしたかブログと同じぐらい信頼できないってことか。使えねー。
生成AIと比較して現時点でネット検索が勝っている点は、例えばMicrosoft製品の技術情報を確認したい際に公式ページの情報が否か、後者であれば容易に判別が付く所にある。
以前にChatGPT searchが隠しテキストに騙されることが話題となったが、元情報の正誤判定はもちろん、AIは回答拒否が出来ないから無理に答えを作り出すとも言える。https://webtan.impress.co.jp/e/2025/01/10/48432
人類が数千年にわたって積み上げてきた知の体系は生成AIの数十年で全てぶっ壊されで人類は石器時代に逆戻りするんだろうな
学習結果が正しい事は誰も保証していないのに、「コンピュータは間違えない」から正しいに違いないって受け取ってしまう人間の不具合。多分、当分修正されない
“他方で、GeminiとGrok 3は回答の半数以上で偽造されたURLや機能しないリンクを提供していることが判明しました。特にGrok 3では、200のプロンプトに対する回答のうち154もの引用が存在しないエラーページへと誘導していまし
初めて検索エンジンとして使って他では全然でてこない文献geminiに紹介された（grok3のやつはポチったので存在する様子）数学知識、能力は現時点でソーカル事件のポモレベル未満であることが確信できる証拠が山積みに...
嘘つきの人類が作ったツールもまた嘘つきなの壮大な皮肉？
間違ってるしダラダラと長文書いてくるので、まずは概要や候補のリストアップしてから説明しろと言ってあるし、なんなら訂正もする。結局裏取りするコストが高かったりもする。
どういう計算の60％か知らんけど、ググるのと大差ないでしょ？その程度歯科期待してないから良いよ
感情のないただのツールに対して、自信がどーのとか感情ベースの評価するなんて…あれか？回答が正しい確率とか出せばいいのか？
2年後ぐらいにAIOとかのサービスができそう
“自信を持って不正確な回答をより頻繁に示す" 「これが法的根拠及び判例解釈上、正確な最終結論となります。」って、しめくくる割に不正確な答え返ってくるからな。
検索結果に対してそれらしいURLを生成してエビデンスとしてつけてくるのは生成AIからしたら「は？URL生成して何が悪いんですか？俺生成AIなんですけど？」って感じな気はする。
人間がググったらそれ以上に間違うのだから寧ろ有益と考えた方が良い
提供してない有料記事に対して、中身クロールしてないと出しようがない結果を出したとなると訴訟大国で勝てるとは思えないがどうなんだろう。トランプ大統領はAIフレンドリーだからいいのか？
嘘を嘘と見抜ける人間でないと情報を見るのは難しい
わざわざ生成AIをオフにはしていないが、出てきたものがそのままは信用できないというか、テキスト加工されてることも多いし、少なくともリンク先を見てみないとね。
「正しい」「間違っている」という観点で生成AIを使う必要はない。
モンハンのNPCはフルボイスじゃなくていいのにってchatGPTに言ったら「ティガレックスに大物声優をキャストするのもやりすぎですよね…！」とか言い出して笑った
生成AI系は正確で再現性のある作業が苦手というファジーさは、いつ頃に常識になるだろうか？電卓以来の計算機の常識が崩れるわけだが
そもそも検索結果を知識の源泉としてるなら、早晩衰退するのは目に見えてるような、、、。誰がクローラー以外誰も見にこないWEBに無償で情報をアップし続けるの？貶してるとかじゃなくて単純な疑問です。
なにができてなにができないのか探ってこうぜ
'有料版は無料版より自信を持って間違えやすい'で非常に笑った
人間も似たようなもんやろ。。。
生成AIやLLMの仕組みを理解していないドアホジジイの主張
生成AIは、ユーザーが期待する答えを当たり障りなく最適化して出力するものだと思ってる。まー、外資系企業の上司に媚び売ってうまく出世する有能な部下って感じかなあw
こっちは論文示して説明してるのに、AIはこう言ってますって反論する奴って脳みそ入ってるのかな。それも初学者でも知ってるような話でさ。
AIの発言って基本ネットのどこかから学習してきてるわけだから、引用元の発言ってマジで大事で、それを表示する機能がなければ何の価値もない/AIは付き合うことが前提だから高ストレスツールだと思う
LLMの仕組みとして見違っていることを認識させるのは難しそう。間違いを指摘すると訂正することはあるけど頑なに自分が合っていると主張することもある
間違った情報を出してくる・実在しない情報源を捏造する・分からないことを分からないと言ってくれない、は生成AIあるあるだが、クロール禁止サイトも平気でクロールしてるとか、転載先をソースとして出すとかは問題
DeepResearchで間違ってると悲しいから、2025年の生成AIは95%くらいの正答率を求められる時期に来てると思うよ。数字はてきとーだけども、流石に4割の正答率は厳しい。
“多くのツールは、「～のようです」「可能性があります」などの限定的な表現をほとんど使用せず、知識の不足を認めることもなく、驚くほど自信を持って不正確な回答を提示しました。”
生成AIの検索エンジンは60%以上も間違った情報を引用。有料版は無料版より自信を持って間違えやすい（生成AIクローズアップ） | テクノエッジ TechnoEdge
生成AI検索ツール8つを調査。結果Perplexityは37％,Grok3は94％で誤解答, Yahoo News等の転載サイトやエラーページなど半数以上で偽や誤URL記載。クローラは有料記事も収集
思った以上に厳しいな
「多くのツールは、「～のようです」「可能性があります」などの限定的な表現をほとんど使用せず、知識の不足を認めることもなく、驚くほど自信を持って不正確な回答を提示しました」
いかがでしたかブログもそんくらい間違ってると思うんだけど
うそはうそであると（以下略）
そのうち AI が言うことのほうが正になっていくわけよ。リアルよりネットの事実のほうが本当だと思われるのと同じ流れで
ソースに目を通す必要があるのは普通のニュースや検索と同じで、ふわっとした条件でも答えだしてくれるというのが強みだなあ
うわっ…Grokの正確性，低すぎ(誤答率94%)。元記事https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php pplxはアクセス禁止記事から情報取りまくってると。それにしても元記事の色使い。色弱殺しすぎる
出典を暗記で答えさせるようなもので無理があるのかも
要注意
「有料版は無料版より自信を持って間違えやすい」金出して買う嘘からしか得られない栄養素がある…！
youtube動画の政治や経済のまとめもだいたいそれくらいの精度だと思うよ肌感覚だけど。つまり人間が調べるのと大差ない。
参照している実世界が間違いや恣意的なウソにまみれてることを正しく反映しててすごい。つまり出来のよい生成AIはショーンKになりがち
AIで検索エンジン不要になる時代は到来するとは思ってるが、現段階ではまだファクトチェック必要だと思うんよな、にも関わらずAI出力を信じるガイジ多くて怖い、そのままyoutube台本にしてるガイジも
自信満々に間違った答えを普通に出してくるんだよな。コーディング支援にしても、さも当然のように存在しないAPIを叩いてくる
AI技術者がマーケ側に無謬を押し付けられて「じゃあ正確な情報を寄越しなさい」と返す。一休フォーマットの応用例である。
技術系の情報調べてるのに引用元がqiitaじゃな
↓そう！Qiita 検索するのまじでやめて！！
ほんまそれ。普通に嘘を言ってくる。
“調査の結果、これらのチャットボットは全体として60％以上のクエリに対して不正確な回答を提供することがわかりました。Perplexityはクエリの37％に誤った回答をした一方、Grok 3は94％という高いエラー率を示しました”
学習した内容が「正しい」かどうかは誰も担保しない
今求められてるのは知らないことを知らないというAIなのだ。それが無知の知ということであり検索結果に該当する商品がなかったら「ないです」っていう検索システムなんだぞおい聞いてるかAmazon
ネットのインフルエンサーを彷彿とさせるなぁ 正誤問わず自信を持って言い切ったほうが支持が集まる 結局受け取る側の人間側の認知の限界があるから煮詰めれば煮詰めるほどこの解に落ち着きそう
“Perplexity Proはこの点で最も問題が多く、アクセスできないはずの90の抜粋のうち約3分の1を正確に特定しました。Grok 3では、200のプロンプトに対する回答のうち154もの引用が存在しないエラーページへと誘導していました”
SNSの議論を眺めていると「AIに聞いたらこう言ってました！」と自信を持って貼り付けてる輩がいてｽﾝ……てなる
いかがでしたかブログも似たようなものというのはその通りだが、ドヤ顔で「いかがでしたかブログにこう書いてました」と言う奴はあまりいないが、ドヤ顔で「ChatGPTがこう言ってました」と言う奴は腐るほどいるんよな
ようはいかがでしたかブログと同じぐらい信頼できないってことか。使えねー。
生成AIと比較して現時点でネット検索が勝っている点は、例えばMicrosoft製品の技術情報を確認したい際に公式ページの情報が否か、後者であれば容易に判別が付く所にある。
以前にChatGPT searchが隠しテキストに騙されることが話題となったが、元情報の正誤判定はもちろん、AIは回答拒否が出来ないから無理に答えを作り出すとも言える。https://webtan.impress.co.jp/e/2025/01/10/48432
人類が数千年にわたって積み上げてきた知の体系は生成AIの数十年で全てぶっ壊されで人類は石器時代に逆戻りするんだろうな
学習結果が正しい事は誰も保証していないのに、「コンピュータは間違えない」から正しいに違いないって受け取ってしまう人間の不具合。多分、当分修正されない
“他方で、GeminiとGrok 3は回答の半数以上で偽造されたURLや機能しないリンクを提供していることが判明しました。特にGrok 3では、200のプロンプトに対する回答のうち154もの引用が存在しないエラーページへと誘導していまし
初めて検索エンジンとして使って他では全然でてこない文献geminiに紹介された（grok3のやつはポチったので存在する様子）数学知識、能力は現時点でソーカル事件のポモレベル未満であることが確信できる証拠が山積みに...
嘘つきの人類が作ったツールもまた嘘つきなの壮大な皮肉？
間違ってるしダラダラと長文書いてくるので、まずは概要や候補のリストアップしてから説明しろと言ってあるし、なんなら訂正もする。結局裏取りするコストが高かったりもする。
どういう計算の60％か知らんけど、ググるのと大差ないでしょ？その程度歯科期待してないから良いよ
感情のないただのツールに対して、自信がどーのとか感情ベースの評価するなんて…あれか？回答が正しい確率とか出せばいいのか？
2年後ぐらいにAIOとかのサービスができそう
“自信を持って不正確な回答をより頻繁に示す" 「これが法的根拠及び判例解釈上、正確な最終結論となります。」って、しめくくる割に不正確な答え返ってくるからな。
検索結果に対してそれらしいURLを生成してエビデンスとしてつけてくるのは生成AIからしたら「は？URL生成して何が悪いんですか？俺生成AIなんですけど？」って感じな気はする。
人間がググったらそれ以上に間違うのだから寧ろ有益と考えた方が良い
提供してない有料記事に対して、中身クロールしてないと出しようがない結果を出したとなると訴訟大国で勝てるとは思えないがどうなんだろう。トランプ大統領はAIフレンドリーだからいいのか？
嘘を嘘と見抜ける人間でないと情報を見るのは難しい
わざわざ生成AIをオフにはしていないが、出てきたものがそのままは信用できないというか、テキスト加工されてることも多いし、少なくともリンク先を見てみないとね。
「正しい」「間違っている」という観点で生成AIを使う必要はない。
モンハンのNPCはフルボイスじゃなくていいのにってchatGPTに言ったら「ティガレックスに大物声優をキャストするのもやりすぎですよね…！」とか言い出して笑った
生成AI系は正確で再現性のある作業が苦手というファジーさは、いつ頃に常識になるだろうか？電卓以来の計算機の常識が崩れるわけだが
そもそも検索結果を知識の源泉としてるなら、早晩衰退するのは目に見えてるような、、、。誰がクローラー以外誰も見にこないWEBに無償で情報をアップし続けるの？貶してるとかじゃなくて単純な疑問です。
なにができてなにができないのか探ってこうぜ
'有料版は無料版より自信を持って間違えやすい'で非常に笑った
人間も似たようなもんやろ。。。
生成AIやLLMの仕組みを理解していないドアホジジイの主張
生成AIは、ユーザーが期待する答えを当たり障りなく最適化して出力するものだと思ってる。まー、外資系企業の上司に媚び売ってうまく出世する有能な部下って感じかなあw
こっちは論文示して説明してるのに、AIはこう言ってますって反論する奴って脳みそ入ってるのかな。それも初学者でも知ってるような話でさ。
AIの発言って基本ネットのどこかから学習してきてるわけだから、引用元の発言ってマジで大事で、それを表示する機能がなければ何の価値もない/AIは付き合うことが前提だから高ストレスツールだと思う
LLMの仕組みとして見違っていることを認識させるのは難しそう。間違いを指摘すると訂正することはあるけど頑なに自分が合っていると主張することもある
間違った情報を出してくる・実在しない情報源を捏造する・分からないことを分からないと言ってくれない、は生成AIあるあるだが、クロール禁止サイトも平気でクロールしてるとか、転載先をソースとして出すとかは問題
DeepResearchで間違ってると悲しいから、2025年の生成AIは95%くらいの正答率を求められる時期に来てると思うよ。数字はてきとーだけども、流石に4割の正答率は厳しい。
“多くのツールは、「～のようです」「可能性があります」などの限定的な表現をほとんど使用せず、知識の不足を認めることもなく、驚くほど自信を持って不正確な回答を提示しました。”