テクノロジー

GPT-5のポンコツっぷり - Qiita

1: lainof 2025/08/11 03:14

回答の解釈がおかしくない?第一候補が富士宮で、上映作品のバリエーションを求めるなら他の2つも候補に入ると言ってるだけで何もおかしくなくない?

2: hagetenai 2025/08/11 03:52

こういう言葉遣いの人間の相手をしなければならないChatGPTに同情してしまう。

3: Kmusiclife 2025/08/11 03:53

ストレスの捌け口がここになっているのはなんだか悲しい世の中だなと。。

4: eroyama 2025/08/11 03:59

そうだよね、映画館のバリエーションを見たいなら富士宮だけでなく沼津や三島も見るといいよと言うことよね

5: otihateten3510 2025/08/11 06:20

他の人ってAIに対してこういう対応してるんだな、と考えるとたまに怖くなるんだよね/当然ながらAIが不得意なテーマはずっと不得意。細かな知識・創作・五感が必要なもの等。ハルシが減ったのはそれら以外の話じゃね

6: hakyu 2025/08/11 06:38

ブコメの擬人化解釈はさておき、LLMに地図を見て考える能力は組み込まれていないし、定型文にそれっぽい映画館を当てはめてるだけなのは事実だよ

7: atico 2025/08/11 06:56

ハルシネーションとは「知らないことを知っているふうに、事実として出す」のが本来の定義なので、使い方を間違えている。一般メディアやSNSでは「AIの間違い=ハルシネーション」と広く使われがちってGPT5が言ってる。

8: KAN3 2025/08/11 07:05

言葉遣いや態度の指摘してるコメントがいくつかあるけど、AI相手でも丁寧な文章書く人って多いの?

9: anmin7 2025/08/11 07:05

他のモデルと比較しての話ならまだわかるがこれではどうポンコツなのかわからんやろ

10: gabill 2025/08/11 07:10

GPT5は質問の最後に「次はこのことに答えようか?」と追加の質問を促す癖がある。この癖を付けるためのシステムプロンプトが悪さをしているか、もしくは追加の質問は質の低い別のAIが担当してる可能性がある。

11: aomvce 2025/08/11 07:20

クロードかジェミニでええんよ

12: fog-og-frog2 2025/08/11 07:45

OpenstreetmapのMCPサーバーをAI Agentsと組み合わせてAround検索で地理的条件で絞り込ませる⇒Isochrone検索でそれが指定した交通手段で到達可能か絞り込ませる、とかでいいじゃん。能力不足をあげつらう著者こそぶっちゃけ…

13: urtz 2025/08/11 08:07

OpenAIがGPT5のハルシネーション0を謳っているのならこの批判は成り立つ

14: poi_nichijo 2025/08/11 08:22

ポンコツはお前定期 / 最初に富士宮・沼津・三島の詳細を挙げていて、最後にまとめとして富士宮が一番近くて便利、バリエーションを求めるなら沼津か三島って書いてんのに、まとめという字が読めないのか謎の解釈を

15: hazel_pluto 2025/08/11 08:24

AIにとっては、日本語はずっと難しいんじゃない?英語のみの応対なら、そういう微妙な間違い起きにくいとか?

16: mayumayu_nimolove 2025/08/11 08:33

使う方が成長してないだけでは?そういうの得意じゃないってわかってるよね?

17: mistake3 2025/08/11 08:54

ブコメ"AI相手でも丁寧な文章書く人って多いの?"←もちろん敬語でお願いしています。

18: ya--mada 2025/08/11 09:02

ハルシネーションだけが原因なの?どっちのポンコツなのかな?

19: kijtra 2025/08/11 09:05

LLMは単語に対する次の単語を予測するだけの仕組みだから、地図の位置とか経路とかはわからんだろうね。AIの本を出してるような人でもそういうプロンプト書くんだね。

20: TakamoriTarou 2025/08/11 09:07

えええ。こんな人がAIの専門家で御座いますと講演会やってるの?ないわ。

21: nekochiyo 2025/08/11 09:09

1時間以内で行けるところと聞いておきながら、三島は遠いから行かないとか、聞き方がおかしいだけじゃない。聞かれたから答えただけなのに、なんかモラハラくさいなと感じる

22: magi-cocolog 2025/08/11 09:18

「本来なら、〜中略〜まとめるべきでした」が正しいとすると最初の回答がおかしいのは間違いないじゃん。間違いの理由の推測の部分は知らんけど、AI賢くないって主張するとこき下ろすブコメわらわら湧いてくんね。

23: SUUyop8wvi 2025/08/11 09:28

この著者めっちゃアカハラしてそう

24: hibiki0358 2025/08/11 09:32

“「○○駅から1時間で行ける映画館を教えてください」という質問”まぁ、こんな質問はGPTじゃなくて他のアプリで事足りるんでは?/AIの性能云々やなくて、使う人の性能の問題(使うツールの選択)かなぁとか思ったり

25: solidstatesociety 2025/08/11 09:36

AIより筆者の振る舞いが露呈している感じ

26: samu_i 2025/08/11 09:52

人間が出力したのこれ?よ、よみに、、、いい文章ですね!

27: niwaniwaniwauwaniwaniwaniwa 2025/08/11 09:53

全文を読めばGPT-5に瑕疵がないことがわかる。中央大学物理学科教授ですら日本語に関してはこのポンコツっぷりなら、我々はAIに多くを求めすぎているのかも。この感じで意味不明に詰められていたら学生には同情する。

28: kikinight 2025/08/11 10:01

画像生成しようとしたら、何度もコンテンツポリシーに引っ掛かると保留されまくって、少しイライラした。生成しますか? と聞かれて、してくださいと書いたら、また生成して良いですか? の永久ループに陥った。

29: udddbbbu 2025/08/11 10:23

報告ならここで書かずにOpenAIへ

30: diveintounlimit 2025/08/11 10:32

たぶん人間相手でもそういう対応するんだろうなぁ。関わりたくない。

31: kobak 2025/08/11 10:34

共有されてるチャットを見たけど、こういう問い詰めをやるとGPT5に限らずLLMはおかしくなりがちだよ。やってはいけない使い方として啓蒙しましょう

32: doko 2025/08/11 10:41

結局ボトルネックは人間のポンコツっぷりなのだということがよくわかりました

33: brain-box 2025/08/11 10:47

ChatGPT5になっても、こんなくだらない揚げ足取りで生成AIにたいして溜飲を下げている大学教員がいるの?駅から1時間って新幹線含むの?タクシーで1時間は含むの?聞いている人間がザルなんじゃ。

34: tettekete37564 2025/08/11 10:49

ポンコツはこの人なのでは?LLMの仕組みを知っていたらAIが「考えている」などとは書かない

35: yoshi-na 2025/08/11 10:58

だから、AI(LLM)とのやりとりをまず全文載せんだよ!!

36: maninthemiddle 2025/08/11 10:59

“富士駅と三島駅は32km離れており…漠然と映画がみたいな、という時に赴く距離ではない気もします。” 1時間以内って指定には合ってるんだからそこは質問側が悪いのでは

37: xa_ax 2025/08/11 11:00

で、結局答えは合っていて言葉が気に食わなかっただけってこと?

38: gamecome 2025/08/11 11:07

なんか体勢を維持できる犬のロボットを蹴飛ばしてるのを見るのと、同じ感覚になるな

39: zsehnuy_cohriy 2025/08/11 11:22

LLM相手に間違いを指摘することの生産性の無さを理解すべき。

40: datemakio 2025/08/11 11:25

AIも使用者を選べるようにすべき

41: mole-studio 2025/08/11 11:27

そろそろAIによる「ポンコツユーザー」の講演もそのうち開かれないとイーブンじゃないな

42: tasra 2025/08/11 11:27

???

43: parrying 2025/08/11 11:29
44: arapro 2025/08/11 11:32

どう見ても「バリエーション(=複数候補)を含めた回答をし、その補足をしてる」だけなのに、「バリエーションは後に提示される」と思い込んで「アホな間違い」「ポンコツ」とまで言うのは読解力と沸点が低い。

45: jintrick 2025/08/11 11:44

逆にGPT-5の凄さが分かる記事だった。トレーニングされたのかなにかに接続したのかは、このポンコツ記事からはわからない。

46: ytooyama 2025/08/11 12:06

地図アプリじゃないですからね。

47: dodecamin 2025/08/11 12:12

LLMのポンコツさを見たいのなら、将棋の1手詰めをやらせるのも一つの手。GPT-5でも何も支えずに相手玉の隣に駒を指して堂々と「これで詰みです」と宣言してくるので可愛い。

48: bayaread 2025/08/11 12:47

物理学科だしなぁ、と大目に見ようとしたら AI 関連の書籍も書かれているという...。LLM の仕組みを学ばれると、今回の指摘が的外れだとわかるのでは。(そもそもの日本語の問題もあるが)

49: paradisemaker 2025/08/11 13:45

結構こういうやり取りする人いるけど、LLM の原理的にハルシネーションは防げないし、得意不得意は無くならないし、指摘が後のやり取りに反映されるわけではないから、あんま意味ないよ。メモリを活用しよう。

50: oh_157 2025/08/11 13:51

この人はAIの使い方に慣れていないのかな?

51: kachikachidangomushi 2025/08/11 14:10

プロンプトの初っ端、「富士駅から一時間以内に行ける映画を教えてください」ってのがまずポンコツ。映画と映画館は別物で、GPTは親切に意図を汲み取ってくれている。俺なら「映画館のこと言ってる?」ってきき直す

52: peempoom 2025/08/11 14:12

こうしてQiitaにまたポンコツが増産された。

53: scorelessdraw 2025/08/11 14:26

GPTくんも人間のポンコツっぷりに毎回付き合ってくれているんだから、人間もGPTくんに付き合ってあげないかんね。

54: matchy2 2025/08/11 14:29

前のやつほど馴れ馴れしくはなくなった。あとこれは前からだけど、モデルが切り替わると同じスレッドでもその前までの話を覚えてないのはなんとかならんのか

55: Helfard 2025/08/11 14:35

ちゃんと自己分析できていてえらい。

56: Unite 2025/08/11 14:40

何故あの返答からこんな記事を生み出せるのかwそもGPT-5 (high)/GPT-5 (medium) /GPT-5 (low)/GPT-5 (minimal)←これ全部"GPT-5"。パラ指定できない所からGPT-5使って"GPT-5の性能"を語れる段階にはまだ無いぞ。

57: pekee-nuee-nuee 2025/08/11 14:44

なんか適当な計算させるだけで普通に間違ってくれるよね

59: star_123 2025/08/11 15:06

やりとり全文見た。富士宮と名前に付かない駅まで手を広げてる(でも条件は満たしてる)から補足として付け加えてるだけのことにネチネチ言ってるだけの内容で萎えた。よくこの内容で堂々と記事にするよな

60: quwachy 2025/08/11 15:07

もはやAIよりも人間の方がポンコツになってしまう逆転現象が起きている

61: Kukri 2025/08/11 15:20

人間よりはるかに高性能な分野がいくらでもあるのに。まあ、他人が便利道具に気づかないのはいいことだ

62: north_korea 2025/08/11 15:24

Qiitaはブログではないのだが…

63: nv-h 2025/08/11 15:47

ほんとにこの内容について知りたいなら自然言語で聞くんじゃなくてGoogle Map使う方が良さげ (LLMのベンチマークってむずいね)