テクノロジー

LLMの日本知識を測るのに山口県について聞くのがよかった - きしだのHatena

1: todays_mitsui 2025/05/30 06:11

良い

2: uehaj 2025/05/30 07:12

方言ギャル笑う

3: furugenyo 2025/05/30 07:15

今のAIはある程度知っているものについて聞いて議論するのが新しい発見もあるので楽しい。

4: Galaxy42 2025/05/30 08:09

こらまて 長府藩てなんだよ 長州藩(萩藩)の支藩に代表させるのか ギャルの方がマシな説明になってないか

5: hazlitt 2025/05/30 08:43

リサーチ系のタスクならわかるがAIに知識を問う意味あるんですかね

6: otoan52 2025/05/30 09:02

自分の好きなゲームについて聞いていたけど、土地の知識はたしかに幅があって良さそう。

7: dmekaricomposite 2025/05/30 10:07

「「山口県」は「山口族」とも呼ばれて、みんな制服風の衣装やメイクで盛り上がるの。特に「山口県庁前」ではギャルが「山口コール」を歌うのがcustomaryなの」瑠璃光寺五重塔をもっと推してほしい。萩焼はいいよね。

8: delphinus35 2025/05/30 10:13

山口なのに山口市は誰も紹介してないい……下関と萩ばかり。観光地としてマイナーだからねえ。

9: ssssschang 2025/05/30 10:30

嘘をつかれても気が付かなそう。プレイ人口の少ないネトゲの話とか聞くと、ハルシネーションマシマシになり面白いよ

10: sakidatsumono 2025/05/30 10:32

山口県に詳しくない人は騙されそうだ。

11: Falky 2025/05/30 10:52

気のせいです。当然のことですがこの方法でわかるのは「そのLLMが山口県に関する質問に回答できるか」であって、それ以上でもそれ以下でもありません。

12: toaruR 2025/05/30 11:30

大阪以外の方言はなかなか難しいよね

13: deep_one 2025/05/30 11:48

島根ではなく?(鷹の爪)

14: Caligari 2025/05/30 12:47

茨城について聞いた方が良いんじゃないの?

15: strawberryhunter 2025/05/30 13:45

もっと検証しやすいテストケースにしてもらえないだろうか。

16: isrc 2025/05/30 15:46

結論としては、日本語でのチャットなど日本語表現力が必要なら、オープンモデルではGemma3一択。法律や商慣習や観光地など確実な日本知識が必要な場合、また1GB程度のサイズで日本語応対する場合などはLLM-jp-3がおすすめ

17: koinobori 2025/05/30 16:20

岐阜とか富山ではダメなんだろうか/津和野出身の森鴎外は、死際、余ハ石見人森林太郎トシテ死セント欲スと言ったんだよね。藩閥政治でいい目を見ている長州出身じゃないぞ、という

18: cider_kondo 2025/05/30 16:35

ずーーーーーーと気になってるんだけど、LLMに知識を求める(「AIでファクトチェック」も可)人って、結局何がしたいの? 開発者がベンチマーク(や誇大宣伝)に使うのはわかるけど、その先に実用性って一切ないよね?

19: natsutan 2025/05/30 17:11

LLMをオタクに優しいギャルにするのが鉄板になってるな。