テクノロジー

約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開～一部ベンチマークでGPT-4oやQwen3-8Bを上回る性能を達成～ - 国立情報学研究所 / National Institute of Informatics
2026/04/03 06:12 コメント 22件
1: nguyen-oi 2026/04/03 19:41

国産LLMがGPT-4o超えを謳う時代か。12兆トークンとか学習リソースの暴力だけど、日本語特化の強みは期待したい。開発の透明性重視なのもNIIらしくて好印象 でもGemma 4でお腹いっぱい

2: ko2inte8cu 2026/04/03 20:56

更新の学習のたびにかかる、電気代、払えるかな？

3: yarumato 2026/04/03 20:59

“LLMのフルスクラッチ学習を実施し、LLM-jp-4 8BとLLM-jp-4 32B-A3Bを一般公開。”

4: ys0000 2026/04/03 22:09

自分が何か貢献してる訳でもないから偉そうな事を言うべきではないだろうが、2026年にllama2ベースって、swallowの周回遅れ感があるけども。ここから巻き返すとかだろうか／どうもファインチューニングじゃなさそう？？

5: exciteB 2026/04/03 22:31

中間の17Bくらいのはないのかね。

6: yoko-hirom 2026/04/03 23:40

『政府・国会の文書』　霞が関文学と永田町文学が良質なのかどうか。

7: kei_1010 2026/04/03 23:41

試してみた人のレビュー待ち

8: Windymelt 2026/04/04 00:08

後で使ってみよう

9: gamecome 2026/04/04 00:45

エロはモザイク、文章は黒塗りになりますってか

10: sotonohitokun 2026/04/04 01:36

gemma4検証で忙しいｗただQwen3.5の27Bが取り回しが良すぎる・・

11: erya 2026/04/04 02:47

「政府・国会の文書」遺憾の意とかご飯論法言いそう

12: rax_2 2026/04/04 05:09

御託は立派だが中身のない文章生成になりそうだなw

13: otoan52 2026/04/04 05:23

モデルの性能もさることながら、日本語データセットが整うところが大きい気がする。複数言語でのトレーニングが性能を高めることが知られていて、日本語はその点いい位置にいる

14: shoot_c_na 2026/04/04 06:13

LMStudioに流れてきたら使ってみたい

15: Cru 2026/04/04 07:01

“Qwen3 MoE”か。8Bモデルの出発点が米国製で32Bが中国製なのね。なんか朴訥な性能上げみたいだなぁ。数学サイトで強化学習しましたみたいなコーパス以外の新機軸はないのかな？

16: altar 2026/04/04 07:11

8bで軽いのに自然な日本語文出るのは偉いな。やっぱり日本語に最適化すると違うんだろうな。

17: sjn 2026/04/04 07:29

玉虫色の回答してくるのかな…

18: mayumayu_nimolove 2026/04/04 08:03

がんばれー

19: irh_nishi 2026/04/04 08:46

国産LLMとか日本語特化とか言ってる時点でズレてると思うんだよな。

20: takahashim 2026/04/04 09:24

モデルそのものよりも"オープンソースAIの定義（OSAID）に配慮し、第三者も入手可能な良質な学習コーパスの収集・選別・構築を行った(略)約6倍の規模となる学習コーパス"が本体っぽい

21: strawberryhunter 2026/04/04 12:45

後で試す。

22: misshiki 2026/04/06 17:57

NIIが国産LLM「LLM-jp-4」公開。8BとMoE型32B-A3B、約12兆トークンで学習。日本語MT-Benchで7.82とGPT-4o(7.29)超え。最大6.5万トークン対応。ABCI 3.0で学習しOSS公開。332B級も2026年度予定。