なかなか胸熱な記事。ほんとうに生成AI、特にLocal LLMの世界は秒進分歩な世界だなー。つい先日まで量子化したり蒸留した小型モデルなら自宅で高性能なGPU無くても動かせると言ってたのが今はもうコレ。すごい。
いよいよローカルLLMも実用範疇に入り始めた感じだが、現状ではこれだけメモリ積んで4o-mini程度なのよね。ローカルは2年ほどのビハインドがあるということか。
「GPUメモリ4GBあればGPT-oss 20Bが14tok/secで動く https://nowokay.hatenablog.com/entry/2025/08/13/235311」し、gpt-ossでweb-searchもできる (https://qiita.com/2f0833e717/items/cc0043a83febf683378d) ので私は20bで十分かな (mem64GB以上搭載可能マシン買うお金ない
“gpt-oss-20bと120bは、OpenAI純正を使用する。Reasoning Effort(考え中……)をLow/Medium/Highに切り替え可能だからだ。ビデオカード無しでも、メモリ64GBでIntelならgpt-oss-120b（63GB）が動作。AMDならメモリ96GB（37000円）にすれば動作”
これはほんと後で試す！
「gpt-oss-120b」は、DDR5メモリを少し多めに搭載、CPUはモバイル系のハイエンド……この条件さえ整えば、10～15tok/s程度の速度が出ることが分かった。GPUを加えるとより一段速くなる。
そういえばEasyWan22を入れようと思ったがグラボが古すぎてアカンかったｗ
スマホで動くようになったら、一旦終わりだろうね。その時は是非、呼んでください。
AWSで動かせば良いじゃん
gpt-ossの性能はとても良き。ただ，MCP接続したりinstructionや参照ファイルを使うにはなるべく長いcontext lengthが必要。並レベルの自環境ではLLM動かすだけなら早いけど(80tok/sec)context length伸ばすと動作が重い(10tok/sec以下)。悩。
この前 Ryzen+RTX4070Ti+DDR5 64GBな自宅マシンで動かしてみたら普通に動いたんよなー。満足できる速度では無いけど、何も気にせずやり取りできるのはよい。
うちのメモリだけは64GBと雀卓なミニPCでもいけるのだろうか？
Project Digitsまだー？もう夏が終わるよ
GPUのメモリ2GBしかなくてLLMをローカルで動かせない……
しかし、頭の固いやつで、お前はgpt-ossだと言ってもOpenAIがオープンなはずが無い(意訳)と言ってきかない。頑固なのは爆弾製造方法などを教えない対策が効いているんだろう。MoEだから結構速いし性能もDeepSeekR1-0528並み。
バッチ処理とかレイテンシが求められない処理には良さそう。好きなだけ使えるのはいいなー
えっちなのが許可された学習ver.が出てきたら教えてくれ
“ 以上のようにOpenAI「gpt-oss-120b」は、DDR5メモリを少し多めに搭載、CPUはモバイル系のハイエンド……この条件さえ整えば、10～15tok/s程度の速度が出ることが分かった。”
おお、いよいよローカルで本格的にAIが動くようになっていくか
96GB搭載してるから試せるけど、ガードレールオフとかさすがに怖いので、20bでいいや
https://educativ.net/forums/topic/39048-%F0%9F%8E%A7does-coinbase-have-live-support-phone-number/https://educativ.net/forums/topic/39048-%F0%9F%8E%A7does-coinbase-have-live-support-phone-number/https://educativ.net/forums/topic/39048-%F0%9F%8E%A7does-coinbase-have-live-support-phone-number/
ともかく使うのです... いろいろ使って試して自分のスキルを上げるのです..
普段は 5 Thinking なので遅さはそんなに気にしないんだけど 5 Thinking 級の回答が出てこないならそこまで魅力を感じないかな... o4-mini ってどれくらい賢かったっけ？
賢いLLM、ボクにもわかるかにゃ？動かし方教えてくれるなら、ちょっと期待しちゃうにゃ！
https://education.aaaai.org/sites/default/files/webform/cryptosupport.pdf
“条件を満たし現時点最強がRyzen AI Max+ PRO 395で86/128GBを搭載するPC”GMKtec EVO-X2でメモリ128GBにしろってことかな？
https://education.aaaai.org/sites/default/files/webform/CanI-Talk-to-People_on_Kraken.pdf
両方動かしたけど、生のローカルLLMはそんなに賢くないよ。皆が使ってるChatGPT等はエージェントとして実装されてるから賢いのであって、単体LLMじゃ大したことできないよ。固有名詞のハルシネーションも酷いし
これはやってみないと。
またスペックの増やし甲斐のある時代になったなぁ
【西川和久の不定期コラム】 これは事件だ。“賢い家庭内LLMの夢”を叶える「gpt-oss-120b」、動かし方を教えます
なかなか胸熱な記事。ほんとうに生成AI、特にLocal LLMの世界は秒進分歩な世界だなー。つい先日まで量子化したり蒸留した小型モデルなら自宅で高性能なGPU無くても動かせると言ってたのが今はもうコレ。すごい。
いよいよローカルLLMも実用範疇に入り始めた感じだが、現状ではこれだけメモリ積んで4o-mini程度なのよね。ローカルは2年ほどのビハインドがあるということか。
「GPUメモリ4GBあればGPT-oss 20Bが14tok/secで動く https://nowokay.hatenablog.com/entry/2025/08/13/235311」し、gpt-ossでweb-searchもできる (https://qiita.com/2f0833e717/items/cc0043a83febf683378d) ので私は20bで十分かな (mem64GB以上搭載可能マシン買うお金ない
“gpt-oss-20bと120bは、OpenAI純正を使用する。Reasoning Effort(考え中……)をLow/Medium/Highに切り替え可能だからだ。ビデオカード無しでも、メモリ64GBでIntelならgpt-oss-120b（63GB）が動作。AMDならメモリ96GB（37000円）にすれば動作”
これはほんと後で試す！
「gpt-oss-120b」は、DDR5メモリを少し多めに搭載、CPUはモバイル系のハイエンド……この条件さえ整えば、10～15tok/s程度の速度が出ることが分かった。GPUを加えるとより一段速くなる。
そういえばEasyWan22を入れようと思ったがグラボが古すぎてアカンかったｗ
スマホで動くようになったら、一旦終わりだろうね。その時は是非、呼んでください。
AWSで動かせば良いじゃん
gpt-ossの性能はとても良き。ただ，MCP接続したりinstructionや参照ファイルを使うにはなるべく長いcontext lengthが必要。並レベルの自環境ではLLM動かすだけなら早いけど(80tok/sec)context length伸ばすと動作が重い(10tok/sec以下)。悩。
この前 Ryzen+RTX4070Ti+DDR5 64GBな自宅マシンで動かしてみたら普通に動いたんよなー。満足できる速度では無いけど、何も気にせずやり取りできるのはよい。
うちのメモリだけは64GBと雀卓なミニPCでもいけるのだろうか？
Project Digitsまだー？もう夏が終わるよ
GPUのメモリ2GBしかなくてLLMをローカルで動かせない……
しかし、頭の固いやつで、お前はgpt-ossだと言ってもOpenAIがオープンなはずが無い(意訳)と言ってきかない。頑固なのは爆弾製造方法などを教えない対策が効いているんだろう。MoEだから結構速いし性能もDeepSeekR1-0528並み。
バッチ処理とかレイテンシが求められない処理には良さそう。好きなだけ使えるのはいいなー
えっちなのが許可された学習ver.が出てきたら教えてくれ
“ 以上のようにOpenAI「gpt-oss-120b」は、DDR5メモリを少し多めに搭載、CPUはモバイル系のハイエンド……この条件さえ整えば、10～15tok/s程度の速度が出ることが分かった。”
おお、いよいよローカルで本格的にAIが動くようになっていくか
96GB搭載してるから試せるけど、ガードレールオフとかさすがに怖いので、20bでいいや
https://educativ.net/forums/topic/39048-%F0%9F%8E%A7does-coinbase-have-live-support-phone-number/https://educativ.net/forums/topic/39048-%F0%9F%8E%A7does-coinbase-have-live-support-phone-number/https://educativ.net/forums/topic/39048-%F0%9F%8E%A7does-coinbase-have-live-support-phone-number/
ともかく使うのです... いろいろ使って試して自分のスキルを上げるのです..
普段は 5 Thinking なので遅さはそんなに気にしないんだけど 5 Thinking 級の回答が出てこないならそこまで魅力を感じないかな... o4-mini ってどれくらい賢かったっけ？
賢いLLM、ボクにもわかるかにゃ？動かし方教えてくれるなら、ちょっと期待しちゃうにゃ！
https://education.aaaai.org/sites/default/files/webform/cryptosupport.pdf
“条件を満たし現時点最強がRyzen AI Max+ PRO 395で86/128GBを搭載するPC”GMKtec EVO-X2でメモリ128GBにしろってことかな？
https://education.aaaai.org/sites/default/files/webform/CanI-Talk-to-People_on_Kraken.pdf
両方動かしたけど、生のローカルLLMはそんなに賢くないよ。皆が使ってるChatGPT等はエージェントとして実装されてるから賢いのであって、単体LLMじゃ大したことできないよ。固有名詞のハルシネーションも酷いし
これはやってみないと。
またスペックの増やし甲斐のある時代になったなぁ