18GBメモリのMacで動くローカルLLMのベンチマーク。結局「LLMはヒント、最後は人間が検証」って結論は真理だな
まだ環境が追いつかない。
明らかに無理そうなのにちゃんと試してるの偉い。E4Bは量子化じゃなくてMoEのアクティブなパラメータ数。Ollamaなら4bitだと思うけど。
検証、ありがたい。ローカルでも部分的に使い方工夫すれば実用はできるが、線引が難しいので結局クラウドにお金払って使う日が続きそう。数年以内に今のクラウドレベルがローカルで動くようになったら嬉しい
64GBのMacBook Proってなすこし潤沢なメモリ環境だけどQwen3.6:27bとHermes Agentの組み合わせでmacOSの簡単な電卓アプリを作らせたら普通に動くものがビルドできた。
メモリが潤沢ではないPCでローカルLLMにコーディング質問した結果
18GBメモリのMacで動くローカルLLMのベンチマーク。結局「LLMはヒント、最後は人間が検証」って結論は真理だな
まだ環境が追いつかない。
明らかに無理そうなのにちゃんと試してるの偉い。E4Bは量子化じゃなくてMoEのアクティブなパラメータ数。Ollamaなら4bitだと思うけど。
検証、ありがたい。ローカルでも部分的に使い方工夫すれば実用はできるが、線引が難しいので結局クラウドにお金払って使う日が続きそう。数年以内に今のクラウドレベルがローカルで動くようになったら嬉しい
64GBのMacBook Proってなすこし潤沢なメモリ環境だけどQwen3.6:27bとHermes Agentの組み合わせでmacOSの簡単な電卓アプリを作らせたら普通に動くものがビルドできた。