OpenAIの値下げ、この辺の中国勢への対応という見立てはそうかも。中国自身の新興国をリードしていく意欲もあり
Unslothの仕事早すぎて草。ローカル環境で試すハードル下がったのはデカいな
ローカルLLMが流行ると、半導体がますます値上がりしそう(mac studio、macmini、EVO-X2)
LLMコスト、安全性の組み合わせでどうするかずっと悩み。2,3ヶ月で変わるし
20GBくらいで動くようになって欲しい。
必要メモリを8GBまで下げてスマホで動くようにして欲しい。
4bit量子化だとStrixHaloでは難しそう。192GB版のGorgonHaloが出てくれば4bit量子化でワンチャンいけそう。動くだけ、かもしれないけど。コンテキスト長は厳しいだろうなぁ。
重み?どちらにせよ興味深い
V4 FlashのOpenRouterでのAPI利用料は圧倒的に安いから、興味あるならまずそっちを試してみるといいよ。
省リソース化はどんどん進んでほしいわ。データセンター乱立するとか嫌なんよ
16GBで動いて欲しい
DeepSeekショック再来?「DeepSeek V4 Flash」正式版が無償公開。公式版は167GB、Unsloth版は最小82GB台
OpenAIの値下げ、この辺の中国勢への対応という見立てはそうかも。中国自身の新興国をリードしていく意欲もあり
Unslothの仕事早すぎて草。ローカル環境で試すハードル下がったのはデカいな
ローカルLLMが流行ると、半導体がますます値上がりしそう(mac studio、macmini、EVO-X2)
LLMコスト、安全性の組み合わせでどうするかずっと悩み。2,3ヶ月で変わるし
20GBくらいで動くようになって欲しい。
必要メモリを8GBまで下げてスマホで動くようにして欲しい。
4bit量子化だとStrixHaloでは難しそう。192GB版のGorgonHaloが出てくれば4bit量子化でワンチャンいけそう。動くだけ、かもしれないけど。コンテキスト長は厳しいだろうなぁ。
重み?どちらにせよ興味深い
V4 FlashのOpenRouterでのAPI利用料は圧倒的に安いから、興味あるならまずそっちを試してみるといいよ。
省リソース化はどんどん進んでほしいわ。データセンター乱立するとか嫌なんよ
16GBで動いて欲しい