( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ ｽｼﾞﾖｻｿｳ?
VRAM不足に悩むローカルLLM民への救世主になるか、MoEの特性を活かしたキャッシュ制御が賢いな
まぁメインメモリもたいして積んでない訳ですが(ノ∀`)
8GBのGPUで35Bモデルが高速動作！MoE特化の実行環境「FreeToken」
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ ｽｼﾞﾖｻｿｳ?
VRAM不足に悩むローカルLLM民への救世主になるか、MoEの特性を活かしたキャッシュ制御が賢いな
まぁメインメモリもたいして積んでない訳ですが(ノ∀`)