結局はメモリこそ正義。8GB教の信者が絶滅するレベルの検証結果で草
トークンの出力速度の前にモデルがメモリに載る事が重要。普通のPC所有者には出力速度が速いよりフットプリントを下げても精度が下がらないモデルの方が魅力的。
「最大3倍速」と「2.24倍速」、2つのLLM高速化技術は8GBのMacBook Neoに通じるか、128GB M4 Maxでも試して得た結論(CloseBox) | テクノエッジ TechnoEdge
結局はメモリこそ正義。8GB教の信者が絶滅するレベルの検証結果で草
トークンの出力速度の前にモデルがメモリに載る事が重要。普通のPC所有者には出力速度が速いよりフットプリントを下げても精度が下がらないモデルの方が魅力的。