MTPで2倍速は熱いけど結局メモリ帯域がボトルネックか。短文で遅くなるのはMoEの宿命だな。技術検証が細かくて助かる
暇を持て余した神々の遊び！！！（いや、暇じゃないけど）（DGX出た時に買っとけば良かったよとほほ）
“DGX Spark”
Gemma 4 MTP を DGX Spark で動かして日本語生成の高速化を実測してみた | DevelopersIO
MTPで2倍速は熱いけど結局メモリ帯域がボトルネックか。短文で遅くなるのはMoEの宿命だな。技術検証が細かくて助かる
暇を持て余した神々の遊び！！！（いや、暇じゃないけど）（DGX出た時に買っとけば良かったよとほほ）
“DGX Spark”