GreenBoost──12GBのGPUで32GBのAIモデルを動かす挑戦｜情報の灯台

x86の場合は4GBの壁があるから、それ以上のメモリを使うためには無理矢理に仮想メモリとして割り当ててたのを思い出す。

CONFIG.SYS?

そもそもの問題として、モデルサイズが大き過ぎる。小さくして、性能は落とさない工夫はないものか。

GreenBoostはシステムRAMとNVMeをGPUメモリ拡張として使い、12GBのRTX 5070で32GB級LLMを動かす挑戦。高速化の本命は巨大モデルの丸載せではなく、量子化で重みをVRAMに収めつつKVキャッシュをDDR4で受ける構成にある。

“GreenBoostの構造は、2つのコンポーネントで成り立っている。”