Google TurboQuant入門 — KVキャッシュ3ビット圧縮でLLM推論を8倍高速化 - Qiita

メモリーの使用量削減で「６倍」という表現が気になる（使用量が６分の１になった、だよね？）けど、それは脇において、なんか Google の底力を感じるなぁ。