自作GPTにKVキャッシュを実装し、プロンプトキャッシュの仕組みを学んだ - $shibayu36->blog;

自作でKVキャッシュ実装して挙動学ぶのアツいな。仕組みを理解するとプロンプトキャッシュの制約もすんなり腑に落ちる

キャッシュの仕組みはいまいちピンときてないのて、自分でつくって理解するの、良さそう

日本語GPT-2を使った自作GPTにKVキャッシュを実装。CPUで300文字の生成が17.01秒から4.62秒へ、約3.7倍高速化。キャッシュは約22MB。先頭一致など、プロンプトキャッシュの挙動を仕組みから考察する。