DeepSeek v4.1 FlashをFP4非対応A100で最適化し、33tok/s→673 tok/s、公式API超えに到達した記録とソース公開
“実際、Claude Codeは早々に「これが限界です」とか舐めたことを抜かす。ついこないだ生まれたようなガキが。知ったふうな口を聞くな。”
旧世代GPUを執念で叩き起こすプロファイル芸、やっぱ最後は職人の勘と泥臭さだな
AIに電力とか計算資源ジャブジャブ注ぎ込まれてるけど、やっぱ相当無駄遣いしてそうだなー
DeepSeek v4.1 Flashを動かしたくてFP4に対応していないA100を、33tok/sから673 tok/sまで持っていって気がつくと公式APIより速くなっていた話|shi3z
DeepSeek v4.1 FlashをFP4非対応A100で最適化し、33tok/s→673 tok/s、公式API超えに到達した記録とソース公開
“実際、Claude Codeは早々に「これが限界です」とか舐めたことを抜かす。ついこないだ生まれたようなガキが。知ったふうな口を聞くな。”
旧世代GPUを執念で叩き起こすプロファイル芸、やっぱ最後は職人の勘と泥臭さだな
AIに電力とか計算資源ジャブジャブ注ぎ込まれてるけど、やっぱ相当無駄遣いしてそうだなー