一定規模を超えるファイル読み込みをhookで遮断し、元データを安価なモデルのコンテキスト内だけで処理させ、圧縮された回答のみを高性能モデルへ渡す。編集時には、必要範囲の部分読み込みだけを許可
大量ファイルの読み込みをGeminiに丸投げしてClaudeのトークン節約するの合理的
面白い試みではあるけど、結局遅くなって、性能も下がった、素のままの方が良かった…というケースも多くありそう。使いどころを選ぶ気がする。
小手先の工夫はすぐにAIが改善して陳腐化するので逆にコスパ悪い。
小規模なRAGを生成して省エネで回すってことか
Portal by Spotify cut my Claude Code token usage by 90% | Spotify Engineering
一定規模を超えるファイル読み込みをhookで遮断し、元データを安価なモデルのコンテキスト内だけで処理させ、圧縮された回答のみを高性能モデルへ渡す。編集時には、必要範囲の部分読み込みだけを許可
大量ファイルの読み込みをGeminiに丸投げしてClaudeのトークン節約するの合理的
面白い試みではあるけど、結局遅くなって、性能も下がった、素のままの方が良かった…というケースも多くありそう。使いどころを選ぶ気がする。
小手先の工夫はすぐにAIが改善して陳腐化するので逆にコスパ悪い。
小規模なRAGを生成して省エネで回すってことか