はてなまとめ - BM25を使用してCodexのトークンの消費を30%抑える

1: mkusaka 2026/08/12 03:24

BM25でCodexの候補探索を最適化し、約29.2%（約30%）のトークン消費削減を実験で示す技術記事。

2: hiroomi 2026/08/12 07:02

”その中でも、特に多くのトークンを消費しているのが、「ファイルの検索」です。 ”

3: manimoto 2026/08/12 07:46

音ゲーを使用してトークン消費を削減!?、と思ったらそれはBM98だった。

4: htamaaki 2026/08/12 08:14

後で試す

5: toaruR 2026/08/12 08:22

実装で考えると、ブランチ追従が悩ましいなぁ……リポジトリにDB含めるのも嫌だし、低コストで収めたいし

6: akahmys 2026/08/12 08:31

cocoindex-codeと比べてどうなんだろう。

7: uehaj 2026/08/12 09:04

この手のやつ、本当に効果があるなら、あるいは弊害が少ないなら、本家がとっくの昔に採用してるんだよね。Serena..

8: circled 2026/08/12 09:17

BMI25の脂質を燃やしてCodexトークン消費を30%抑えるのか、肉体労働かな？と思った自分が通りますよ

9: north_korea 2026/08/12 09:21

ついでに https://github.com/rtk-ai/rtk と組み合わせたらもっと減るんじゃないか？

10: infobloga 2026/08/12 09:29

コメントはともかくソースコードのついてはBM25合ってないから品質下がりそう。それで30%しか変わらないなら使わないな。

11: studio_graph 2026/08/12 09:44

情報検索に使われるBM25が生まれたのは1990年代だけど，あまりにも安くて強いので費用対効果が合わず今も現役で使われ続けているが，その強さが今も…