RAGの精度が73%から100%に向上した話 ─ チャンキング戦略の比較検証

結局力技が最強というオチか。リランキング過信は禁物やな。具体的な失敗パターンの分析が実務的で助かる

シンプルな話。今のLLMは賢いしRAGに慣れてきたから、従量課金とか気にせずベクトルヒットした前後テキストを付加した大きめのチャンクを渡し、リランカでのノイズ除去とか気にするなという話。GPT-3.5の頃とは違うのね

今のコンテキストウインドウ長でチャンクサイズ1,000が一般的な作戦かと言われると…とは思った。リランクで性能が上がらないことがままあるのは経験と一致するが、逆効果とするには母数が少ないよね

チャンク大きくして精度上がるのは分かった。コストや速度の制約が加わるとまた答えは変わりそう。