検索性能に右往左往してるので共感できる。試験項目充実させてリグレッションしながら維持してくようにしたい。
RAGで精度が出ないとき、原因はモデルやプロンプトではなく、検索対象の状態管理にあるかもしれない 「何を検索対象に入れるか」「どう更新するか」「どう監視するか」を先に設計すると、精度改善の方向が見えやすく
“データ更新後も検索品質を維持し続ける” この辺いろいろやってるけど、将来的にCoWorkでどうにかできるような枠組みはしたい
「RAGは作った瞬間ではなく、データが更新され始めてからつらくなる」
Dify自前RAGで苦労した検索品質維持を、Agent Search＋Cloud Storageのナレッジ供給パイプラインに再設計。XML sitemap、SHA256差分検知、daily同期、Slack通知で「検索される知識」の更新・除外・監視を運用する話。
RAGを作るのではなく、検索される知識を運用する
検索性能に右往左往してるので共感できる。試験項目充実させてリグレッションしながら維持してくようにしたい。
RAGで精度が出ないとき、原因はモデルやプロンプトではなく、検索対象の状態管理にあるかもしれない 「何を検索対象に入れるか」「どう更新するか」「どう監視するか」を先に設計すると、精度改善の方向が見えやすく
“データ更新後も検索品質を維持し続ける” この辺いろいろやってるけど、将来的にCoWorkでどうにかできるような枠組みはしたい
「RAGは作った瞬間ではなく、データが更新され始めてからつらくなる」
Dify自前RAGで苦労した検索品質維持を、Agent Search＋Cloud Storageのナレッジ供給パイプラインに再設計。XML sitemap、SHA256差分検知、daily同期、Slack通知で「検索される知識」の更新・除外・監視を運用する話。