何か凄そうなのであとで読む。たぶん。
これ関連しない情報以外に機密情報とか外部LLMに渡す前のフィルタに使えないかな？
ていうか、ローカルLLMにこういう仕事させればええんでないかなー。要約が不適切ならその場で突っ込めるし。
データクレンジングの自動化こそ人類の悲願であり終わりの始まりでもある
:eyes:
“検索結果をLLMに渡す前に、関連しない情報は削除しちゃおう、ついでに関連度スコアもつけちゃおう、というアプローチが Provence です。”
LLMに渡す前に関連しない文を削除するモデル OpenProvence を公開 - A Day in the Life
何か凄そうなのであとで読む。たぶん。
これ関連しない情報以外に機密情報とか外部LLMに渡す前のフィルタに使えないかな？
ていうか、ローカルLLMにこういう仕事させればええんでないかなー。要約が不適切ならその場で突っ込めるし。
データクレンジングの自動化こそ人類の悲願であり終わりの始まりでもある
:eyes:
“検索結果をLLMに渡す前に、関連しない情報は削除しちゃおう、ついでに関連度スコアもつけちゃおう、というアプローチが Provence です。”