“grepはヒットが関連度順に並ばず、Obsidian検索はアプリ外から使えない。キーワードをスペース区切りで渡すと、関連度順に検索結果を表示。曖昧検索なし/ありの2種。AIエージェントに「このコマンド使って」と頼める”
最近AIに全文検索機能の付与を頼むと、何も言わずにSQLite FTS5のtrigram tokenizerを使いがちなんだよね。割とデフォルトで使い勝手の良い存在として認識されてるのかな？
どうせLLMに検索させるんだしfind grepでいいんじゃね
trigramは辞書不要で多言語を一様に扱える反面、索引が膨らみ誤ヒットも出る。精度なら形態素解析だが辞書維持が要る、という割り切りが常駐ゼロ設計と噛み合っている
“SQLite FTS5の”
“注意として、3文字未満の検索語はtrigramのindexでは引けません。この場合は日付順の一覧に自動フォールバックし、結果ヘッダにその旨が表示されます。”
AIにファイルを解析させて、AIにgrep検索させるといい。「LLM Wiki」と同じ考え方。誤字や表記揺れだけでなく、言語や同義語の違いにも左右されない、セマンティック検索になる。
いいなこれ
Markdownノートを日本語で全文検索できるCLI「mikke」を作った
“grepはヒットが関連度順に並ばず、Obsidian検索はアプリ外から使えない。キーワードをスペース区切りで渡すと、関連度順に検索結果を表示。曖昧検索なし/ありの2種。AIエージェントに「このコマンド使って」と頼める”
最近AIに全文検索機能の付与を頼むと、何も言わずにSQLite FTS5のtrigram tokenizerを使いがちなんだよね。割とデフォルトで使い勝手の良い存在として認識されてるのかな？
どうせLLMに検索させるんだしfind grepでいいんじゃね
trigramは辞書不要で多言語を一様に扱える反面、索引が膨らみ誤ヒットも出る。精度なら形態素解析だが辞書維持が要る、という割り切りが常駐ゼロ設計と噛み合っている
“SQLite FTS5の”
“注意として、3文字未満の検索語はtrigramのindexでは引けません。この場合は日付順の一覧に自動フォールバックし、結果ヘッダにその旨が表示されます。”
AIにファイルを解析させて、AIにgrep検索させるといい。「LLM Wiki」と同じ考え方。誤字や表記揺れだけでなく、言語や同義語の違いにも左右されない、セマンティック検索になる。
いいなこれ