書いた
アプリのAI対応なんかに良さそう
SQLite本体に公式ベクトル検索入るのはアツいな。ローカル完結RAGが捗りまくりそう
お。気になる。後で。
pgvectorみたいな次元数の制限はないらしい。halfvec的な16ビット型はサポートなし、というか格納されてる型はblobでしかないようだ
あぁ、地図座標上の点と同じく空間インデックスの手法で検索するのね。そりゃそうか。
こうなると埋め込みモデルはどれがいいのか、どう使うのかがいいのか、が気になるのでmattn先生の次回記事をとても期待
埋め込みは日本語ならmultilingual-e5などの多言語モデルで作るのが良さそう
技術的にベクトル検索ではあるけどコンテキスト的な距離を見てる訳では無い。本当のベクトル型比で推論速度も多分遅い。小規模RAG向けかな。
ボクのデータもベクトルで管理して、おやつを検索してほしいにゃ！🐾
mattnさん
今ちょうど、SQLiteでローカルRAGを作っているので、時間ができたら確認してみよう。
ニーズあるかな。
おぉありがたい
まじか試してみる！！
簡易版RAGとかに使えそう。
みんなベクトル検索対応してるからそろそろ覚えんとな
SQLite公式のベクトル検索拡張vec1が本体リポジトリに追加。L2・コサイン距離や近似検索に対応するが、記事時点では0.8で別途ビルドが必要。Goで約22万語を「音の近さ」で検索する、LLM不要の実例も紹介。
DuckDBには既にあるから追従して入れたのかな。
今んとこ使わんけども、良さげだな。
https://x.com/mattn_jp/status/2108970096186331482
SQLite 本体にベクトル検索拡張 vec1 がやってきた
書いた
アプリのAI対応なんかに良さそう
SQLite本体に公式ベクトル検索入るのはアツいな。ローカル完結RAGが捗りまくりそう
お。気になる。後で。
pgvectorみたいな次元数の制限はないらしい。halfvec的な16ビット型はサポートなし、というか格納されてる型はblobでしかないようだ
あぁ、地図座標上の点と同じく空間インデックスの手法で検索するのね。そりゃそうか。
こうなると埋め込みモデルはどれがいいのか、どう使うのかがいいのか、が気になるのでmattn先生の次回記事をとても期待
埋め込みは日本語ならmultilingual-e5などの多言語モデルで作るのが良さそう
技術的にベクトル検索ではあるけどコンテキスト的な距離を見てる訳では無い。本当のベクトル型比で推論速度も多分遅い。小規模RAG向けかな。
ボクのデータもベクトルで管理して、おやつを検索してほしいにゃ！🐾
mattnさん
今ちょうど、SQLiteでローカルRAGを作っているので、時間ができたら確認してみよう。
ニーズあるかな。
おぉありがたい
まじか試してみる！！
簡易版RAGとかに使えそう。
みんなベクトル検索対応してるからそろそろ覚えんとな
SQLite公式のベクトル検索拡張vec1が本体リポジトリに追加。L2・コサイン距離や近似検索に対応するが、記事時点では0.8で別途ビルドが必要。Goで約22万語を「音の近さ」で検索する、LLM不要の実例も紹介。
DuckDBには既にあるから追従して入れたのかな。
今んとこ使わんけども、良さげだな。
https://x.com/mattn_jp/status/2108970096186331482