"ファイル容量：496MB（ZIP圧縮後132MB） このマンモス級のビッグデータ、突っ込んでRAGを実行してもちゃんと処理できるんでしょうか？"
凄く得るものがあった。ただ、difyのこの部分は、docker-compose見るとpgvectorなのか？と。親子チャンクは調べてみたいが、ソースは英文でなくて和文？
あとで
こりゃすごい
“動機を伺ったのですが「IIJらしいんじゃないかなーと(笑)。」”この記事まで含めてIIJらしいｗ
動機がいい。「今手元にこんなファイルがあるんですが」
ドラフトとかどう扱ってるんだろ
ベクトル検索の検索精度については追ってなかったので、今のトレンド把握できて助かります。
どうなんだろうね。LLMは学習済みのはずなので、用途によってはLLMが正しく答えられるかをテストする方が有益なのではないかと思った。念のためRFC読み込みツールをLLMに提供すればそれで済みそうな気もする。
ファイルがたくさんあるなら、Memvid(動画にテキストを保存して高速検索する革新的AI技術)を試してほしいな。
子チャンク2048って大きくない？それくらいがいいのかな。
9,573個ものRFCドキュメントをDifyで全部取り込んでみた話 | IIJ Engineers Blog
"ファイル容量：496MB（ZIP圧縮後132MB） このマンモス級のビッグデータ、突っ込んでRAGを実行してもちゃんと処理できるんでしょうか？"
凄く得るものがあった。ただ、difyのこの部分は、docker-compose見るとpgvectorなのか？と。親子チャンクは調べてみたいが、ソースは英文でなくて和文？
あとで
こりゃすごい
“動機を伺ったのですが「IIJらしいんじゃないかなーと(笑)。」”この記事まで含めてIIJらしいｗ
動機がいい。「今手元にこんなファイルがあるんですが」
ドラフトとかどう扱ってるんだろ
ベクトル検索の検索精度については追ってなかったので、今のトレンド把握できて助かります。
どうなんだろうね。LLMは学習済みのはずなので、用途によってはLLMが正しく答えられるかをテストする方が有益なのではないかと思った。念のためRFC読み込みツールをLLMに提供すればそれで済みそうな気もする。
ファイルがたくさんあるなら、Memvid(動画にテキストを保存して高速検索する革新的AI技術)を試してほしいな。
子チャンク2048って大きくない？それくらいがいいのかな。