Rust製で4ミリ秒とか爆速すぎるしRAGの前処理でかなり重宝しそうだな
つい先週何とか苦労して自作したばかりというのに…またお試しが発生…
こう言うのをみるたび、結合セルがもりもりで、肝心なところは記号になってる表、表の形式をなしている画像、アイコンを線で繋いだシステム構成図などを、どうAIへの入力とすればいいのか悩むよ。
RAGを使っていると、検索精度を上げるには「そもそも文書をどう取り込むか」が重要だと感じる。 WordやExcel、PDFをMarkdownに統一できるなら、前処理もシンプルにできそう。
Excel方眼紙とかPDFとか、いっそ画像で渡したほうが認識してくれる、と最近は聞くけどね
おーそうかい。ほな経産省ご謹製の霞が関ポンチ絵食わせてみるかい。
Excel方眼紙や矢印オブジェクトや、切り貼り画像も再現してくれるのかな
エクセルにテキストや画像を貼り付けて仕様書作るのはJTCと大手SIerだけだと思いたい。パワポで仕様書作ろうとしてたのを何とかWordにしてもらったが。バージョン管理やAI連携考えるとやっぱmarkdownだよなあ
まあたしかにワードアートを多用したOfficeファイルを変換できたらバベルの塔完成レベルの偉業だとは思うが
WSLに展開して試してみようかな
最近はHTMLの方がいいという話も聞くがどうなんだろうね
MarkdownよりJSONのほうが（入力トークンが大きくなるが）意味理解が早く解釈余地が小さく回答が安定しやすいとLLM自身が回答したので、人間が読む必要ないなら可能な限りJSON入出力で作るようになった。
ここ一年で自前でRAG頑張るよりツール進化待ちの方が楽だし精度出る気はしてるClaude CoworkみたいなエージェンティックLLMもそうならWorkIQ出てきてCoPilot AgentがSharepointにぶち込んだExcelまともに読むようになってたり。
後で読みたい。Word・Excel・PDFなどの文書をAIが読みやすいMarkdownに爆速変
こういうのってAIツール側がやってくれれば要らなくなるだけじゃないの
Word・Excel・PDFなどの文書をAIが読みやすいMarkdownに爆速変換する「anydoc」がオープンソース公開（生成AIクローズアップ） | テクノエッジ TechnoEdge
Rust製で4ミリ秒とか爆速すぎるしRAGの前処理でかなり重宝しそうだな
つい先週何とか苦労して自作したばかりというのに…またお試しが発生…
こう言うのをみるたび、結合セルがもりもりで、肝心なところは記号になってる表、表の形式をなしている画像、アイコンを線で繋いだシステム構成図などを、どうAIへの入力とすればいいのか悩むよ。
RAGを使っていると、検索精度を上げるには「そもそも文書をどう取り込むか」が重要だと感じる。 WordやExcel、PDFをMarkdownに統一できるなら、前処理もシンプルにできそう。
Excel方眼紙とかPDFとか、いっそ画像で渡したほうが認識してくれる、と最近は聞くけどね
おーそうかい。ほな経産省ご謹製の霞が関ポンチ絵食わせてみるかい。
Excel方眼紙や矢印オブジェクトや、切り貼り画像も再現してくれるのかな
エクセルにテキストや画像を貼り付けて仕様書作るのはJTCと大手SIerだけだと思いたい。パワポで仕様書作ろうとしてたのを何とかWordにしてもらったが。バージョン管理やAI連携考えるとやっぱmarkdownだよなあ
まあたしかにワードアートを多用したOfficeファイルを変換できたらバベルの塔完成レベルの偉業だとは思うが
WSLに展開して試してみようかな
最近はHTMLの方がいいという話も聞くがどうなんだろうね
MarkdownよりJSONのほうが（入力トークンが大きくなるが）意味理解が早く解釈余地が小さく回答が安定しやすいとLLM自身が回答したので、人間が読む必要ないなら可能な限りJSON入出力で作るようになった。
ここ一年で自前でRAG頑張るよりツール進化待ちの方が楽だし精度出る気はしてるClaude CoworkみたいなエージェンティックLLMもそうならWorkIQ出てきてCoPilot AgentがSharepointにぶち込んだExcelまともに読むようになってたり。
後で読みたい。Word・Excel・PDFなどの文書をAIが読みやすいMarkdownに爆速変
こういうのってAIツール側がやってくれれば要らなくなるだけじゃないの