RAGの限界をWiki化で力技解決しようとするKarpathy流。結局LLMに継続的な「記憶」を持たせるには、人間が読める構造を介するのが最短経路なのかもな
LLMがRaw sources→persistent wiki→schemaの3層でMarkdownを逐次保守し、index.md/log.mdで検索と履歴管理する。
これがうまいこと実現できるならめちゃくちゃアツいな。
RAGの代替としてLLM管理Wikiを提案。Raw sources→Wiki→Schemaの3層。LLMが要約・相互参照・矛盾管理を自動更新し知識を永続コンパイル。Obsidian＋Markdown運用。
従来は文書を集めても知識が蓄積されず、質問のたびにRAG的に再検索・再構成が必要で矛盾整理や更新保守も人手負担。Obsidian上のwikiをLLMが継続的に更新し、要約・相互参照・矛盾反映を担うことで、知識を永続的に育てる
llm-wiki
RAGの限界をWiki化で力技解決しようとするKarpathy流。結局LLMに継続的な「記憶」を持たせるには、人間が読める構造を介するのが最短経路なのかもな
LLMがRaw sources→persistent wiki→schemaの3層でMarkdownを逐次保守し、index.md/log.mdで検索と履歴管理する。
これがうまいこと実現できるならめちゃくちゃアツいな。
RAGの代替としてLLM管理Wikiを提案。Raw sources→Wiki→Schemaの3層。LLMが要約・相互参照・矛盾管理を自動更新し知識を永続コンパイル。Obsidian＋Markdown運用。
従来は文書を集めても知識が蓄積されず、質問のたびにRAG的に再検索・再構成が必要で矛盾整理や更新保守も人手負担。Obsidian上のwikiをLLMが継続的に更新し、要約・相互参照・矛盾反映を担うことで、知識を永続的に育てる