Wow, this tweet went very viral! I wanted share a possibly slightly improved version of the tweet in an "idea file". The idea of the idea file is that in this era of LLM agents, there is less of a point/need of sharing the specific code/app, you just share the idea, then the other person's agent customizes & builds it for your specific needs. So here's the idea in a gist format: https://t.co/NlAfEJjtJV You can give this to your agent and it can build you your own LLM wiki and guide you on how to use it etc. It's intentionally kept a little bit abstract/vague because there are so many directions to take this in. And ofc, people can adjust the idea or contribute their own in the Discussion which is cool.
@LinghuaJ：@karpathy 开源了一个 LLM 知识库的想法。RAG 只有 map 没有 reduce。核心在于让 LLM **增量式构建并维护一个持久化 wiki** —— 也就是说，在索引阶段必须有 reduce，这样才能积累超越单条事实的、复合的合成知识。 不同数据源有不同的事实。很多发现都是这样产生的：从单个事实推导出更普遍的规律。物理理论也是如此——你有大量独立数据，然后推导出更通用的定理。 很多事情正在同时涌现。构建一个可靠的增量引擎来驱动这个过程，正是我们一直在用 cocoindex 做的事——让索引从 source of truth 出发保持更新和有序。 非常期待接下来会发生什么！ --- 引用 @karpathy：这条推文传播很广！ 我想以「idea file」的形式分享一个可能稍微改进过的版本。在 LLM agent 时代，分享具体代码/应用的必要性降低了——你只需分享想法，然后对方的 agent 根据自身需求定制并构建。 这是 gist 格式的 idea：https://t.co/NlAfEJjtJV 你可以把它交给你的 agent，让它帮你构建自己的 LLM wiki 并指导使用。文档故意保持一定的抽象和模糊，因为可以衍生的方向太多了。人们也可以在 Discussion 里调整或贡献自己的想法。
357 tweets · 110 sources