Codex 的对话压缩功能做得很好,压缩后还能记住之前的大部分信息。我问了下 GPT,它的压缩其实并不是对话总结——压缩后的内容是人类不可读的、不透明的。所以我们确实不知道 OpenAI 是怎么做到的,可能是训练了一个专门做压缩的小模型。
760 tweets · 188 sources