ChatGPT 和其他 AI 平台还有很长的路要走，才能让一切顺利进行并快速发展……较长的响应时间可能会成为良好用户体验的一大障碍。现在，AI 开发领域的领导者 OpenAI 正通过一项名为“预测输出”的功能迎接这一挑战。
此新功能旨在减少延迟，从而快速促进编码建议和文档编辑等任务。
预测输出 主要优势
预测输出可以增强 AI 性能的方式如下：
- 减少延迟：通过跳过任务的可预测部分，可以更快地提供响应。
- 高效的内容生成：适合创建大多数输出都提前已知的命令，例如代码建议。
- 无缝用户体验：用户将花费更少的等待时间，提高工作效率。
工作原理
预测输出功能通过以下方式优化响应时间：
- 利用已知内容：如果使用预先存在的数据，模型将跳过从头开始生成。
- 内部预测方法：采用这种智能方法运行意味着它会跳过冗余部分，从而减轻处理负荷。
- 更快的迭代：对于开发人员来说，它可以让每次迭代能够更快地完成，特别是在源代码或文档的更新时。
测试结果令人印象深刻
初步试验表明，该功能有潜力显著提高人工智能的效率：
- 增强的处理速度：在 github 测试中创建的 Copilot 的处理速度提高了 5.8 倍。
- 开发人员的积极反馈：我们看到早期的合作伙伴报告了显著的性能提升；特别是在复杂的工作流程上。
限制和可用性
虽然前景看好，但预测输出也存在一些局限性：
- 模型限制：目前仅支持 GPT-4o 模型，但 GPT-4o 迷你模型正在开发中。
- 仅限开发人员访问：该功能针对将 AI 集成到复杂应用程序中的开发人员，非常关键。
OpenAI 的预测输出是 AI 效率的一大进步。通过降低延迟，它表示将使 ChatGPT 等 AI 工具更接近实时帮助，使其速度更快、响应更快。对于开发人员和普通用户来说，这都是解决 AI 延迟问题的一个非常有希望的解决方案。