ChatGPT và các nền tảng AI khác còn phải đi một chặng đường dài trước khi mọi thứ trở nên suôn sẻ và tiến triển đủ nhanh… thời gian phản hồi lâu có thể là trở ngại khó chịu đối với trải nghiệm người dùng tuyệt vời. Giờ đây, một công ty đi đầu trong lĩnh vực phát triển AI —OpenAI—đang trực tiếp giải quyết thách thức đó bằng một tính năng có tên là Predicted Outputs.
Chức năng mới này được thiết kế để giảm độ trễ và do đó đẩy nhanh các tác vụ như gợi ý mã hóa và chỉnh sửa tài liệu.
Lợi ích chính của đầu ra dự đoán
Sau đây là cách Predicted Outputs có thể nâng cao hiệu suất AI:
- Giảm độ trễ: Phản hồi được đưa ra nhanh hơn bằng cách bỏ qua các phần có thể dự đoán được của tác vụ.
- Tạo nội dung hiệu quả: Thích hợp để tạo các lệnh mà phần lớn kết quả đầu ra được biết trước, chẳng hạn như đề xuất mã.
- Trải nghiệm người dùng liền mạch: Người dùng sẽ ít phải chờ đợi hơn, làm việc hiệu quả hơn.
Phương thức hoạt động
Tính năng Đầu ra dự đoán tối ưu hóa thời gian phản hồi bằng cách:
- Sử dụng nội dung đã biết: Mô hình bỏ qua việc tạo dữ liệu từ đầu nếu sử dụng dữ liệu đã có sẵn.
- Phương pháp dự đoán nội bộ: Áp dụng phương pháp thông minh này có nghĩa là bỏ qua các phần thừa, làm giảm tải quá trình xử lý.
- Lặp lại nhanh hơn: Đối với các nhà phát triển, tính năng này cho phép hoàn thành mỗi lần lặp lại nhanh hơn, đặc biệt là khi cập nhật mã nguồn hoặc tài liệu.
Kết quả ấn tượng trong thử nghiệm
Các thử nghiệm ban đầu cho thấy tính năng này có tiềm năng cải thiện đáng kể hiệu quả AI:
- Tốc độ xử lý được cải thiện: Tốc độ xử lý được cải thiện tới 5.8 lần trong Copilot được tạo trong thử nghiệm trên github.
- Phản hồi tích cực từ nhà phát triển: Chúng tôi thấy các đối tác ban đầu báo cáo mức tăng hiệu suất đáng kể; đặc biệt là đối với các quy trình làm việc phức tạp.
Hạn chế và tính sẵn có
Mặc dù đầy hứa hẹn, Predicted Outputs vẫn có một số hạn chế:
- Hạn chế về model: Hiện tại, sản phẩm chỉ hỗ trợ model GPT-4o, nhưng model GPT-4o mini đang được phát triển.
- Quyền truy cập dành riêng cho nhà phát triển: Tính năng này dành riêng cho các nhà phát triển muốn tích hợp AI vào các ứng dụng phức tạp.
Predicted Outputs từ OpenAI là một bước tiến lớn về hiệu quả AI. Với độ trễ giảm, OpenAI cho biết sẽ đưa các công cụ AI như ChatGPT đến gần hơn với trợ giúp theo thời gian thực, giúp chúng nhanh hơn và phản hồi tốt hơn. Đây là giải pháp rất hứa hẹn cho vấn đề độ trễ AI đối với cả nhà phát triển và người dùng thông thường.