ChatGPT a další platformy umělé inteligence mají před sebou ještě dlouhou cestu, než bude vše hladké a dostatečně rychlé... dlouhé doby odezvy mohou být rušivou překážkou skvělé uživatelské zkušenosti. Nyní se lídr ve vývoji umělé inteligence — OpenAI — chopí této výzvy přímo s funkcí nazvanou Predicted Outputs.
Tato nová funkce je navržena tak, aby snižovala latenci, a tím urychlovala úkoly, jako jsou návrhy kódování a úpravy dokumentů.
Klíčové výhody předpokládaných výstupů
Zde je návod, jak mohou Predicted Outputs zvýšit výkon AI:
- Snížená latence: Odezvy jsou poskytovány rychleji díky přeskakování předvídatelných částí úkolu.
- Efektivní generování obsahu: Vhodné pro vytváření příkazů, kde je většina výstupu známa předem, jako jsou návrhy kódu.
- Bezproblémová uživatelská zkušenost: Uživatelé stráví méně času čekáním, budou produktivnější.
Jak to funguje
Funkce Predicted Outputs optimalizuje dobu odezvy:
- Využití známého obsahu: Pokud jsou použita již existující data, model přeskočí generování od začátku.
- Metoda interní predikce: Spuštění s tímto chytrým přístupem znamená, že přeskakuje podél nadbytečných částí, čímž se odlehčí zátěž zpracování.
- Rychlejší iterace: Vývojářům umožňuje, aby každá iterace byla dokončena rychleji, zejména v aktualizacích zdrojového kódu nebo dokumentu.
Působivé výsledky v testování
První testy ukazují potenciál funkce výrazně zlepšit efektivitu AI:
- Vylepšené rychlosti zpracování: Až 5.8krát se rychlost zpracování zlepšila v Copilot vytvořeném v testu github.
- Pozitivní zpětná vazba vývojářů: Viděli jsme, že první partneři hlásili výrazné zvýšení výkonu; zejména u složitých pracovních postupů.
Omezení a dostupnost
I když jsou Predicted Outputs slibné, mají určitá omezení:
- Omezení modelu: Momentálně podporuje pouze model GPT-4o, ale na mini modelu GPT-4o se pracuje.
- Přístup pouze pro vývojáře: Tato funkce je zaměřena na vývojáře integrující AI do komplexních aplikací.
Predikované výstupy z OpenAI jsou obrovským krokem vpřed pro efektivitu umělé inteligence. Díky snížené latenci to prý přiblíží nástroje umělé inteligence, jako je ChatGPT, pomoci v reálném čase, díky čemuž budou rychlejší a pohotovější. Je to velmi slibné řešení problému AI lag jak pro vývojáře, tak pro běžné uživatele.