ElevenLabs uvedlo Eleven Realtime pro hlasové rozhovory
Varianta Max dosáhla v nezávislém testu mluvených logických úloh 98,8 procenta a první zvuk vydala za 0,57 sekundy. Menší Mini získalo lepší známku za průběh rozhovoru, uvažování mu ale šlo hůř.
ElevenLabs 20. října představilo Eleven Realtime, modely, které přijímají řeč a odpovídají opět hlasem. Nabízí dvě varianty: v1 Max pro složitější požadavky a v1 Mini pro běžnou konverzaci. Podle zprávy The Decoder jsou dostupné přes platformu ElevenAgents i programové rozhraní Realtime API, které je kompatibilní s rozhraním OpenAI.
Firma u menšího modelu zdůrazňuje rozpoznání konce promluvy. Mini má podle jeho oznámení reagovat na přerušení, ale pokračovat, když posluchač jen přitaká. Rozdíl mezi těmito situacemi ověřuje i nezávislá laboratoř Artificial Analysis. Její výsledky ukazují, že výběr většího modelu nepřináší lepší známku v každé části hlasového rozhovoru.
Max v testu začne mluvit za 0,57 sekundy
V aktuálním žebříčku Artificial Analysis má Eleven Realtime v1 Max úspěšnost 98,8 procenta na Big Bench Audio v1.2. Průměrný čas do prvního zvuku je 0,57 sekundy. Stejná čísla uvádí ElevenLabs, zde je však potvrzuje měření jiné organizace. Údaje platí pro stav žebříčku k 20. říjnu.
Big Bench Audio obsahuje tisíc namluvených otázek. Model dostane zvukový vstup a musí vrátit mluvenou odpověď. Čtvrtina úloh zkouší logické vyvozování, další čtvrtina návrat na výchozí místo podle pokynů k pohybu. Zbytek tvoří počítání předmětů a určování pravdivosti výroků. Metodika popisuje automatické hodnocení, při němž další model porovná odpověď se správným řešením a původní otázkou.
Výsledek 98,8 procenta tedy označuje podíl správných odpovědí v této sadě. Není to podíl vyřízených reklamací ani spokojených volajících. Také čas 0,57 sekundy má užší význam, než by se mohlo zdát: měří začátek zvukové odpovědi, nikoli čas potřebný k vyslovení celého řešení.
Max přitom nemá nejvyšší úspěšnost v samotném uvažování. Výše stojí StepAudio 3 Realtime s 99,7 procenta a Qwen Audio 3.0 Realtime Plus s 99,2 procenta, měřené stejnou laboratoří na stejné sadě. Oba ale začínají odpovídat později. ElevenLabs své tvrzení o náskoku vymezilo právě kombinací rychlosti a úspěšnosti, nikoli prvenstvím v každé veličině zvlášť.
Mini lépe zvládlo průběh rozhovoru, v logice zaostalo
U Eleven Realtime v1 Mini uvádí souhrnná tabulka zaokrouhlenou úspěšnost 76 procent na Big Bench Audio a čas do prvního zvuku 0,62 sekundy. V samostatném měření průběhu konverzace ale Mini získalo 95,8 procenta, zatímco Max 94,1 procenta.
Tato druhá známka je váženým výsledkem části testů Full Duplex Bench v1 a v1.5. Zkouší, zda model nechá člověka dokončit větu, správně převezme slovo, reaguje na skutečné přerušení a neukončí odpověď při pouhém přitakání. Vyšší skóre v logických otázkách proto samo o sobě nezaručuje plynulejší hovor.
Pro asistenta, kterému člověk během odpovědi opraví datum nebo doplní požadavek, jde o jinou schopnost než správně spočítat předměty z namluveného seznamu. Artificial Analysis obě měří odděleně. Ze společné známky za průběh rozhovoru ale nelze vyčíst, že Mini porazilo Max v každém jednotlivém druhu přerušení.
Celkové pořadí zatím pro obě varianty chybí
Artificial Analysis skládá svůj celkový index ze čtyř stejně vážených výsledků: mluveného uvažování, dokončování úloh v testu τ-Voice, preference lidských účastníků a úspěšnosti dokončení úkolu v hlasové aréně. Model do indexu zařadí až tehdy, když má všechny čtyři údaje.
U obou variant Eleven Realtime v tabulce chybí výsledek τ-Voice, který simuluje zákaznickou podporu s přístupem k nástrojům a firemním pravidlům. Proto zatím nemají celkové skóre. Kdo vybírá model pro objednávky nebo změny rezervací, v dnešním žebříčku najde měření rychlosti i zacházení s řečí; výsledek celého simulovaného zákaznického případu v τ-Voice u těchto dvou modelů ještě uvedený není.