Cloudflare nabízí Clairic na čtení částek a termínů bez generování textu
Cloudflare nabízí v náhledu model Clairic, kterému vývojáři určí hledaná pole a jejich typy. Při chybějící hodnotě vrací null, vedle výsledku však ponechává pomocný odhad guess.
Číslo objednávky, částka včetně daně nebo datum splatnosti nemusí z modelu přijít jako vygenerovaná věta. Cloudflare 19. října otevřel náhled Clairicu, který takové údaje vrací rovnou v předepsaném tvaru. Běží ve službě Workers AI. Zveřejnění vah firma teprve plánuje a v oznámení nestanovila termín.
Vývojář pošle text a pojmenovaná pole, která chce vyplnit. U každého určí, zda hledá úryvek, číslo, datum či třeba dobu trvání. Model podle Cloudflaru negeneruje odpověď postupně po tokenech, tedy jednotkách, na které si modely dělí text. Pole vyhodnocuje souběžně. K textu lze přiložit až čtyři obrázky, například fotografie účtenek.
Chybějící údaj má vlastní značku
U vytaženého úryvku Clairic vrací také jeho začátek a konec ve vstupním textu. Aplikace tak může ukázat místo, ze kterého údaj pochází. Čísla umí nejen přečíst, ale podle zadání také dopočítat; v ukázce Cloudflaru sečte cenu poškozeného zboží s daní a zjistí počet dní mezi dodáním a sepsáním reklamace.
Zajímavější je údaj, který v podkladu vůbec není. Pro číslo zásilky vrací firemní ukázka v poli value hodnotu null, tedy žádný určený výsledek. Vedle ní ovšem zůstává guess s částkou daně 52,10 dolaru. To je pomocný tip modelu, nikoli nalezené číslo zásilky. Kdo by v aplikaci použil guess místo value, převzal by jiný údaj, přestože model chybějící odpověď označil.
Obdobný příklad obsahuje i modelová reference: u chybějícího čísla nákupní objednávky má value opět hodnotu null, zatímco v guess stojí číslo faktury. Odpověď obsahuje i odhad jistoty a pravděpodobnost, že hledaná hodnota ve vstupu chybí. Samotný vyplněný pomocný údaj proto není důkazem, že ho model našel.
Správný formát neznamená správnou částku
Rozdíl mezi pevně určeným výstupem a volným textem popsal už TypeSafe při zářijovém uvedení modelu Jev. Jeho rozhodovací model vybírá z možností dodaných předem a přiřazuje jim pravděpodobnosti. Clairic má jiný úkol: hledá nebo odhaduje hodnotu, například částku, kterou není nutné předem vypsat do seznamu odpovědí.
Cloudflare jej chce spojovat s rozhodovacím modelem Clef a běžným jazykovým modelem. Clairic z reklamace vytáhne fakta, Clef podle pravidel vybere vrácení peněz nebo opravu a jazykový model napíše zákazníkovi odpověď. Jde o rozdělení práce mezi specializované modely; každý dostane jiný úkol.
U odhadů Clairic vrací také interval mezi desátým a devadesátým percentilem, který zahrnuje prostředních 80 procent jeho předpovědního rozdělení. Skutečný výsledek může ležet i mimo něj. Příručka Cloudflaru výslovně upozorňuje, že omezení typu a rozsahu nezaručuje věcnou správnost. Odhad data platby omezený na listopad se vejde do listopadu, ale zákazník může zaplatit až v prosinci.
Stejný dokument rozlišuje chybějící hodnoty podle úlohy. Při hledání jediné hodnoty může přijít null, u seznamu prázdný seznam. Odhady a předpovědi však model vrací i tehdy, když mají v podkladech málo opory. Záruka, že odpověď bude mít požadovaný tvar, tedy neodstraňuje potřebu kontroly před úhradou faktury nebo jiným nevratným krokem.
Účtuje se vstup, větší zadání se může rozdělit
Modelová reference uvádí k 20. říjnu cenu 0,10 dolaru za milion vstupních tokenů. Za výstupní tokeny se podle oznámení neplatí. Cena celého požadavku tak závisí na zpracovaném vstupu, ne na délce napsané odpovědi.
Větu o souběžném vyplnění polí doplňuje technický limit. Podle reference se pole, která se spolu se vstupem nevejdou do jednoho průchodu o 8 192 tokenech, rozdělí do souběžných průchodů. Každý podle oznámení znovu vidí celý vstup a server výsledky spojí. Počet průchodů lze zkontrolovat v poli usage.passes. Jeden požadavek proto nemusí znamenat jediný průchod modelem.
Cloudflare u náhledu přiznává omezené zvládání delších řetězců výpočtů a doporučuje složitější aritmetiku nechat běžnému kódu. Předpovědi časových řad popisuje jako základní. Pro vývojáře, který chce ověřovat přečtené faktury, jsou v odpovědi dohledatelné úryvky a značky chybějících hodnot; odhad budoucí úhrady už zůstává předpovědí.