Pronájem GPU pro LightOnOCR-3 vyšel v testu pod deset centů za tisíc stran
Daniel van Strien porovnal osm modelů pro rozpoznávání textu na 850 stránkách. LightOnOCR-3 vyšel na necelých deset amerických centů za tisíc stran, počítáno pouze z pronájmu grafického procesoru. Velkou část úspor přineslo také nastavení provozu.

Rozpoznávání textu neboli OCR převádí obrázek stránky na text, ve kterém lze hledat nebo ho dál zpracovat. Měření Daniela van Striena zveřejněné 18. listopadu ukazuje, jak moc se účet za tuto práci může lišit podle modelu i způsobu jeho provozu. Na jednom pronajatém grafickém procesoru Nvidia RTX PRO 6000 porovnal osm modelů. Cena stroje byla 2,75 dolaru za hodinu.
Nejlevněji v jeho sestavě vyšel LightOnOCR-3-0.8B. Výrobce LightOn tuto variantu představil už 8. října; listopadovou novinkou je srovnání nákladů. Model umí prostý přepis, ale také rozlišovat části stránky a vracet jejich souřadnice.
Pětinová cena platí při stejném rozlišení
Ve vzorku bylo 350 stran přírodovědných knih, 250 stran Encyclopaedia Britannica z roku 1771 a 250 stran strojopisných a tištěných archiválií. Vstupní obrázky autor zmenšil tak, aby delší strana nepřesáhla 2 048 pixelů. Modely obsluhoval server vLLM; v testu použil jeho verze 0.22 až 0.30. Klient posílal více stran souběžně, aby měl stroj stále co dělat.
Následující ceny pocházejí ze závěrečné tabulky měření. Jde o přepočet času GPU, tedy grafického procesoru, při stejné hodinové sazbě. Start serveru ani kontrola přepisu v nich nejsou.
| Model a nastavení | Delší strana obrázku | Dolary za 1 000 stran smíšeného vzorku |
|---|---|---|
| RolmOCR | 2 048 pixelů | 0,51 |
| RolmOCR s menším vstupem | 1 288 pixelů | 0,28 |
| LightOnOCR-3-0.8B | 2 048 pixelů | 0,095 |
Podíl 0,51 děleno 0,095 vychází přibližně na 5,4. Se starším RolmOCR při menším rozlišení je rozdíl už jen asi trojnásobný: 0,28 děleno 0,095. Menší obrázky ale RolmOCR četl hůře, zejména u husté historické sazby. Účet tedy nejde porovnávat bez toho, co model skutečně dostal na vstupu.
Změna provozu ušetřila víc než samotná výměna modelu
Na stránkách Britanniky autor oddělil ještě jinou otázku: kolik ušetří se stejným modelem GLM-OCR. Při zopakování svého únorového postupu mu tisíc stran vyšlo na 1,57 dolaru. Používal pevné dávky 64 stran, menší kartu L4, plné rozlišení skenů a vLLM 0.16.
Po přechodu na průběžné zásobování serveru, větší grafický procesor, menší obrázky a vLLM 0.30 klesla cena na 0,40 dolaru. Teprve výměna za LightOnOCR-3 ji srazila na 0,13 dolaru. První krok tedy snížil účet asi čtyřikrát, druhý zhruba třikrát. Přesný podíl jednotlivých úprav autor nedokázal oddělit; z těchto čísel nelze připsat celou úsporu nové verzi vLLM nebo větší kartě.
Levnější přepis pořád potřebuje kontrolu
U 282 knižních stran existoval přepis zkontrolovaný člověkem. Medián chybovosti po znacích vyšel u RolmOCR na 0,50 procenta a u LightOnOCR-3 na 0,45 procenta, pokud se nepočítalo záhlaví a čísla stran. Tento výsledek se týká knižní části vzorku. U ostatních dokumentů autor využil i hodnocení jiným obrazovým modelem, který ale někdy změnil verdikt po prohození pořadí porovnávaných přepisů.
Na jednom daňovém formuláři s řadami teček se čtyři z osmi modelů v každém běhu zasekly v opakování. Patřil mezi ně i LightOnOCR-3. Žádný model tu stránku nezpracoval bez problémů v obou bězích. Nízká průměrná cena tak nedává záruku, že každý jednotlivý dokument projde.
Srovnání má ještě omezení v nastavení konkurentů. PaddleOCR-VL a GLM-OCR běžely bez kroku pro rozpoznání rozvržení stránky, který jejich obvyklý postup obsahuje. DeepSeek-OCR dostal pokyn pro prostý text místo svého výchozího pokynu. Také limity délky odpovědi se lišily. Autor proto upozorňuje, že jiné nastavení může výsledky těchto modelů změnit.
Pro milion stran vychází u nejnovějšího modelu podle druhu dokumentů asi 65 až 130 dolarů za čas velké grafické karty. Nejde o cenu celé digitalizace. Odhad nezahrnuje několik minut spouštění každé úlohy a nevyčísluje práci se skenerem ani opravy chyb.