Přeskočit na obsah
0 komentářů U sebe doma 3 min čtení

Pronájem GPU pro LightOnOCR-3 vyšel v testu pod deset centů za tisíc stran

Daniel van Strien porovnal osm modelů pro rozpoznávání textu na 850 stránkách. LightOnOCR-3 vyšel na necelých deset amerických centů za tisíc stran, počítáno pouze z pronájmu grafického procesoru. Velkou část úspor přineslo také nastavení provozu.

Obsluha obrací stránku svázaných novin v knižním skeneru
Skenování svázaných novin. Ilustrační snímek, zmenšeno. Foto: Oby Ezeilo, Wikimedia Commons (CC BY 4.0)

Rozpoznávání textu neboli OCR převádí obrázek stránky na text, ve kterém lze hledat nebo ho dál zpracovat. Měření Daniela van Striena zveřejněné 18. listopadu ukazuje, jak moc se účet za tuto práci může lišit podle modelu i způsobu jeho provozu. Na jednom pronajatém grafickém procesoru Nvidia RTX PRO 6000 porovnal osm modelů. Cena stroje byla 2,75 dolaru za hodinu.

Nejlevněji v jeho sestavě vyšel LightOnOCR-3-0.8B. Výrobce LightOn tuto variantu představil už 8. října; listopadovou novinkou je srovnání nákladů. Model umí prostý přepis, ale také rozlišovat části stránky a vracet jejich souřadnice.

Pětinová cena platí při stejném rozlišení

Ve vzorku bylo 350 stran přírodovědných knih, 250 stran Encyclopaedia Britannica z roku 1771 a 250 stran strojopisných a tištěných archiválií. Vstupní obrázky autor zmenšil tak, aby delší strana nepřesáhla 2 048 pixelů. Modely obsluhoval server vLLM; v testu použil jeho verze 0.22 až 0.30. Klient posílal více stran souběžně, aby měl stroj stále co dělat.

Následující ceny pocházejí ze závěrečné tabulky měření. Jde o přepočet času GPU, tedy grafického procesoru, při stejné hodinové sazbě. Start serveru ani kontrola přepisu v nich nejsou.

Model a nastaveníDelší strana obrázkuDolary za 1 000 stran smíšeného vzorku
RolmOCR2 048 pixelů0,51
RolmOCR s menším vstupem1 288 pixelů0,28
LightOnOCR-3-0.8B2 048 pixelů0,095

Podíl 0,51 děleno 0,095 vychází přibližně na 5,4. Se starším RolmOCR při menším rozlišení je rozdíl už jen asi trojnásobný: 0,28 děleno 0,095. Menší obrázky ale RolmOCR četl hůře, zejména u husté historické sazby. Účet tedy nejde porovnávat bez toho, co model skutečně dostal na vstupu.

Změna provozu ušetřila víc než samotná výměna modelu

Na stránkách Britanniky autor oddělil ještě jinou otázku: kolik ušetří se stejným modelem GLM-OCR. Při zopakování svého únorového postupu mu tisíc stran vyšlo na 1,57 dolaru. Používal pevné dávky 64 stran, menší kartu L4, plné rozlišení skenů a vLLM 0.16.

Po přechodu na průběžné zásobování serveru, větší grafický procesor, menší obrázky a vLLM 0.30 klesla cena na 0,40 dolaru. Teprve výměna za LightOnOCR-3 ji srazila na 0,13 dolaru. První krok tedy snížil účet asi čtyřikrát, druhý zhruba třikrát. Přesný podíl jednotlivých úprav autor nedokázal oddělit; z těchto čísel nelze připsat celou úsporu nové verzi vLLM nebo větší kartě.

Levnější přepis pořád potřebuje kontrolu

U 282 knižních stran existoval přepis zkontrolovaný člověkem. Medián chybovosti po znacích vyšel u RolmOCR na 0,50 procenta a u LightOnOCR-3 na 0,45 procenta, pokud se nepočítalo záhlaví a čísla stran. Tento výsledek se týká knižní části vzorku. U ostatních dokumentů autor využil i hodnocení jiným obrazovým modelem, který ale někdy změnil verdikt po prohození pořadí porovnávaných přepisů.

Na jednom daňovém formuláři s řadami teček se čtyři z osmi modelů v každém běhu zasekly v opakování. Patřil mezi ně i LightOnOCR-3. Žádný model tu stránku nezpracoval bez problémů v obou bězích. Nízká průměrná cena tak nedává záruku, že každý jednotlivý dokument projde.

Srovnání má ještě omezení v nastavení konkurentů. PaddleOCR-VL a GLM-OCR běžely bez kroku pro rozpoznání rozvržení stránky, který jejich obvyklý postup obsahuje. DeepSeek-OCR dostal pokyn pro prostý text místo svého výchozího pokynu. Také limity délky odpovědi se lišily. Autor proto upozorňuje, že jiné nastavení může výsledky těchto modelů změnit.

Pro milion stran vychází u nejnovějšího modelu podle druhu dokumentů asi 65 až 130 dolarů za čas velké grafické karty. Nejde o cenu celé digitalizace. Odhad nezahrnuje několik minut spouštění každé úlohy a nevyčísluje práci se skenerem ani opravy chyb.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. U sebe doma

    Žádné vydání vLLM ani SGLangu zatím neumí spustit váhy Kimi K3.1 Pro

    Moonshot AI zveřejnil 4. listopadu váhy modelu Kimi K3.1 Pro, které na Hugging Face zabírají 1,56 TB. Licence se od Kimi K3 liší jen jménem modelu. Podporu dostaly vLLM…

  2. U sebe doma

    Opera dává webům místní AI přes rozhraní od Googlu, které Mozilla i WebKit odmítly

    Opera 27. října pustila do raného náhledu WebAI, přes které weby a rozšíření volají jazykový model běžící v počítači uživatele. Popisuje ho jako navrhovaný webový…

  3. U sebe doma

    Ollama pozastavila převod starších modelů, po kterém zabíraly na disku dvojnásobek

    Ollama 0.40 začala bez ohlášení přepisovat starší stažené modely do tvaru, který llama.cpp přečte bez záplat, a původní soubor nechávala vedle jako zálohu. Převedené…

  4. U sebe doma

    DGX Spark se 64 GB má poloviční paměť, ale stejnou propustnost 273 GB/s

    Nvidia nabízí DGX Spark se 64 GB od 23. října přes šest výrobců za 4 999 dolarů, o čtvrtinu dráž, než loni stála verze se 128 GB. Ta mezitím podražila na 6 950 dolarů.…