Přeskočit na obsah
Modely 3 min čtení

Adobe zkouší agenta, který pro úpravu obrázků vybírá mezi různými nástroji

Výzkumný EditAgent střídá při úpravě obrázků obecný editor se specializovanými nástroji a výsledky kontroluje pomocí výřezů i měření. V testech autorů zvládl část zadání, na kterých samotný editor selhal, potřebuje ale zhruba desetkrát delší zpracování.

Budovy Adobe v San José s logem firmy mezi stromy
Budovy Adobe v San José. Foto: Mountain, Wikimedia Commons (CC BY-SA 3.0)

Zesvětlit fotografii, odstranit postavu v pozadí a zachovat všechno ostatní. Pro obrazový model jsou to odlišné úkoly, přesto je agent často svěřuje témuž editoru a při nezdaru ho nechá zkusit totéž znovu. Tým Adobe Research a Kalifornské univerzity v San Diegu v práci zveřejněné 29. října zkoumá jiný postup: volit nástroj podle úpravy a hodnotiteli ukázat, co se na snímku skutečně změnilo.

Systém nazvali EditAgent. Jde o výzkumnou práci, výsledky měřili její autoři. The Decoder ji rozebral 1. listopadu a upozornil také na delší výpočet. Článek na arXivu sám o sobě není oznámením dostupnosti nové funkce Photoshopu.

Jeden editor nestačil na 256 ze 600 zadání

Výzkumníci sestavili diagnostický test se 600 sadami. Každá obsahovala původní fotografii, pokyn a dvě až čtyři varianty výsledku. Zadání pokrývala 30 druhů úprav, od změn obsahu po geometrii nebo vylepšení detailů. Pět profesionálních retušérů pracujících s Photoshopem společně naslepo určovalo, které varianty použitelně splnily pokyn.

Obecným editorem byl v tomto testu Flux.2-klein-9B. V 256 sadách od něj nevznikl žádný použitelný výsledek, tedy ve 42,7 procenta případů. Specializované metody pomohly ve 175 z těchto sad. Rozdělení všech výsledků uvádí oddíl 3.2 původní studie:

Které varianty retušéři přijaliPočet sadPodíl ze 600 sad
Jen z obecného editoru25442,3 %
Jen ze specializovaných metod17529,2 %
Z obou skupin9015,0 %
Žádnou8113,5 %

Silné stránky se lišily podle úkolu. Obecný editor se uplatnil zejména u stylu a efektů, specializované metody u geometrie a vylepšování obrazu. Opakované generování dalších variant stejným editorem nedokázalo podle autorů nahradit nabídku různých nástrojů. Těch 42,7 procenta proto popisuje konkrétní model a tuto sadu zadání, ne chybovost všech obrazových modelů.

Hodnotitel dostane výřez i naměřené barvy

EditAgent nejprve rozloží složitý požadavek na kroky. Pro každý vybere vhodné postupy: vedle obecného editoru například úpravu vyznačené oblasti, odstranění objektu nebo změnu jasu. Z jednoho vstupního snímku nechá souběžně vzniknout různé varianty. Hodnoticí model je potom porovná najednou.

Ke každé variantě přiloží záznam kontroly. Obsahuje mapu změněných míst, detailní výřez před úpravou a po ní, případně měření barev, jasu či geometrie. Model tedy nemusí z celého obrázku odhadovat, zda se při zesvětlení nechtěně neposunul také barevný odstín. Část odpovědi dostane přímo z měření pixelů. Věrohodnost vzhledu dál posuzuje z fotografií.

V základním nastavení studie zastává plánování i hodnocení Qwen3.8-27B. Autoři porovnávali také další hodnoticí modely a zjistili, že jim přidané záznamy pomáhaly vybírat výsledky, které přijali retušéři. Podle jejich experimentů tak lze zlepšit kontrolu i bez zvláštního dotrénování hodnotitele.

Další kontrola hlídá předchozí požadavky. Ve studii například pokyn vpustit do místnosti více denního světla zrušil dříve požadované matné sklo v okně. Agent porovná aktuální snímek s historií úprav, a když zjistí zřetelné porušení staršího zadání, zkusí opravu. Přijme ji až po dalším posouzení.

Za kontrolu navíc se platí delším čekáním

Autoři uvádějí v závěru práce zhruba desetkrát delší dobu zpracování proti samostatným obrazovým editorům. The Decoder tuto nevýhodu shrnuje jako přibližně desetinásobnou výpočetní náročnost. Původní text ale výslovně mluví o čase, takže z údaje nelze udělat desetkrát vyšší cenu služby nebo spotřebu elektřiny.

Schopnosti agenta navíc závisejí na nástrojích, které má k dispozici. Pokud žádný nenabídne dobrý výsledek, samotné porovnávání ho nevytvoří. Taková situace ostatně nastala i v části diagnostického testu.

Tým proto zkoušel využít přijaté výsledky také při trénování samostatných editorů. Ze sezení EditAgentu sestavil přibližně 25 700 trénovacích příkladů a dotrénoval na nich Qwen-Image-Edit-2511 a Flux.2-klein-base-9B. V jeho testech se oba zlepšily na všech třech použitých sadách úloh. Když místo toho dodal obrázky vytvořené přímo modelem Flux.2-klein-9B, varianta Flux.2-klein-base-9B se na všech třech sadách zhoršila. Pomalejší kontrolovaný postup tak autoři zkoumají i jako zdroj kvalitnějších příkladů pro model, který potom pracuje samostatně.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. Modely

    Google zkouší Genie 4, který vytváří ovladatelné světy se zvukem

    V ukázkách Genie 4 lze během simulace měnit počasí, pohyb kamery i dialog postav. Zatím jej používají vybraní testeři; přístup pro předplatitele Google AI Ultra firma…

  2. Modely

    OpenAI zachází s levným GPT-6.1 Terra jako s modelem kritické kybernetické úrovně

    OpenAI vydala 26. října GPT-6.1 Terra za 1 dolar za milion vstupních a 5 dolarů za milion výstupních tokenů, tedy za desetinu sazeb GPT-6 Astra. Podle systémové karty s…

  3. Modely

    Moonshot snížil cenu tokenů u Kimi K3.1 Pro o třetinu proti K3

    Nový model je dostupný přes chat i programovací rozhraní. V nezávislém hodnocení Artificial Analysis získal 55 bodů, zveřejnění vah firma slibuje do 4. listopadu.

  4. Modely

    Inception uvedl Mercury 3 s dočasnou poloviční cenou za tokeny

    Inception zpřístupnil Mercury 3 se slevou 50 procent proti běžnému ceníku. Termín jejího konce neuvedl. Uživatelé přímého API mají zároveň čas jen do 15. listopadu na…