Keď jeden AI asistent prestane stačiť

Na Meetupe #2 ukázala Katy Šrámková systém, ktorý si postupne vytvorila pri vývoji aplikácií: orchestrátor, úzko zameraní mikroagenti a samostatná vrstva kontroly.

Ten systém rieši veľmi obyčajný problém: ako rozdeliť zložitejšiu prácu tak, aby sa chyby neprenášali ďalej bez kontroly.

Prečo vôbec prácu rozdeľovať

Katy začala jednoduchým príkladom. Vezmete záznam prednášky a necháte AI urobiť prepis. Už v ňom budú chyby. Z prepisu necháte urobiť zhrnutie a zo zhrnutia ďalší výstup. Každý krok pracuje s tým, čo mu odovzdal ten predchádzajúci – vrátane jeho chýb.

Na slide to ukázala na modeli: každý krok znehodnotí náhodných 15 % obsahu.

Zradné je, že taký výstup často vyzerá skvele. Je pekne naformátovaný, detailný, má zdroje. Práve preto mu podľa Katy nestačí veriť len preto, že vyzerá dobre – treba ho overovať.

K rozdeľovaniu práce ju priviedla ešte jedna skúsenosť: jeden agent, ktorý na úlohe pracuje dlho, postupne stráca kontext a začína si vymýšľať.

Jeden drží celok. Ostatní dostávajú menšiu prácu.

V systéme Katy existuje jeden orchestrátor. S ním Katy hovorí – s ostatnými agentmi priamo nie. Orchestrátor si sám spúšťa subagentov, zadáva im prácu a zbiera výsledky. Agenti medzi sebou komunikujú cez orchestrátora, nie bokom či navzájom medzi sebou.

Jedno rozhodnutie sa ukázalo ako zásadné: čo orchestrátor subagentom odovzdá. Keď im Katy nechávala odovzdávať aj jeho pamäť, začali si zadanie vykladať príliš voľne. Teraz dostávajú len inštrukcie – vo forme promptu a pravidiel.

Mikroagent je Katyin vlastný pojem. Jej mikroagenti majú naozaj malý záber: akoby pri výrobe blúzky napríklad jeden vedel len rozpoznať materiál, druhý farbu a tretí strihať. Vďaka tomu sa nemajú kam odkloniť a ten, kto určuje farbu, nezačne robiť niečo iné.

V prezentácii Katy spomenula aj praktické nastavenie: agent musí vedieť ukladať súbory, spúšťať a inštalovať nástroje a pracovať v slučkách, teda bez toho, aby pri každom kroku čakal na človeka. Orchestrátor u nej beží so stredným reasoningom a subagentom volí úroveň podľa toho, čo potrebujú. Maximálna úroveň na všetko podľa jej skúsenosti zmysel nedávala.

Agent, ktorý niečo vytvoril, nemusí byť ten, kto to schváli.

Jadro systému Katy je na slide „Vývoj softwaru s agentickým týmem“: jeden orchestrátor, špecializovaná implementácia, nezávislé overenie.

Úlohy má Katy pri zložitejšej aplikácii v GitHub Issues: orchestrátorovi stačí povedať, nech si vezme konkrétnu požiadavku, a celý tím pracuje na nej. Pri jednoduchších projektoch používa textový súbor so zoznamom požiadaviek, ktoré orchestrátor spracúva jednu po druhej. Funkční mikroagenti zmenu urobia, a keď sa zhodnú, že je hotová, orchestrátor spustí verifikátorov.

A priznala aj to, čo sa do schém zvyčajne nezmestí: najviac času jej zaberá vlastné testovanie výsledku.

Niektoré kontroly musia prejsť naprieč celým výsledkom.

Verifikačných agentov Katy delí do troch skupín. Každá odpovedá na inú otázku:

Do funkčnej verifikácie patria aj negatívne testy: neoveriť len, že výsledok robí, čo má, ale aj to, že nerobí, čo nemá. Katy to ilustrovala príkladom z praxe. Zadanie hovorilo, že k citlivým reportom má mať prístup určitá skupina manažérov. Testovalo sa, že prístup má. Netestovalo sa, že ho nemá nikto iný – a kvôli chybe ho nakoniec dostal skoro každý.

Cross-verifikácia je ďalšia Katyina vlastná kategória. Funkční mikroagenti vlastnia každý jednu oblasť aplikácie, napríklad prihlásenie, prvé nastavenie, úlohy alebo pripomienky. Cross-verifikační mikroagenti prechádzajú naprieč všetkými oblasťami, no každý stráži len svoju jednu vec:

• ovládanie a prístupnosť: dá sa to ľahko používať?
• jazyk a formáty: sú texty a údaje zrozumiteľné?
• bezpečnosť a chyby: chránime dáta aj pri zlyhaní?
• zhoda dát: rozumejú si aplikácia a server?

Prečo je to potrebné, ukázala na tlačidlách. Agenti vytvoria tlačidlo, potom ďalšie a ďalšie, a každé je trochu iné. Keď potom chcete zmeniť farbu všetkých tlačidiel, zmení sa jedno, lebo nepoužívajú zdieľaný komponent. Takú chybu nájde len kontrola, ktorá sa pozerá naprieč.

Všeobecný princíp

Prezentácia Katy sama končí posunom od vývoja softvéru k „Obecnému principu – aneb jak to aplikovat na jiný druh úloh“. Má tri kroky:

1. 1 · AnalyzujUrčiť komplexnosť problému a urobiť analýzu zadania

   Stačí jeden agent, alebo je úloha taká veľká, že by jeden agent strácal kontext a hromadil chyby?

2. 2 · RozložIdentifikovať mikroagentov

   Funkčných, verifikačných a cross-verifikačných. Aj prácu mimo vývoja, napríklad dátovú analýzu alebo marketing, sa dá rozložiť na malé činnosti.

3. 3 · NaučNaučiť ich ich prácu

   Vlastným know-how, best practices a industry štandardmi dohľadanými s AI, externými zdrojmi (firemné dokumenty, politiky, minulé prípady) alebo s pomocou človeka-špecialistu.

A jedna poznámka zo slidu, ktorá sa ľahko prehliadne: už samotnú analýzu sa dá spracovať pomocou tohto princípu.

Ako by mohol rovnaký princíp vyzerať pri tvorbe kurzu

A tu ma to začalo zaujímať pre vlastnú prácu. Princíp som si preto skúsila preložiť do procesu, ktorý riešim ja: tvorby online kurzu.

Nasledujúci príklad už nie je systém Katy. Je to moja aplikácia rovnakého princípu na iný typ práce.

Nezačala som tímom agentov. Najprv som mala jeden skill na komponenty do nášho LMS, potom ďalší na aktivity, potom na research. Orchestrátor prišiel vo chvíli, keď som si prestala pamätať, ktorý skill robí čo. Dnes mám dva režimy: pri novom kurze ma orchestrátor najprv vyspovedá a spustí celý tím. Keď chcem len pridať jednu aktivitu, zavolá iba konkrétneho agenta.

Rovnako ako u Katy je najdôležitejšie rozdelenie rolí: kto tvorí, kto nezávisle kontroluje a kde rozhoduje človek.

Nemusíš začínať tímom desiatich agentov.

Pri jednom opakovanom workflowe by som začala tromi otázkami:

1. Ktoré časti práce sa dajú oddeliť?
2. Kto alebo čo skontroluje výsledok nezávisle od autora?
3. Kde musí zostať ľudské rozhodnutie?

Až keď sa niektorá časť opakuje a má jasné hranice, dáva zmysel pridávať ďalšie roly alebo automatizáciu.