Robert Dominguez
← Všechny zápisky
AI

„Všechno je AI slop.“ Dogma o nepoužívání AI a co na něj říkají data

Nálepka „AI slop“ a rada „hlavně to nepoužívej“ padají skoro výhradně od lidí, kteří AI sami nikdy neotevřeli a přebírají, co slyšeli ve zprávách. Dvě velké studie ukazují, kdy AI učení opravdu škodí a kdy naopak zdvojnásobí, co se student naučí.

Kdykoli na sítích padne, že si někdo pomohl AI — při učení, při hledání informace, při tvorbě čehokoli, nebo se někdo zeptá, jak se něco naučit, a někdo mu poradí ChatGPT — hned začnou přibývat komentáře typu „hlavně se to neuč z AI, ta si vymýšlí“. Někdo si vygeneruje grafiku do životopisu nebo do inzerátu a sype se na něj „AI slop“. Pokaždé stejně rychle a pokaždé bez ohledu na to, k čemu ten nástroj v daném případě sloužil.

Že se jí nedá věřit bez ověření, souhlas. Jenže to platí o každém zdroji. Dvacet let starý tutoriál na osobním webu může být dávno mimo, odpověď na fóru psal někdo, kdo to taky jen zkoušel, a v poznámkách po spolužákovi jsou chyby, o kterých neví ani on. Z toho nevyplývá, že se ty zdroje nemají používat. Vyplývá z toho, že se má ověřovat.

Ano, část té nevole má reálné jádro — jenže to jádro nikdy neleží v nástroji. Ošklivá vygenerovaná reklama, kterou někdo rozešle po všech skupinách, otravuje. Jenže stejně ošklivou grafiku umí člověk vyrobit ručně a rozeslat ji úplně stejně. Inzerát na nemovitost, kde je místo fotky AI vizualizace nebo vyhlazený skutečný stav, je problém — tam, kde o reálném stavu věci rozhoduje kupující, je to klamání a osobně mi to asi vadí ze všech těch případů nejvíc. Jenže fungovalo by to i s Photoshopem a vinu nese inzerent, ne generátor. A obráceně: grafika do životopisu nebo do nabídky práce, která svému publiku předá informaci a vypadá slušně, je v pořádku. Proč by nad ní měl někdo trávit hodiny nebo platit grafika?

Stojí taky za pozornost, kdo v tom odmítavém táboře obvykle stojí. Neznám nikoho, kdo umí AI rozumně používat a zároveň ji plošně zavrhuje. Výhrady lidí, kteří s ní reálně pracují, jsou vždycky konkrétní: v tomhle se plete, tohle jí nemá smysl zadávat, tady po ní musím kontrolovat každý řádek. Plošné „nepoužívej to“ přichází skoro výhradně od lidí, kteří AI sami nikdy pořádně nevyzkoušeli a přebírají názor, který slyšeli ve zprávách nebo na sociálních sítích. Samo o sobě to není argument proti nim — jen důvod ptát se, na čem ten jejich radikální názor stojí.

Rozdíl je pokaždé v tom, kdo nástroj použil a k čemu. U učení to platí úplně stejně, jen s jednou výhodou: tam se to dá podložit daty. Což je zbytek tohohle článku.

Na čem záleží nejvíc: jak obehrané je to téma

Například maturitní práce z programování má skoro vždycky stejnou kostru. Evidence něčeho, rezervační systém, jednoduchá hra, malý web nad databází. Pod tím se skrývá pár úloh starých desítky let: postavit formulář, uložit záznam, přihlásit uživatele, načíst soubor, vypsat seznam a ošetřit, co se stane, když je prázdný. Jazyk a framework se liší škola od školy, ale ta látka je napříč všemi stokrát popsaná, správně zodpovězená a znovu a znovu vysvětlená.

To je přesně profil úlohy, kde jazykové modely selhávají nejméně. Halucinace se nerozdělují rovnoměrně — sypou se tam, kde je materiálu málo: u čerstvě vydané knihovny, obskurního API, konkrétní kombinace verzí, kterou před tebou nikdo nezkoušel. Nic z toho v maturitní práci nepotkáš.

Nejtvrdší číslo, které se dá proti AI v programování vytáhnout, pochází ze studie z konference CHI 2024, která nechala ChatGPT odpovědět na 517 otázek ze Stack Overflow — 52 % odpovědí bylo věcně chybných. Než to někdo použije jako argument, stojí za to vědět, co se měřilo: byl to GPT-3.5 v roce 2023 a otázky na Stack Overflow vznikají právě tam, kde si tazatel poradit nedokázal. Je to nejtěžší možný vzorek, ne průřez tím, co potřebuje maturant.

Riziko tím ale neklesá na nulu, takže platí jedno tvrdé pravidlo: kód, který jsi nespustil, neexistuje. U školní práce to znamená zmáčknout tlačítko a chvíli počkat.

V čem mají odpůrci pravdu

Existuje jeden vážný argument proti, a je opřený o data. Studie na téměř tisíci středoškolácích v Turecku, publikovaná v PNAS, rozdělila studenty do tří skupin: běžný chat s GPT-4, tutorská verze s pedagogickými mantinely a kontrolní skupina bez ničeho.

Během procvičování si obě AI skupiny vedly proti kontrolní skupině výrazně líp — běžný chat o 48 %, tutorská verze o 127 %. Jenže pak přišel test bez přístupu k AI a skupina s běžným chatem dopadla o 17 % hůř než ti, kteří AI nikdy neměli. Studenti si z ní udělali berličku: nechali si vygenerovat řešení, měli pocit, že rozumí, a naučili se míň, než kdyby ji vůbec neměli.

Podstatný detail: u tutorské verze s mantinely se ten propad prakticky nekonal. Ta studie tedy neříká „AI škodí učení“. Říká „AI v režimu odpovídacího automatu škodí učení“.

V čem jsou mimo

Druhá strana mince je randomizovaná studie ze Scientific Reports, kde 194 harvardských studentů fyziky probíralo stejnou látku dvěma způsoby — jednou v hodině s aktivním zapojením a lektorem, jednou doma s AI tutorem. Každý student prošel oběma režimy. S AI se naučili víc než dvojnásobek látky za kratší čas a sami hlásili vyšší zapojení a motivaci.

Ten tutor měl v instrukcích, že má odpovídat stručně, odkrývat jen jeden krok a nechat studenta nejdřív přemýšlet. Přesně ta vlastnost, která v turecké studii oddělovala tutorskou verzi od běžného chatu — tedy skupinu, u které se propad nekonal, od té, která si pohoršila.

Rozdíl mezi oběma studiemi tedy není AI versus žádná AI. Je to způsob použití — přesně ta dělicí čára, která odděluje slušnou grafiku v životopise od vyhlazené fotky v inzerátu na byt.

A co ty alternativy

Zdroj Odpoví na doplňující dotaz? Kdy je k dispozici Hlavní slabina
Učebnice Ne Vždy Stojí kolem tisícovky a stárne
YouTube Ne Vždy Kvalita kolísá a tutoriály rychle zastarávají
Fórum, Stack Overflow Někdy, se zpožděním Hodiny až dny Začátečnické otázky bývají odmítnuté
Vývojář z praxe Ano, nejlíp ze všech Když má čas Ve 22:00 před odevzdáním obvykle nemá — a není zadarmo
AI chat Ano, okamžitě a opakovaně Vždy Zní jistě, i když se plete

Ta slabina ve spodním řádku je reálná a nemá cenu ji zlehčovat. Jenže u chybějící závorky nebo u hlášky, kterou student nikdy neviděl, se ověří za deset sekund spuštěním. A těch deset sekund nahradí hodinu bezradného zírání do obrazovky.

Jak si to nastavit, aby to učilo

Z toho všeho plyne docela konkrétní návod:


Řekni modelu, ať neřeší za tebe. Věta na začátek konverzace: „Jsem student, dělám maturitní práci. Nedávej mi hotová řešení, dávej nápovědu po jednom kroku a nech mě zkusit to sám.“ Tohle je přesně ten rozdíl mezi tutorskou a běžnou verzí v turecké studii.
Každý kus kódu spusť. Bez výjimky, i když vypadá triviálně.
Ptej se „proč“, ne „jak“. „Proč se ten dotaz do databáze musí parametrizovat?“ naučí víc než „napiš mi to uložení“.
Nech se vyzkoušet. Požádej o pět otázek na téma, které jsi právě probral, a odpovídej bez koukání do materiálů. Rychle zjistíš, jestli tomu rozumíš, nebo se ti to jen četlo příjemně.
Osnova ze školy zůstává základ. AI je mentor k ní, ne náhrada za ni — u zkoušky se vyžaduje to, co je v osnově.

A jeden argument navíc, který v žádné studii nenajdeš: maturitní práce se obhajuje ústně před komisí. Kód, kterému student nerozumí, ho potopí dřív a spolehlivěji než jakákoli halucinace — první doplňující otázka k tomu, proč to má napsané zrovna takhle, ho odhalí. Bezmyšlenkovité kopírování se tady trestá samo, a to je docela spolehlivá pedagogická pojistka.

Zbytek je na škole. Učitelé s AI musí počítat stejně, jako museli začít počítat s Googlem, s Wikipedií a dávno předtím s kalkulačkou. Průběh bývá podobný: nejdřív zákaz, pak zjištění, že se vynutit nedá, a nakonec úprava zadání a způsobu zkoušení tak, aby nástroj přestal být zkratkou k výsledku. Ústní obhajoba je přesně takový mechanismus — funguje bez ohledu na to, čím si student při psaní pomohl.

Závěr

Rada „AI na učení nepoužívej“ míchá dohromady dvě různé věci: používat AI místo přemýšlení a používat ji k přemýšlení. To první data odsuzují, to druhé data podporují. Je to stejná záměna jako u té vygenerované grafiky — nálepka na nástroj místo výhrady k tomu, co s ním kdo udělal. A rozdíl mezi nimi je praktický: nálepka nikoho nic nenaučí, zatímco konkrétní výhrada ano. Nespouštěj cizí kód naslepo. Nenech si dávat hotová řešení. Ověřuj.

Odrazovat maturanta od nástroje, který mu v deset večer vysvětlí chybovou hlášku, protože se o něm někde mluvilo špatně, není opatrnost. Je to házení klacků pod nohy.

Zdroje

Robert Dominguez
Robert Dominguez

Senior frontend a React Native developer. Ve dne mobilní bankovnictví, po večerech vlastní apky ve storu.

Napsat mi →

Máš projekt, kde by se hodily moje ruce?