Během vánočních prázdnin jsem si vytvořil open-source řešič pokerových řek. Kód je stoprocentně napsán Kodexem a také jsem vytvořil verzi s Claude Code pro porovnání. Celkově mi tyto nástroje umožnily mnohem rychleji iterovat v oblasti, kterou dobře znám. Ale zároveň jsem cítil, že jim nemohu úplně důvěřovat. Dělali chyby a narazili na chyby, ale místo aby to přiznali, často si mysleli, že to není velký problém, nebo se mě občas prostě snažili přesvědčit, že není nic špatně. Při jedné památné ladicí seanci s Claude Code jsem se ho zeptal, jakou by byla očekávaná hodnota strategie "vždy skládat", když má hráč v banku 100 dolarů. Řekl mi, že podle jeho algoritmu stál elektromobil -93 dolarů. Když jsem mu řekl, jak je to zvláštní, doufaje, že si sama uvědomí, že je tam chyba, ujistila mě, že 93 dolarů je blízko 100 dolarů, takže je to asi v pohodě. (Jakmile jsem ho vyzval, aby konkrétně zvážil blokátory jako potenciální problém, uznal, že algoritmus je skutečně správně nezohledňuje.) Codex na tom nebyl o moc lepší a narazil na vlastní sadu (zajímavě) odlišných chyb a algoritmických chyb, které jsem musel pečlivě řešit. Naštěstí jsem se s tím dokázal vypořádat, protože jsem expert na pokerové řešiče, ale nemyslím si, že by bylo mnoho lidí, kteří by tento řešič dokázali vytvořit pomocí AI programátorů. Nejfrustrující zkušenost byla tvorba grafického rozhraní. Po desítce výměn názorů ani Codex, ani Claude Code nedokázali vytvořit frontend, o který jsem žádal, i když Claude Code byl alespoň hezčí. Nemám zkušenosti s frontendem, takže možná to, co jsem chtěl, prostě nebylo možné, ale pokud by to tak bylo, přál bych si, aby mi *řekli*, že je to těžké nebo nemožné, místo aby opakovaně dělali rozbité implementace nebo věci, o které jsem nežádal. Ukázalo mi to, jak je stále velký rozdíl mezi prací s lidským týmem a prací s AI. Po dokončení a ladění počátečních implementací jsem požádal Codex a Claude Code, aby vytvořili optimalizované verze pro C++. V tomto ohledu si Codex vedl překvapivě dobře. Jeho verze pro C++ byla 6x rychlejší než Claude Code (i po několika iteracech vyzývek k dalším optimalizacím). Optimalizace v Codexu stále nebyly tak dobré jako to, co jsem dokázal vytvořit, ale na druhou stranu jsem strávil 6 let doktorátu tvorbou pokerových botů. Celkově si myslím, že Codex odvedl působivou práci. Moje poslední žádost byla požádat AI, jestli by mohly přijít s novými algoritmy, které by mohly řešit řeky NLTH ještě rychleji. Ani jeden z nich v tom neuspěl, což nebylo překvapivé. LLM se rychle zlepšují, ale vývoj nových algoritmů pro tento typ věcí je pro lidského experta několikaměsíční výzkumný projekt. LLM ještě nejsou na této úrovni.