Vietin vibekoodin avoimen lähdekoodin pokerijoen ratkaisijan lomalomalla. Koodi on 100 % Codexin kirjoittama, ja tein myös version Claude Codella vertailun vuoksi. Kaiken kaikkiaan nämä työkalut mahdollistivat minulle paljon nopeamman iteroinnin alalla, jonka tunnen hyvin. Mutta tunsin myös, etten voinut täysin luottaa heihin. He tekivät virheitä ja kohtasivat bugeja, mutta sen sijaan, että myöntäisivät sen, he usein ajattelivat, ettei se ollut iso juttu tai yrittivät toisinaan suoraan gaslightata minua uskomaan, ettei mitään ole vialla. Eräässä mieleenpainuvassa debuggaussessiossa Claude Coden kanssa kysyin, järkevyyden tarkistuksena, mikä olisi odotettu arvo "aina luovuta"-strategialle, kun pelaajalla on 100 dollaria potissa. Se kertoi minulle, että algoritmin mukaan sähköauton hinta oli -93 dollaria. Kun huomautin, kuinka outoa se oli, toivoen että se itse huomaisi bugin, se rauhoitteli minua, että 93 dollaria oli lähellä 100 dollaria, joten se oli todennäköisesti kunnossa. (Kun pyysin sitä ottamaan estolääkkeet huomioon mahdollisena ongelmana, se myönsi, ettei algoritmi todellakaan ottanut niitä huomioon oikein.) Codex ei ollut tässä paljon parempi, ja se törmäsi omaan (mielenkiintoiseen) joukkoonsa erillisiä bugeja ja algoritmisia virheitä, jotka jouduin huolellisesti käsittelemään. Onneksi pystyin käsittelemään näitä, koska olen pokerinratkaisijoiden asiantuntija, mutta en usko, että moni muu olisi onnistunut tekemään tämän ratkaisijan käyttämällä tekoälykoodaustyökaluja. Turhauttavin kokemus oli käyttöliittymän tekeminen. Kymmenen edestakaisen keskustelun jälkeen kumpikaan Codex tai Claude Code ei onnistunut tekemään pyytämääni frontendiä, vaikka Claude Code oli ainakin kauniimpi. Olen kokematon frontendissä, joten ehkä se, mitä pyysin, ei yksinkertaisesti ollut mahdollista, mutta jos näin oli, toivoisin, että he olisivat *kertoneet* minulle, että se on vaikeaa tai mahdotonta sen sijaan, että tekisivät toistuvasti rikkinäisiä toteutuksia tai asioita, joita en pyytänyt. Se korosti minulle, kuinka on edelleen suuri ero työskennellä ihmistiimikaverin kanssa ja tekoälyn kanssa. Kun alkuperäiset toteutukset oli saatu valmiiksi ja virheenkorjattu, pyysin Codexia ja Claude Codea luomaan optimoidut C++-versiot. Tässä Codex pärjäsi yllättävän hyvin. Sen C++-versio oli 6 kertaa nopeampi kuin Claude Code'n (vaikka kehotuksia tehtiin useaan kertaan lisäoptimoinneihin). Codexin optimoinnit eivät vieläkään olleet yhtä hyviä kuin mitä pystyin tekemään, mutta toisaalta vietin kuusi vuotta tohtorintutkintoa pokeribottien parissa. Kaiken kaikkiaan mielestäni Codex teki tässä vaikuttavan työn. Viimeinen pyyntöni oli kysyä tekoälyiltä, voisivatko he kehittää uusia algoritmeja, jotka voisivat ratkaista NLTH-jokia vielä nopeammin. Kumpikaan ei onnistunut tässä, mikä ei ollut yllättävää. LLM:t paranevat nopeasti, mutta uusien algoritmien kehittäminen tällaiseen on ihmisasiantuntijalle kuukausien mittainen tutkimusprojekti. LLM:t eivät ole vielä sillä tasolla.