Insinöörin niukoin resurssi on oma aikasi. Eri mallit esiintyvät eri tehtävissä, ja kaikki LLM:t voivat joskus olla epätasaisia, joten luonnollinen tapa säästää aikaa koodauksessa on ajaa sama tehtävä useilla malleilla yhtä aikaa, vertailla tuloksia ja päättää, minkä perusteella haluat työskennellä. Yksi hauskoista sivuvaikutuksista on se, että saamme ehkä luonnollisimman todellisen koodauksen arvioinnin! Kaikki tietävät, kuinka helppoa on tehdä benchmax kiinteässä tehtäväjoukossa; Tämä arviointi on todellinen testi siitä, mitkä mallit toimivat parhaiten kehittäjille heidän päivittäisessä työssään.