De schaarsste hulpbron die je als ingenieur hebt, is je eigen tijd. Verschillende modellen presteren beter bij verschillende taken en alle LLM's kunnen af en toe onbetrouwbaar zijn, dus een natuurlijke manier om jezelf tijd te besparen bij het coderen is om dezelfde taak tegelijkertijd op meerdere modellen uit te voeren en vervolgens de resultaten te vergelijken en te beslissen welke je het liefst gebruikt. Een van de leuke neveneffecten hiervan is dat we misschien de meest natuurlijke evaluatie van coderen in de echte wereld krijgen! Iedereen weet hoe gemakkelijk het is om te benchmaxen op een vaste set taken; deze evaluatie is een echte test van welke modellen het beste werken voor ontwikkelaars in hun dagelijkse werk.