Jeg var en av de 16 utviklerne i denne studien. Jeg ønsket å snakke om mine meninger om årsakene og avbøtende strategier for utviklingsforsinkelser. Jeg vil si som en "hvorfor høre på deg?" krok at jeg opplevde en -38 % AI-hastighet på mine tildelte problemer. Jeg tror åpenhet hjelper samfunnet.

For det første tror jeg AI-hastighet er veldig svakt korrelert med noens evner som utvikler. Alle utviklerne i denne studien er veldig gode. Jeg tror det har mer å gjøre med å falle inn i feilmoduser, både i LLMs evne og menneskets arbeidsflyt. Jeg jobber med massevis av fantastiske forhåndsopplæringsutviklere, og jeg tror folk står overfor mange av de samme problemene. Vi liker å si at LLM-er er verktøy, men behandler dem mer som en magisk kule. Bokstavelig talt enhver utvikler kan bekrefte tilfredsstillelsen av å endelig feilsøke et vanskelig problem. LLM-er er en stor dopamin-snarveisknapp som kan løse problemet ditt. Fortsetter du å trykke på knappen som har 1 % sjanse for å fikse alt? Det er mye morsommere enn det utmattende alternativet, i hvert fall for meg.

Jeg tror tilfeller av LLM-overforbruk kan skje fordi det er enkelt å optimalisere for opplevd nytelse i stedet for tid til løsning mens du jobber. Jeg trykker på tabulatortasten i markøren i 5 timer i stedet for å feilsøke i 1:

For det tredje er det superlett å bli distrahert i nedetiden mens LLM-er genererer. Oppmerksomhetsøkonomien på sosiale medier er brutal, og jeg tror folk bruker 30 minutter på å bla mens de "venter" på sin 30-sekunders generasjon. Alt jeg kan si om denne er at vi bør kjenne våre egne fallgruver og prøve å fylle denne LLM-generasjonstiden produktivt: - Hvis oppgaven krever høyt fokus, bruk denne tiden enten på å jobbe med en deloppgave eller tenke på oppfølgingsspørsmål. Selv om modellen tar et bilde av spørsmålet ditt, hva annet forstår jeg ikke? - Hvis oppgaven krever lite fokus, gjør en annen liten oppgave i mellomtiden (svar på e-post/slack, les eller rediger et annet avsnitt osv.). Som alltid hjelper små digitale hygienetrinn med dette (nettstedsblokkere, telefon på dnd, etc). Beklager å være en grampy, men det fungerer for meg :)

Noen avsluttende uttalelser: - METR er en fantastisk organisasjon å jobbe med, og de er sterke forskere. Jeg har elsket både å delta i denne studien og lese resultatene deres. - Jeg er ikke en LLM-guru som prøver å forkynne. Tenk på dette som at jeg publiserer en personlig dagbokoppføring, og håper at andre kan dra nytte av min introspeksjon.