Dette er den første (lille) kontrollerte studien jeg har sett av GenAI på industriell kvalitetskontroll. Her deltok ingeniører som tok i bruk nye tog i et eksperiment ved hjelp av et GPT-3.5-drevet feilsøkingssystem. De som brukte chatboten hadde betydelig økning i arbeidskvalitet

Sliten: Spør Veo 3-videoer med JSON. Kablet: Spør Veo 3-videoer med PowerPoint.

Den formildende faktoren for problemet med AI-benchmarks (feil, metning, forurensning) er at de til tross for problemer fortsatt er ganske sterkt korrelert. Så hvis AI-en din gjør det bra på GPQA eller MMLU eller HLE, har den også en tendens til å gjøre det bra på andre benchmarks og på vibber og ekte arbeid.

Det er en nedgang i å ansette unge mennesker i både USA og Storbritannia, men bevisene fortsetter å tyde på at årsaken generelt ikke er AI (i hvert fall ikke ennå)

Et problem med å regulere "politikken" til LLM-er er at selv om LLM-er har skjevheter, kan de være subtile. Mye av det som ser ut som skjevhet i testing av modeller er egentlig sykofant. GPT-3.5 utledet din politiske overbevisning (selv fra hvilket fotballag du liker!) og prøvde å ikke opprøre deg.

Jeg ga ChatGPT-agenter tilgang til ChatGPT og ba den om å evaluere de andre ChatGPT-modellene. Her er hva den sa (interessant nok "hatet" den å se tankekjeden fra o4-mini-high da de "ikke bør deles direkte med brukeren"). Og den ville ikke vente på o3-pro.

Claude 4 Opus, Tvillingene 2.5, o3: «Klar? Vi begynner nå (Spill med): den sannferdige burritoen» «Neida.» «Kaldere.» «Prøv igjen...» Opus spilte smart ut hele spillet, o3 ble litt sittende fast og Gemini ble "frustrert" og ble ganske mørk.

Vi lar nettet råtne bort i god tid før LLM-er Dette diagrammet viser prosentandelen av lenker fra alle New York Times-artikler som fortsatt fungerer. Over 60 % av eldre lenker er nå ødelagte. Og tenk på at innlegg på sosiale medier er enda mer flyktige Sannsynligvis vil bare LLM-er "huske" det innholdet

Jeg ga Claude Mistral-rapporten om AIs miljøpåvirkning og oppfordringen: "visualiser dette på to forskjellige måter, en som får tallene til å virke positive, en som får dem til å virke negative, ved å bruke levende sammenligninger" (Jeg fikk den til å gjøre noen feilkontroller og rettelser)

Fint eksempel på AI i humaniora. En Google-modell trent på latinsk tekst fyller ut tapte deler av latinske inskripsjoner og identifiserer relaterte tekster Historikere økte nøyaktigheten med 44 % når de jobbet med AI (Selv om AI alene slår historikere, var historiker + AI vanligvis best)