Ehdottomasti. Olisi hyödyllistä kehittää arvioita ja arviointikriteerejä, jotka voisivat auttaa malleja omaksumaan oikean näkökulman huolelliseen ja perusteelliseen empiiriseen työhön ilman liioittelua. Tämä voisi olla hyvä projekti alalle

Tässä on todiste siitä, että Claude Code voi kirjoittaa kokonaisen empiirisen valtiotieteellisen artikkelin. Vahvistaakseni väitteeni, että tekoälyagentit tulevat politiikan kimppuun "kuin tavarajuna", pyysin tänään Claude Codea täysin kopioimaan ja laajentamaan vanhaa artikkeliani, jossa arvioin universaalin postiäänestyksen vaikutusta äänestysaktiivisuutta ja vaalituloksia... käytännössä yhdellä iskulla. Huolellisen kehotuksen jälkeen Claude Code: (1) Latasimme vanhan paperin reposition ja kopioimme aiemmat tulokset, kääntäen vanhan Stata-koodimme Pythoniksi (2) Selasin verkkoa saadakseen päivitetyt viralliset vaali- ja väestönlaskentatiedot (3) Suoritti uusia analyysejä, jotka jatkoivat tuloksia vuoteen 2024 asti (4) Luotu uudet taulukot ja kuvat (5) Suoritti kirjallisuuskatsauksen (6) Kirjoitti kokonaan uuden artikkelin (7) Siirsin koko jutun uuteen github-repositioon Koko homma kesti noin tunnin. Tämä on järjetön paradigman muutos siinä, miten empiiristä työtä tehdään. Se myös vahvistaa sen, että useat ihmiset, mukaan lukien @BrendanNyhan, totesivat eilen--- on erityisen helppoa skaalata havaintotutkimusta tekoälyn avulla. Kiitos @alexolegimas, @arthur_spirling ja monille muille, jotka antoivat palautetta. .

xAI haastoi juuri Kalifornian osavaltion oikeuteen uuden tekoälykoulutuksen läpinäkyvyyslain vuoksi, ja poliittinen puolueellisuus on heidän argumenttinsa ydin. Kalifornian lakiesityksessä sanotaan, että julkistaminen auttaa kuluttajia "tunnistamaan ja lieventämään ennakkoluuloja." xAI sanoo: julkaisemme jo poliittisen puolueellisuuden testejä. Tietolähteet eivät kerro mitään puolueellisuudesta – tuloksen arvioinnit kertovat. He ovat periaatteessa oikeassa, mutta nykyinen puolueellisuustestaus ei ole uskottavaa, koska yritykset arvioivat omat kotitehtävänsä. Jos rakentaisimme todellisen arviointiinfrastruktuurin—itsenäisen, standardoidun, tiukan, vastakkainasettelun—se kertoisi kuluttajille paljon enemmän kuin pelkkä LLM, joka on koulutettu "CommonCrawliin ja lisensoiduihin uutisiin". Paremmat testit > pakolliset tiedonannoksia.