Oceňuji upřímnost @Anthropic v jejich nejnovější systémové kartě, ale její obsah mi nedává důvěru, že firma bude při nasazení pokročilých AI modelů jednat odpovědně: -Primárně se spoléhali na interní průzkum, aby zjistili, zda Opus 4.6 překročil jejich práh autonomního UMĚLÉHO VÝZKUMU A 4 (a proto by vyžadoval silnější opatření k uvolnění podle jejich politiky odpovědného škálování). Nešlo ani o externí průzkum nestranné třetí strany, ale o průzkum zaměstnanců Anthropic. -Když 5 z 16 respondentů interního průzkumu původně uvedlo hodnocení, které naznačovalo, že pro uvedení modelu by mohly být potřeba přísnější ochrany, Anthropic se konkrétně obrátil na tyto zaměstnance a požádal je, aby "vyjasnili své názory." Nezmiňují žádné podobné následné dotazy u ostatních respondentů z 11 z 16. V systémové kartě se nediskutuje, jak by to mohlo způsobovat zaujatost ve výsledcích průzkumu. -Důvodem, proč spoléhají na průzkumy, je to, že jejich stávající AI R&D hodnocení jsou přesycená. Někteří by mohli tvrdit, že pokrok v AI je tak rychlý, že je pochopitelné, že zatím nemají pokročilejší kvantitativní hodnocení, ale AI laboratoře můžeme a měli bychom držet na vysoké laťce. Také jiné laboratoře mají pokročilé AI R&D hodnocení, která nejsou přesycená. Například OpenAI má benchmark OPQA, který měří schopnost AI modelů řešit skutečné interní problémy, na které se OpenAI výzkumné týmy setkaly a které jim trvaly více než den. Nemyslím si, že Opus 4.6 je skutečně na úrovni vzdáleného začátečnického výzkumníka AI, a nemyslím si, že je nebezpečné ho vydat. Ale smyslem politiky odpovědného škálování je budovat institucionální sílu a dobré návyky dříve, než se věci stanou vážnějšími. Interní průzkumy, zejména jak je provádí Anthropic, nejsou odpovědnou náhradou za kvantitativní hodnocení.

@Anthropic Systémová karta je zde: