Ik had de kans om een eerste blik op dit paper te werpen. Dit paper is echt geweldig. Ik denk niet dat ik een ander post-AGI economie paper heb gezien dat scherp de gevolgen van toenemende automatisering en de voortdurende relevantie van menselijke intelligentie definieert als de kloof tussen de kosten om te automatiseren en de kosten om te verifiëren. Er zijn twee dingen die me opvielen. De eerste is deze cyclus: > wanneer experts agents superviseren, produceren ze correcties, labels en "hoe-te" kennis. Dat wordt vastgelegd als trainingsdata / tooling wat de kosten om te automatiseren verlaagt. > naarmate automatisering goedkoper wordt, vervangen bedrijven mensen door agents. Dat drukt de behoefte aan mensen, vooral voor instapfuncties. > met minder opgebouwde ervaring heeft de samenleving minder capabele verifiers en wordt verificatie duurder. > nu krijg je de kloof tussen de kosten om te automatiseren en de kosten om te verifiëren die toeneemt, wat betekent dat agents in meer domeinen kunnen opereren dan mensen betrouwbaar kunnen auditen (blinde vlekken). > in die blinde vlekken kunnen mensen geen strakke corrigerende feedback geven. Agents blijven meetbare proxies optimaliseren, en gedrag kan afdrijven van de ware menselijke intentie. De tweede die me opviel is het concept van "liability-as-a-service". Het zegt in wezen dat de inzet van een agent door een leverancier gepaard gaat met een verantwoordelijkheid die inhoudt dat als de agent schade / verliezen / juridische problemen veroorzaakt op gedefinieerde manieren, de leverancier betaalt (tot een limiet). Dus de klant koopt een geïndemniseerd resultaat, niet alleen software. Dit dwingt bedrijven in wezen om het risico van agents die niet in lijn zijn met de gebruiker te internaliseren. Ik vind dit concept van liability-as-a-service erg leuk omdat de hele thesis van ons @eigencloud platform was gebaseerd op slashing en verzekering. Elke service die op @eigencloud wordt ingezet, is bedoeld om gestaked te worden en als de service de gebruiker schaadt, wordt de stake achter de service verlaagd en compenseert de gebruiker op basis van de pre-aankoop van de gebruiker. Ik raad iedereen ten zeerste aan om dit paper te lezen!