Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Även efter de stora framstegen de senaste tre månaderna kvarstår det att AI:s prestanda är kopplad till uppgiftens bekantskap. I domäner som kan samlas tätt (via programmatisk generering + verifiering) är prestandan i praktiken obegränsad och kommer att fortsätta öka från nuvarande nivåer. I nya, okända områden förblir prestandan låg och vidare framsteg kräver fortfarande nya idéer, inte bara mer data och beräkning.
18 timmar sedan
Okej, jag tror mitt experiment med att låta AI arbeta med saker dygnet runt slutar här. Det fungerar inte. Koden exploderar i komplexitet, resultaten är inte så bra, AI:n kan inte ta sig förbi hårda väggar (den kan fortfarande inte ens *greppa* SupGen), och det är vansinnigt dyrt (spenderat ~1 000 dollar de senaste två dagarna). De bästa resultaten finns på JS-kompilatorn, mest för att den är bekant (jämfört med inets), men inte värd att förlora kontrollen över kodbasen.
Jag tror att drömmen om att ha AI:er som arbetar i bakgrunden och göra verkliga framsteg med viktiga saker (dvs. verkligt nya saker) inte är här än. Det är fortfarande en maskin som fastnat i sin egen träningsdata, oförmögen att tänka utanför boxen. Det är utmärkt för att bygga saker som redan är byggda. Men inte nya saker
Dessutom har kodning oftast den underskattade fördelen att du gör två saker samtidigt: bygger en kodbas *och* lär dig den. AI:er gör bara hälften av det. Den andra halvan är uppenbarligen omöjlig 🤔
För benchmarks som riktar sig mot nya uppgifter är en vanlig form av benchmarkhacking som arbitrerar detta gap att generera ett tätt urval av potentiella uppgifter genom att manuellt parametrisera utrymmet och sedan brute-forcera det. Väldigt dyrt men det fungerar. Det finns lite du kan göra för att återställa benchmark-validiteten här förutom att öka dimensionen i uppgiftsutrymmet.
57
Topp
Rankning
Favoriter