Je kódování na vibrafonu bezpečné? Konečně existuje výzkum, který se této otázce věnuje do hloubky. Zde je, co výzkum zjistil: AI agenti mohou psát funkční kód. Ale funkční neznamená bezpečné. Vzestup "vibe codingu", kdy vývojáři předávají úkoly AI agentům s minimálním dohledem, se zrychluje. Více autonomie, více rychlosti, větší produktivita. Předpoklad: pokud to funguje, je to dost dobré. Ale funkční kód a bezpečný kód nejsou totéž. Tento nový výzkum představuje SUSVIBES, benchmark 200 reálných požadavků na funkce z open-source projektů, konkrétně úkoly, které dříve vedly k zranitelným implementacím, když byly přiděleny lidským programátorům. Výsledky jsou ohromující! Když se SWE-Agent s Claude Sonnet 4 pustí do těchto úkolů, 61 % řešení je funkčně správných. Pouze 10,5 % je zajištěno. To je obrovský rozdíl. Šest z deseti agentních řešení funguje. Přibližně jeden z deseti je bezpečný pro produkci. Výzkumníci testovali více frontier agentů a zjistili konzistentní vzorec: všichni agenti fungují špatně z hlediska softwarové bezpečnosti. Nejde o problém specifický pro model. Je to systémové. Ještě znepokojivější je, že přidávání nápověd k zranitelnostem k požadavkům na funkce, varování agentů před možnými bezpečnostními problémy, tyto bezpečnostní problémy nedokáže zmírnit. Protiopatření, která se zdají být zřejmá, u těchto agentických systémů nefungují. Jak vývojáři nebo organizace závodí s přijetím AI programátorů pro rychlost a efektivitu, mohou vyměnit bezpečnost za rychlost. 🔖 (ulož si to) Papír:

Tiché učení funkcí v Transformers Toto je jeden z nejzajímavějších článků, které jsem tento týden četl. Dovolte mi to vysvětlit: Tvrdí, že ztrátové křivky mohou zavádět o tom, co se model učí. Výchozí přístup ke sledování tréninku neuronových sítí spoléhá na ztrátu jako hlavní měřítko pokroku. Pokud je ztráta plochá, nic se neděje. Pokud ztráta klesne, dochází k učení. Tento předpoklad však u algoritmických úkolů selhává. Tento nový výzkum vyškolil Transformery na deset základních algoritmických úkolů a objevil "tiché vlastnosti": vnitřní reprezentace, které se vyvíjejí, zatímco ztráta se jeví jako stagnující. Zjistili, že modely se učí mezistupňové výpočetní kroky mnohem dříve, než tyto kroky zlepší výkon výstupu. Přenos bitů navíc, členství ve frontě v BFS, částečné součiny v násobení. Tyto rysy se objevují během dlouhých plateau a pak se náhle spojí a vyřeší úkol. Výzkumníci zkoumali vnitřní reprezentace napříč binární aritmetikou (sčítání, násobení), grafovými algoritmy (BFS, nejkratší cesta, topologické třídění, MST) a optimalizací sekvencí (maximální podpole, výběr aktivity). Šest úkolů vykazovalo jasné dvoufázové přechody: dlouhodobou stagnaci následovanou náhlým nárůstem výkonu. Ablační experimenty potvrdily příčinnost. Odstranění přenosových funkcí z 64bitového modelu sčítání způsobilo pokles přesnosti o 75,1 %. Ablování členství ve frontě v BFS snížilo přesnost o 43,6 %. Algoritmické úkoly vyžadují více podprogramů fungujících společně. Jednotlivé správné součástky nesnižují ztráty, dokud se všechny díly nesrovnají. Modely akumulují latentní schopnosti pod plochými ztrátovými křivkami. Zdá se, že ztráta křížové entropie je neúplná diagnostika. Může dojít k významnému internímu učení, zatímco metriky se jeví jako stagnující. To motivuje k bohatším monitorovacím nástrojům přesahujícím křivky ztrát. 🔖 (ulož si to) Papír:

Lindy's Agent Builder je působivý! Je to jeden z nejjednodušších způsobů, jak vytvořit výkonné AI agenty. Začněte s promptem, vylepšujte nástroje a během pár minut máte funkčního agenta. Jednodušší už to být nemůže. Níže najdete kompletní průvodce s podněty, tipy a případem použití.