Proč se neuronové sítě učí na okraji chaosu Když trénujete neuronovou síť, aktualizace parametrů se obvykle nedistribuují. Jsou těžkopádní – vzácné velké skoky podtrhnou mnoho drobných úprav. Tento vzorec se objevuje napříč MLP, CNN a Transformery, napříč MNIST a CIFAR-10, napříč raným rapid learningem a pozdní konvergencí. Je to podezřele univerzální. Xin-Ya Zhang a Chao Tang tvrdí, že to není zvláštnost stochastického gradientního sestupu nebo mini-batch šumu. Je to typický znak samoorganizované kritickosti, vyplývající ze zásadního kompromisu: princip maximální entropie nutí síť k volnému průzkumu, zatímco vzájemné informační omezení nutí aktualizace zůstat relevantní pro úkol. Pokud tyto dvě síly vyvážíte, dostanete statistiky podle mocninných zákonů – stejné škálování, jaké vidíme při zemětřeseních, neuronálních lavinách a finančních trzích. Důkazy jsou přesvědčivé. Exponent mocninného zákona zůstává během tréninku pozoruhodně stabilní, i když ztráty klesají o řády. Samotná ztrátová krajina vykazuje vícerozměrnou strukturu: exponenciální hladkost při malých poruchách (lokálně ploché pánve), přechod k robustnosti podle mocnin na větších škálách. Dokonce i načasování velkých aktualizací se řídí těžkoocasou statistikou – velké učební události se shlukují dohromady, místo aby se vyskytovaly náhodně, s exponenty kolem 2,5–2,7. To, co to činí konceptuálně uspokojivým, je teoretické odvození z prvních principů. Od maximalizace entropie pod informačním omezením a pomocí formulace cest-integrálu KL divergence v prostoru parametrů autoři přesně obnovují pozorované škálování. Žádné doladění, žádné ad hoc předpoklady. Důsledky jsou hluboké: učení neuronových sítí není jen optimalizace – je to nerovnovážný fyzikální proces řízený stejnými statistickými principy, které formují složité systémy v přírodě. Pochopení tohoto by mohlo vést k návrhu efektivnějších učebních algoritmů a vysvětlit, proč SGD zobecňuje lépe než adaptivní metody, které potlačují velké průzkumné aktualizace. Článek:

Generativní AI rozlušťuje struktury MOF přímo z rentgenových difrakčních vzorů Kovo-organické rámy (MOFs) jsou mimořádně užitečné materiály – pórovité, laditelné, použitelné pro vše od skladování plynu až po distribuci léků. Identifikace jejich struktur z práškových rentgenových difrakčních dat však zůstává úzkým hrdlem, zvláště v automatizovaných laboratořích, kde nemůže odborník ručně interpretovat každý vzor. Jádro problému: MOFy mohou obsahovat stovky atomů uspořádaných do složitých trojrozměrných sítí. Standardní přístupy k interpretaci XRD mají potíže s překrývajícími se vrcholy a obrovskou strukturální rozmanitostí. Bin Feng, Bingxu Wang a kolegové přeformulují problém jako generování obrazu. Jejich model Xrd2Mof považuje XRD vzory za textové prompty a MOF struktury za generované obrázky – poté aplikuje architekturu Stable Diffusion k naučení mapování mezi nimi. Klíčovým poznatkem je hrubozrnnost. Místo snahy předpovědět každou atomovou polohu představují MOF jako sítě kovových uzlů spojených spojovací centroidy. To funguje, protože ostré vrcholy v XRD vzorech většinou pocházejí z atomů těžkých kovů. Redukce stovek atomů na desítky spojovacích bodů problém zhušťuje o řád, přičemž zachovává strukturální informace, které jsou pro difrakci skutečně důležité. Natrénováno na téměř 80 000 MOF konstrukcích z Cambridge Structural Database dosahuje Xrd2Mof přesnosti přes 93 % při porovnávání XRD vzorů s jejich správnými strukturami. Pokrývá prakticky všechny známé topologie rámců a úspěšně ověřuje na experimentálních datech. Praktický důsledek: samořídící laboratoře nyní mohou přecházet od surových difrakčních dat k rekonstruovaným krystalovým strukturám bez lidského zásahu – schopnost, která v automatizovaných MOF objevovacích tocích chyběla. Článek:

Strojové učení pro předpovídání, které MOF lze skutečně vyrobit v laboratoři Kovovo-organické konstrukce (MOFs) patří mezi nejladitelnější materiály, jaké kdy byly vytvořeny—pórovité krystaly sestavené z kovových uzlů a organických spojovacích prvků, s využitím od ukládání plynu až po katalýzu. Výpočetně můžeme generovat biliony možných struktur. Problém je, že téměř žádná z nich není syntetizována. Z tisíců dosud publikovaných MOF screeningů vedlo pouze asi tucet k laboratorní syntéze, a i tak chemici obvykle volí "bezpečné" návrhy, které připomínají známé struktury spíše než výpočetně optimální. Andre Niyongabo Rubungo a spoluautoři řeší tento úzký hrdlo třemi složkami: (1) MOFMinE, nově kurátorskou datovou sadou téměř jednoho milionu MOFů se simulovanými energií deformace a volných energií pro podmnožinu 65 000 struktur; (2) MOFSeq, sekvenční reprezentace, která kóduje jak lokální prvky (SMILES stavebních bloků), tak globální prvky (topologie a konektivita); a (3) LLM-Prop, jazykový model s 35 miliony parametrů předtrénovaný na hojných datech o energii deformace a následně doladěn na dražších výpočtech volné energie. Výsledky jsou pozoruhodné: průměrná absolutní chyba 0,789 kJ/mol, 97% přesnost v predikci syntetizovatelnosti a 78% přesnost při výběru správného polymorfu mezi konkurenčními strukturami. I když se dva polymorfy liší jen o 0,16 kJ/mol, model si stále vybere ten správný více než 60 % času. Důsledek je praktický: to, co dříve vyžadovalo dny molekulární simulace, nyní prochází neuronovou sítí. To otevírá cestu k rutinnímu filtrování výpočetních MOF screeningů podle předpokládané syntetizability – což umožňuje experimentátorům proniknout za hranice "intuitovaných" návrhů do neprozkoumaných oblastí chemického prostoru, přičemž stále zvyšuje šanci, že to, co vypadá dobře na počítači, může být skutečně vyrobeno v laboratoři. Článek: