Přečtěte si vynikající Wolframovu knihu "Co dělá ChatGPT..." (h/t @danielrock). Píše, že jsme se hodně naučili o fungování jazyka z faktu, že GPT3, s pouhými 175 miliardami vah, jej dokáže tak dobře napodobit. To znamená, že je výpočetně mnohem jednodušší, než jsme si mysleli. Ale co matematika? V době, kdy to bylo psáno (2023), byl GPT stále velmi špatný v matematice. Modely se staly velmi (velmi) dobrými v matematice, když přišel první model uvažování (o1), který se mnohem více spoléhal na posilované učení než jen na hrubou sílu předtréninku. Zajímalo by mě, co to říká o matematice? Konceptuálně je jazyk mnohem "rozmazanější" než matematika: více slov může znít "správně" na stejném místě ve větě. To je to, co dělá pravděpodobnostní architekturu LLM funkční. Matematika je méně nejasná. Možná proto byl zásadnější krok v reálném životě založený na pravidlech. To ale také naznačuje, že formální matematika je výpočetně méně složitá, než jsme si mysleli. Myšlenky? @littmath @alz_zyd_