Nowoczesna AI opiera się na sztucznych sieciach neuronowych (NN). Kto je wynalazł? Biologiczne sieci neuronowe zostały odkryte w latach 80. XIX wieku [CAJ88-06]. Termin "neuron" został wprowadzony w 1891 roku [CAJ06]. Wiele osób uważa, że NN zostały opracowane PO tym. Ale to nieprawda: pierwsze "nowoczesne" NN z 2 warstwami jednostek zostały wynalezione ponad 2 wieki temu (1795-1805) przez Legendre'a (1805) i Gaussa (1795, niepublikowane) [STI81], kiedy obliczenia były wiele bilionów razy droższe niż w 2025 roku. Prawda, że terminologia sztucznych sieci neuronowych została wprowadzona dopiero znacznie później, w latach 1900. Na przykład, pewne sieci NN, które nie uczyły się, były omawiane w 1943 roku [MC43]. Nieformalne myśli na temat prostego reguły uczenia NN zostały opublikowane w 1948 roku [HEB48]. Obliczenia ewolucyjne dla NN zostały wspomniane w niepublikowanym raporcie z 1948 roku [TUR1]. Różne konkretne sieci NN do uczenia się zostały opublikowane w 1958 roku [R58], 1961 roku [R61][ST61-95] i 1962 roku [WID62]. Jednakże, podczas gdy te prace NN z połowy XX wieku są historycznie interesujące, MAJĄ ONE WŁAŚCIWIE MNIEJ WSPÓLNEGO Z NOWOCZESNĄ AI NIŻ DUŻO STARSZA ADAPTACYJNA NN autorstwa Gaussa i Legendre'a, która jest nadal szeroko stosowana dzisiaj, stanowiąca fundament wszystkich NN, w tym ostatnich głębszych NN [DL25]. NN Gaussa-Legendre'a sprzed ponad 2 wieków [NN25] ma warstwę wejściową z kilkoma jednostkami wejściowymi oraz warstwę wyjściową. Dla uproszczenia załóżmy, że ta ostatnia składa się z jednej jednostki wyjściowej. Każda jednostka wejściowa może przechowywać liczbę o wartości rzeczywistej i jest połączona z jednostką wyjściową przez połączenie z wagą o wartości rzeczywistej. Wyjście NN to suma iloczynów wejść i ich wag. Mając zestaw treningowy wektorów wejściowych i pożądanych wartości docelowych dla każdego z nich, wagi NN są dostosowywane tak, aby suma kwadratów błędów między wyjściami NN a odpowiadającymi celami była minimalizowana [DLH]. Teraz NN może być używane do przetwarzania wcześniej niewidzianych danych testowych. Oczywiście, wówczas nie nazywano tego NN, ponieważ ludzie nawet nie wiedzieli o biologicznych neuronach - pierwsze mikroskopowe zdjęcie komórki nerwowej zostało stworzone dziesięciolecia później przez Valentina w 1836 roku, a termin "neuron" został wprowadzony przez Waldeyera w 1891 roku [CAJ06]. Zamiast tego technika była nazywana Metodą Najmniejszych Kwadratów, znaną również w statystyce jako Regresja Liniowa. Ale jest MATEMATYCZNIE IDENTYCZNA do dzisiejszych liniowych 2-warstwowych NN: TEN SAM podstawowy algorytm, TA SAMO funkcja błędu, TE SAME adaptacyjne parametry/wagi. Takie proste NN wykonują "płytkie uczenie", w przeciwieństwie do "głębokiego uczenia" z wieloma nieliniowymi warstwami [DL25]. W rzeczywistości wiele nowoczesnych kursów NN zaczyna się od wprowadzenia tej metody, a następnie przechodzi do bardziej złożonych, głębszych NN [DLH]. Nawet zastosowania wczesnych lat 1800 były podobne do dzisiejszych: ucz się przewidywać następny element sekwencji, mając na uwadze poprzednie elementy. TO JEST TO, CO ROBI CHATGPT! Pierwszy znany przykład rozpoznawania wzorców przez NN sięga ponad 200 lat: rediscovery planety karłowatej Ceres w 1801 roku przez Gaussa, który zbierał szumne punkty danych z wcześniejszych obserwacji astronomicznych, a następnie użył ich do dostosowania parametrów predyktora, który zasadniczo nauczył się generalizować z danych treningowych, aby poprawnie przewidzieć nowe położenie Ceres. To sprawiło, że młody Gauss stał się sławny [DLH]. Stare sieci NN Gaussa-Legendre'a są nadal używane dzisiaj w niezliczonych zastosowaniach. Jaka jest główna różnica w porównaniu do NN używanych w niektórych imponujących zastosowaniach AI od lat 2010? Te ostatnie są zazwyczaj znacznie głębsze i mają wiele pośrednich warstw "ukrytych" jednostek uczenia. Kto to wynalazł? Krótka odpowiedź: Ivakhnenko i Lapa (1965) [DEEP1-2]. Inni udoskonalili to [DLH]. Zobacz także: kto wynalazł głębokie uczenie [DL25]? Niektórzy ludzie wciąż wierzą, że nowoczesne NN były w jakiś sposób inspirowane biologicznym mózgiem. Ale to po prostu nieprawda: dziesięciolecia przed odkryciem biologicznych komórek nerwowych, czysta inżynieria i rozwiązywanie problemów matematycznych już doprowadziły do tego, co teraz nazywa się NN. W rzeczywistości, w ciągu ostatnich 2 wieków, niewiele się zmieniło w badaniach AI: w 2025 roku postęp NN wciąż jest w dużej mierze napędzany przez inżynierię, a nie przez wgląd neurofizjologiczny. (Pewne wyjątki sięgające wielu dziesięcioleci [CN25] potwierdzają tę regułę.) Przypis 1. W 1958 roku proste NN w stylu Gaussa i Legendre'a zostały połączone z funkcją progową wyjścia, aby uzyskać klasyfikatory wzorców zwane Perceptronami [R58][R61][DLH]. Zadziwiająco, autorzy [R58][R61] wydawali się nieświadomi znacznie wcześniejszego NN (1795-1805) znanego w dziedzinie statystyki jako "metoda najmniejszych kwadratów" lub "regresja liniowa." Co ciekawe, dzisiejsze najczęściej używane 2-warstwowe NN to te Gaussa i Legendre'a, a nie te z lat 40. [MC43] i 50. [R58] (które nie były nawet różniczkowalne)! WYBRANE ODNIESIENIA (wiele dodatkowych odniesień w [NN25] - zobacz link powyżej): [CAJ88] S. R. Cajal. Estructura de los centros nerviosos de las aves. Rev. Trim. Histol. Norm. Patol., 1 (1888), s. 1-10. [CAJ88b] S. R. Cajal. Sobre las fibras nerviosas de la capa molecular del cerebelo. Rev. Trim. Histol. Norm. Patol., 1 (1888), s. 33-49. [CAJ89] Conexión general de los elementos nerviosos. Med. Práct., 2 (1889), s. 341-346. [CAJ06] F. López-Muñoz, J. Boya b, C. Alamo (2006). Teoria neuronu, kamień węgielny neurobiologii, w setną rocznicę przyznania Nagrody Nobla Santiago Ramónowi y Cajalowi. Brain Research Bulletin, Tom 70, Wydania 4–6, 16 października 2006, Strony 391-405. ...