wielu czołowych badaczy zaczyna twierdzić, że sama skalowalność nie doprowadzi nas do AGI i że ostatecznie będziemy potrzebować przełomu badawczego podobnego do stworzenia transformatorów. Niedawno miałem okazję porozmawiać z Johnem Hennessy (przewodniczącym Alphabet) i zapytałem go, czy obecny trend skalowania to tylko kolejna tymczasowa faza, czy też paradygmat sam w sobie. Powiedział, że są dwa kluczowe pytania: czy skalowanie nadal przyniesie postępy w zdolności budowania systemów AI do skomplikowanego rozumowania. Jak dotąd nie widzieliśmy zatrzymania w tym zakresie, więc odpowiedź nie jest jednoznacznie tak, ale prawdopodobnie. Drugie pytanie brzmi, czy skalowanie pozostanie opłacalne, a jego odpowiedź na to brzmiała nie. Użytecznym wskaźnikiem do analizy jest wydajność na wat, a ta krzywa zaczyna się spłaszczać. Uważam, że staje się coraz bardziej oczywiste, że nawet jeśli skalowanie nadal poprawia możliwości modeli, prawdziwym wąskim gardłem może nie być malejące zwroty, ale koszt energii potrzebny do osiągnięcia systemów na poziomie AGI i ASI. Płaskowyż nie pojawia się w surowej wydajności, pojawia się w wydajności na wat. Problem ASI ostatecznie sprowadza się do problemu energetycznego. Kardaszew.