許多頂尖研究者開始爭辯,僅僅擴展無法讓我們達到AGI,最終我們需要一個重大的研究突破,類似於變壓器的創造。 我最近有機會與約翰·亨內西(Alphabet的主席)交談,我問他目前的擴展趨勢是否只是另一個暫時階段,還是本身就是一種範式。 他說有兩個關鍵問題: 擴展是否會繼續在構建能夠進行複雜推理的AI系統方面帶來進展。到目前為止,我們尚未看到這方面的停滯,因此答案並不明確是,但可能是。 第二個問題是擴展是否會保持成本效益,他的回答是否定的。一個有用的指標是每瓦特的性能,而那條曲線開始趨於平坦。 我相信,越來越明顯的是,即使擴展繼續改善模型能力,真正的瓶頸可能不是收益遞減,而是達到AGI和ASI級系統所需的能源成本。 這個平臺並不是在原始性能上出現,而是在每瓦特的性能上出現。ASI問題最終歸結為一個能源問題。這就是卡達雪夫。