先週、コンピュータサイエンス専攻のニューラルネットワークのコースを始めました。私の計画は、初期の古典(マッカロック–ピッツ、ローゼンブラット)から、すべての画期的な論文をめぐる展開を経て、『Attention Is All You Need』へと進むことです。私たちは、概念の詳細な数学的分析、多くの数値実験、そして定義したすべての概念に対する実践的な経験を通じて理解を深めています。 ネットワークの重みをいじり、コア原則を内面化し、純粋に実験するだけでこんなに楽しいとは思っていませんでした。実験の最初の1ヶ月分の最初のノートとアプリの一括りはすでに作り終えています。 ご提案やアイデアは大歓迎です。私のノートは皆さんに公開しておくので、間違いや見落としている明らかなポイントがないか気になります。