言語モデルは、言語を見たことがないまま有用な事前学習はできるのでしょうか? 私たちはニューラルセルラーオートマトン上でトランスフォーマーを事前学習します — 完全に合成的で言語ゼロです。これにより言語モデリングが最大6%向上し、収束が40%加速し、下流の推論力が強化されます。 驚くことに、ナチュラルテキストの事前学習よりも優れています! ブログ: (1/n)