プレプレトレーニングはついに採用されつつあります。ハッターはきっと喜んでいるに違いない。
Seungwook Han
Seungwook Han3月12日 22:26
言語モデルは、言語を見たことがないまま有用な事前学習はできるのでしょうか? 私たちはニューラルセルラーオートマトン上でトランスフォーマーを事前学習します — 完全に合成的で言語ゼロです。これにより言語モデリングが最大6%向上し、収束が40%加速し、下流の推論力が強化されます。 驚くことに、ナチュラルテキストの事前学習よりも優れています! ブログ: (1/n)
私は(ある程度)これを予想していました 大手ラボが採用してくれることをまだ期待しています
39