トークン化は、真にエンドツーエンドの言語モデルに対する最後の障壁でした。 私たちは、トークン化をモデル内で直接動的なチャンキングプロセスに置き換える階層型ネットワークであるH-Netを開発しました。これは、意味のあるデータ単位を自動的に検出して操作する階層型ネットワークです

H-Netsにより、モデルがより効率的に、より少ない事前確率と前処理で、あらゆる種類のモダリティで学習できるようになるのを見るのを非常に楽しみにしています。 本作は@cartesia_aiとのコラボレーションでした 10/10