代币化只是“分块”的一种特殊情况——将低级数据构建为高级抽象——这反过来又是智能的基础。 我们的新架构,能够实现分层的*动态分块*,不仅不需要分词器,而且扩展性更好。
Sukjun (June) Hwang
Sukjun (June) Hwang7月12日 00:06
标记化一直是实现真正端到端语言模型的最后障碍。 我们开发了H-Net:一个分层网络,它在模型内部用动态分块过程替代了标记化,自动发现并处理有意义的数据单元。
这个项目对我来说非常重要——我想解决这个问题已经很多年了,但一直不知道该怎么做。这都是@sukjun_hwang和@fluorane的精彩工作! 我写了关于它发展的故事,以及接下来可能会发生的事情。 H-Net:
194.7K