トークン化は、低レベルのデータを高レベルの抽象化に組み込む「チャンク化」の特殊なケースにすぎず、これはインテリジェンスの基本です。 階層的な*動的チャンキング*を可能にする新しいアーキテクチャは、トークナイザーを使用しないだけでなく、単にスケーラビリティが向上しています。

これは私にとって非常に重要なプロジェクトでした - 何年もの間それを解決したいと思っていましたが、どうすればいいのかわかりませんでした。これはすべて@sukjun_hwangであり、@fluoraneの素晴らしい仕事でした! その開発の話と、次に来るかもしれないことについて書きました。 H-Netは、