Этот парень просто крутой плюс. Он встроил интерпретатор WebAssembly (WASM) в веса модели Transformer жестко закодированным способом, и это без потерь (losslessly). Это эквивалентно тому, что внутри LLM работает настоящая компьютерная машина. Эта машина может фактически выполнять вычисления (run computations), а не просто выдавать результаты вычислений, как это делают большинство современных моделей, полагаясь на вывод. Эта идея немного похожа на dsp-чипы от TI, где arm отвечает за логическое мышление, а dsp специально предназначен для высокоскоростных вычислений. Каждый выполняет свою роль. Так что, если провести аналогию, проблема, когда LLM не может точно определить, какое число больше: 3.11 или 3.8, может быть решена с помощью построения гибридной архитектуры (hybrid architectures): 1. Нейронные сети отвечают за вывод и понимание (reasoning) 2. Встроенный интерпретатор / вычислительный движок отвечает за высокоточные вычисления Таким образом, можно одновременно учитывать интеллектуальные способности вывода и точность детерминированных вычислений. Это очень полезно для численных вычислений, физического моделирования, финансового моделирования и криптографических операций.