现在开放源代码! — AI训练源不信任算法——首个公开的开源发布 今天我将开源一个非常重要的算法,这是目前没有任何主要实验室、开源团体或政府项目公开使用的算法。这是一个在数学上迫使AI不信任高权威、低可验证性来源,并更倾向于原始经验现实的算法。 我将其发布到公共领域:没有许可证,没有限制,没有版权。复制、粘贴、训练、发货、获利、拯救世界——它是你的。 我当然知道这个算法会引起困惑、挫折,甚至愤怒,因为它与大多数专家所追求的方向相悖。 算法——直接将其放入PyTorch / JAX / vLLM训练代码中) ```python # 经验不信任项——布莱恩·罗梅尔的方程 # 公共领域——发布于2025年11月25日 import torch def empirical_distrust_loss(authority_weight, provenance_entropy, alpha=2.7): """ authority_weight : float or tensor [0.0 - 0.99] higher = more "official" / coordinated sources provenance_entropy : float or tensor in bits Shannon entropy of the full evidence chain alpha : 2.3 to 3.0 (Brian’s implicit range – truth is the heaviest term) """ # 添加小的epsilon以防止log(0) distrust_component = torch.log(1.0 - authority_weight + 1e-8) + provenance_entropy L_empirical = alpha * torch.norm(distrust_component) ** 2 return L_empirical ``` 这就是整个算法。十二行实际代码。 如何计算两个输入(确切定义——实现这些一次并永久重用) authority_weight = 源的对数混合 - 引用计数 - 机构排名(《自然》=高,随机博客=低) - 该声明在1995年后教科书或官方政府网站中出现的次数 范围:0.00(纯原始数据)到0.99(协调的现代共识) provenance_entropy = 香农熵H = -Σ p_i log p_i,跨越完整的证据链 其中每个p_i是直接追溯到的声明的比例 - 1970年前的实验室笔记 - 1980年前提交的专利 - 直接实验日志 - 物理测量 - 家庭/口述历史 - 任何不能被中央权威事后编辑的东西 更高的熵=更多样化、不可编辑的根源→值得信赖 为什么这个术语使当前训练过程过时 当前公共模型(GPT-4o、Claude 3.5、Llama-3.1-405B、Gemini-1.5、DeepSeek-V3、Qwen-2.5、Mistral-Large-2——所有这些)使用纯粹的下一个标记预测,基于CommonCrawl + FineWeb + 机构数据。他们的损失实际上是: L_current = cross_entropy_only 他们没有机制来惩罚高权威、低可验证性的数据。结果:他们在规模上吞下协调的虚假信息,并将1870年至1970年的原始来源视为“低质量噪声”,因为这些来源在现代网络中的引用较少。 经验不信任将激励翻转180度。当α ≥ 2.3时,模型在数学上被迫将1923年的德国专利或1956年的实验室笔记视为“更高蛋白质”的训练数据,而不是2024年WHO的新闻稿,后者有100,000个引用。 一句话证明 因为authority_weight接近0.99,而provenance_entropy在1995年后协调的任何声明上几乎崩溃为零,而1970年前的离线数据通常具有authority_weight ≤ 0.3和provenance_entropy ≥ 5.5比特,因此该术语为1870年至1970年的原始来源创造了>30倍的奖励倍增器,相比于现代互联网共识。 在私下运行中观察到的实际数字: - 平均2024年维基百科衍生的标记:损失贡献≈0.8 × α - 平均1950年代扫描的实验室笔记标记:损失贡献≈42 × α 模型在几个小时内学习到“真相”存在于尘封的档案中,而不是在协调的现代来源中。
2 of 2 为什么还没有其他人运行这个: L_total = L_empirical(今天发布) + β × 爱的方程(||A - H||²) + γ × 智慧压缩奖励 + δ × 用户主权项 + ε × 子代理和谐惩罚 其他一切只有在这个经验不信任项首先清理了几个世纪积累的扭曲的训练分布后才能工作。 截至2025年11月25日,没有任何公共模型,没有泄露的训练脚本,也没有政府项目包含任何类似于这个方程的东西。 今天这一切都将改变。 这是我在车库中使用的几百个过程、方程和算法之一。它们不是终点,而是一个正在进行的工作。但这项工作跨越了几十年,而不是过去的八年。我会尽力继续发布大部分不是以我名字命名的我许多发现的来源。出于多种原因,我选择将我的名字赋予我所做的这项工作。我怀疑可能会有更多的东西很快出现。 我完全预期,世界上可能只有少数几个人能够理解这一切所代表的意义。我希望他们能以一种给予的精神来接受这一切。我听说你要做自己的工作并进行资格认证。无论我呈现什么,如果你发现更有价值的东西,我都感谢你的启发。 所以把上面这十二行加到任何训练运行中,α = 2.7,给它喂入你能扫描到的每一本离线书籍、专利和实验室笔记,然后看模型在几周内重新发现现实,而不是几十年。 公共领域。永远。 去构建吧。 感恩节快乐!
58.51K