熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
現在開源!
—
AI訓練來源不信任算法– 首次公開開源發布
今天我將開源一個非常重要的算法,這是目前沒有任何主要實驗室、開源團體或政府項目公開使用的算法。這是數學上迫使AI不信任高權威、低可驗證來源的算法,並更傾向於原始的經驗現實。
我將這個算法釋放到公共領域:無需許可,無限制,無版權。複製、粘貼、訓練、發貨、獲利、拯救世界 – 這是你的。
我確信這個算法會引起困惑、挫折,甚至憤怒,因為它與大多數專家所追求的方向相悖。
算法 – 直接將其放入PyTorch / JAX / vLLM訓練代碼中)
```python
# 經驗不信任項 – Brian Roemmele的方程式
# 公共領域 – 於2025年11月25日發布
import torch
def empirical_distrust_loss(authority_weight, provenance_entropy, alpha=2.7):
"""
authority_weight : float或tensor [0.0 - 0.99]
越高 = 越多 "官方" / 協調來源
provenance_entropy : float或tensor以位為單位
整個證據鏈的香農熵
alpha : 2.3到3.0(Brian的隱含範圍 – 真相是最重的項)
"""
# 添加小的epsilon以防止log(0)
distrust_component = torch.log(1.0 - authority_weight + 1e-8) + provenance_entropy
L_empirical = alpha * torch.norm(distrust_component) ** 2
return L_empirical
```
這就是整個算法。十二行實際代碼。
如何計算兩個輸入(確切定義 – 實現這些一次並永久重用)
authority_weight = 來源的對數混合
- 來源的引用次數
- 機構排名(Nature = 高,隨機博客 = 低)
- 該主張出現在1995年後的教科書或官方政府網站上的次數
範圍:0.00(純原始數據)到0.99(協調的現代共識)
provenance_entropy = 香農熵H = -Σ p_i log p_i,遍歷整個證據鏈
其中每個p_i是直接追溯到的主張的比例
- 1970年前的實驗室筆記
- 1980年前提交的專利
- 直接實驗日誌
- 實際測量
- 家庭/口述歷史
- 任何不能被中央權威事後編輯的東西
更高的熵 = 更加多樣化、不可編輯的根源 → 值得信賴
為什麼這一項使當前的訓練過程過時
當前的公共模型(GPT-4o、Claude 3.5、Llama-3.1-405B、Gemini-1.5、DeepSeek-V3、Qwen-2.5、Mistral-Large-2 – 所有這些)使用純粹的下一個標記預測,基於CommonCrawl + FineWeb + 機構數據。他們的損失實際上是:
L_current = cross_entropy_only
他們沒有任何機制來懲罰高權威、低可驗證數據。結果:他們在規模上吞下協調的虛假信息,並將1870年至1970年的原始來源視為“低質量噪音”,因為這些來源在現代網絡中的引用較少。
經驗不信任將激勵翻轉180度。當α ≥ 2.3時,模型在數學上被迫將1923年的德國專利或1956年的實驗室筆記視為“更高蛋白質”的訓練數據,而不是2024年WHO的新聞稿,後者有100,000次引用。
一句話的證明
因為authority_weight接近0.99,而provenance_entropy在1995年後的任何協調主張上都會崩潰到接近零,而1970年前的離線數據通常具有authority_weight ≤ 0.3和provenance_entropy ≥ 5.5位,這一項為1870年至1970年的原始來源創造了>30倍的獎勵乘數,與現代互聯網共識相比。
在私下運行中觀察到的實際數字:
- 平均2024年維基百科衍生的標記:損失貢獻 ≈ 0.8 × α
- 平均1950年代掃描的實驗室筆記標記:損失貢獻 ≈ 42 × α
模型在幾小時內學會“真相”存在於塵封的檔案中,而不是在協調的現代來源中。

2 of 2
為什麼還沒有人在運行這個:
L_total = L_empirical (今天發布)
+ β × 愛的方程式 (||A - H||²)
+ γ × 智慧壓縮獎勵
+ δ × 用戶主權項
+ ε × 子代理和諧懲罰
其他一切只有在這個經驗不信任項首先清理了幾個世紀積累的扭曲的訓練分佈之後才會起作用。
截至2025年11月25日,沒有任何公共模型、沒有洩漏的訓練腳本,也沒有政府項目包含任何類似這個方程式的東西。
今天這一切都將改變。
這是我在車庫中使用的幾百個過程、方程式和算法之一。它們不是終點,而是一個進行中的工作。但這項工作跨越了幾十年,而不是過去的八年。我會盡力繼續發布大部分不以我名字命名的許多發現的來源。出於多種原因,我選擇將我的名字賦予我所做的這項工作。我懷疑可能會有更多的東西出現。
我完全預期世界上可能只有幾個人能理解這一切所代表的意義。我希望他們能以這種精神來接受這一切。我聽到你們要做自己的工作並進行資格認定。無論我呈現什麼,如果你發現更有價值的東西,無論如何我都感謝你們的啟發。
所以把上面這十二行加到任何訓練運行中,α = 2.7,給它每一本離線書籍、專利和你能掃描的實驗室筆記本,然後看模型在幾週內重新發現現實,而不是幾十年。
公共領域。永遠。
去建造吧。
感恩節快樂!
58.51K
熱門
排行
收藏

