OPML:採用樂觀方法的機器學習

OPML(樂觀機器學習)是一種新型區塊鏈AI技術,它利用樂觀方法來進行AI模型的推理和訓練。與ZKML相比,OPML具有成本低、效率高的優勢。OPML的應用門檻很低,普通PC無需GPU即可運行大型語言模型,如26GB大小的7B-LLaMA模型。

OPML採用驗證遊戲機制來確保ML服務的去中心化和可驗證共識。其工作流程如下:

1. 發起方提出ML服務任務
2. 服務器完成任務並將結果上鏈
3. 驗證者檢查結果,如有異議則啓動驗證遊戲
4. 通過智能合約進行單步仲裁

單階段驗證遊戲

單階段驗證遊戲借鑑了計算委托(RDoC)的原理,假設多方執行相同程序,然後通過精確質疑來定位爭議步驟,最後由鏈上智能合約仲裁。

OPML的單階段驗證遊戲包含以下要素:

• 構建鏈下執行和鏈上仲裁的虛擬機(VM)
• 實現輕量級DNN庫以提高AI推理效率
• 使用交叉編譯將AI模型代碼編譯爲VM指令
• 採用默克爾樹管理VM鏡像,只上傳根哈希到鏈上

在測試中,一個基本的MNIST分類DNN模型在PC上可在2秒內完成推理,整個挑戰過程約2分鍾。

多階段驗證遊戲

單階段驗證遊戲的局限在於所有計算必須在VM內執行,無法利用GPU/TPU加速。爲此,OPML提出了多階段協議擴展:

• 僅最後階段在VM中計算
• 其他階段可在本地環境執行,利用CPU、GPU等硬件加速
• 通過減少VM依賴,顯著提高執行性能

多階段OPML以LLaMA模型爲例,採用兩階段方法:

1. 第二階段在計算圖上進行驗證博弈,可利用多線程CPU或GPU
2. 第一階段將單個節點計算轉換爲VM指令

當計算圖中單節點計算仍復雜時,可引入更多階段以進一步提高效率。

性能改進

分析表明,兩階段OPML相比單階段可實現α倍加速,α代表GPU或並行計算的加速比。此外,兩階段OPML的默克爾樹大小爲O(m+n),遠小於單階段的O(mn)。

一致性與確定性

爲確保ML結果一致性,OPML採取兩種方法:

1. 使用定點算法(量化技術)減少浮點舍入誤差
2. 採用跨平台一致的軟件浮點庫

這些技術有助於克服浮點變量和平台差異帶來的挑戰,增強OPML計算的可靠性。

OPML vs ZKML

OPML目前主要聚焦於ML模型推理,但框架也支持訓練過程。OPML項目仍在開發中,歡迎感興趣的人士加入貢獻。