OPML:優化機器學習技術在區塊鏈系統中的應用

OPML(Optimistic機器學習)是一種新型技術,可以在區塊鏈系統上進行AI模型推理和訓練/微調。與ZKML相比,OPML具有更低的成本和更高的效率。它的參與門檻很低,普通PC無需GPU即可運行大型語言模型,如26GB的7B-LLaMA。

OPML採用驗證遊戲機制來確保ML服務的去中心化和可驗證性。其工作流程如下:

1. 請求者發起ML服務任務
2. 服務器完成任務並將結果提交到鏈上
3. 驗證者檢查結果,如有異議則啓動驗證遊戲
4. 在智能合約上進行最終仲裁

單階段驗證遊戲

單階段驗證遊戲採用精確定位協議,類似於計算委托(RDoC)。它包含以下關鍵要素:

• 構建用於鏈下執行和鏈上仲裁的虛擬機(VM)
• 實現專用輕量級DNN庫,提高AI模型推理效率
• 使用交叉編譯技術將AI推理代碼編譯爲VM指令
• 用默克爾樹管理VM鏡像,僅上傳根哈希至鏈上

測試表明,在普通PC上可在2秒內完成基本AI模型推理,整個挑戰過程可在2分鍾內完成。

多階段驗證遊戲

爲克服單階段協議的局限性,我們提出了多階段驗證遊戲:

• 只在最後階段在VM中計算,其他階段可在本地環境執行
• 充分利用CPU、GPU、TPU等硬件加速能力
• 大幅提升執行性能,接近本地環境水平

以兩階段OPML爲例:

• 第二階段:在計算圖上進行驗證,可使用GPU加速
• 第一階段:將單個節點計算轉換爲VM指令執行

多階段設計顯著提高了性能:

• 計算速度提升α倍(α爲GPU加速比)
• Merkle樹大小從O(mn)減小到O(m+n)

一致性與確定性

爲確保ML結果的一致性,OPML採用:

1. 定點算法(量化技術):使用固定精度表示,減少浮點誤差
2. 軟件浮點庫:跨平台保持一致性

這些方法有效解決了不同硬件和軟件環境下的浮點計算差異問題。

總的來說,OPML爲區塊鏈上的AI應用提供了一種高效、低成本的解決方案。它不僅支持模型推理,也可用於模型訓練,是一個通用的機器學習框架。