OPML:楽観的なアプローチによる機械学習

OPML(楽観的機械学習)は、新しいタイプのブロックチェーンAI技術で、楽観的手法を利用してAIモデルの推論と訓練を行います。ZKMLと比較して、OPMLはコストが低く、効率が高い利点があります。OPMLのアプリケーションのハードルは非常に低く、普通のPCはGPUなしで大型言語モデル、例えば26GBの7B-LLaMAモデルを実行できます。

! OPML:楽観的ロールアップによる機械学習

OPMLは、MLサービスの分散化と検証可能な合意を確保するために、検証ゲームメカニズムを採用しています。そのワークフローは以下の通りです:

1. 提案者がMLサービスのタスクを提起する
2. サーバーはタスクを完了し、結果をブロックチェーンに上げます
3. バリデーターは結果を確認し、異議がある場合は検証ゲームを開始します。
4. スマートコントラクトによる単一ステップ仲裁

シングルステージ検証ゲーム

単段階検証ゲームは、計算委任(RDoC)の原理を参考にしており、複数の当事者が同じプログラムを実行し、正確な疑問を通じて争点を特定し、最終的にオンチェーンのスマートコントラクトによって仲裁されることを仮定しています。

OPMLの単段階検証ゲームには以下の要素が含まれています:

• オフチェーン実行とオンチェーン仲裁のバーチャルマシン(VM)
• 軽量級DNNライブラリを実現してAI推論効率を向上させる
• AIモデルのコードを交差コンパイルしてVM命令にコンパイルする
• メルクルツリーを使用してVMイメージを管理し、ルートハッシュのみをチェーンにアップロードします。

テスト中、基本的なMNIST分類DNNモデルはPC上で2秒以内に推論を完了し、全体のチャレンジプロセスは約2分です。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単一段階の検証ゲームの制限は、すべての計算がVM内で実行されなければならず、GPU/TPUの加速を利用できないことです。これに対して、OPMLは多段階プロトコルの拡張を提案しました:

• 最後の段階のみVMで計算する
• 他のステージはローカル環境で実行でき、CPUやGPUなどのハードウェアアクセラレーションを利用します。
• VM依存を減らすことで、実行性能を大幅に向上させる

多段階OPMLをLLaMAモデルの例として、二段階の方法を採用します:

1. 第二段階では計算グラフ上で検証ゲームを行い、マルチスレッドCPUまたはGPUを利用できます。
2. 第一段階は単一のノード計算をVM命令に変換します

計算グラフの単一ノード計算が依然として複雑な場合、効率をさらに向上させるために、より多くのステージを導入することができます。

! OPML:楽観的ロールアップによる機械学習

パフォーマンス改善

分析結果は、二段階OPMLが単段階に比べてα倍の加速を実現できることを示しています。αはGPUまたは並列計算の加速比を表します。さらに、二段階OPMLのマークルツリーのサイズはO(m+n)であり、単段階のO(mn)よりも遥かに小さいです。

! OPML:楽観的ロールアップによる機械学習

一貫性と確実性

ML結果の一貫性を確保するために、OPMLは2つの方法を採用しています。

1. 定点アルゴリズム(を使用して、量子技術)で浮動小数点の丸め誤差を減らす
2. クロスプラットフォームで一貫したソフトウェア浮動小数点ライブラリを採用

これらの技術は、浮動小数点変数やプラットフォームの違いによる課題を克服し、OPML計算の信頼性を高めるのに役立ちます。

OPMLとZKMLの比較

OPMLは現在、MLモデルの推論に主に焦点を当てていますが、フレームワークはトレーニングプロセスもサポートしています。OPMLプロジェクトはまだ開発中で、興味のある方の参加を歓迎します。

! OPML:楽観的ロールアップシステムによる機械学習