OPML:スケーラブルな分散型機械学習

最近提案されたOPML(楽観的機械学習)技術は、ブロックチェーンシステムに新しいAIモデルの推論とトレーニング方法を提供します。ZKMLと比較して、OPMLは低コストで高効率の利点があり、通常のPCで26GBの7B-LLaMAのような大規模言語モデルを実行できます。

! OPML:楽観的ロールアップによる機械学習

OPMLは検証ゲームメカニズムを採用してMLサービスの分散化と可検証性を保証します。そのワークフローには次のものが含まれます:

1. リクエスターがMLタスクを開始します
2. サーバーがタスクを完了し、結果をブロックチェーンに提出します
3. バリデーターが結果を確認し、異議がある場合は検証ゲームを開始します。
4. 二分法プロトコルを使用してエラーのステップを正確に特定する
5. 最後にスマートコントラクト上でステップバイステップの仲裁を行う

! OPML:楽観的ロールアップシステムによる機械学習

効率を向上させるために、OPMLは特別に設計された軽量DNNライブラリとクロスコンパイル技術を採用しました。仮想マシンイメージはメルクルツリーによって管理され、ルートハッシュのみがチェーンにアップロードされます。

単一段階OPMLにはいくつかの限界があり、GPUアクセラレーションを十分に活用できません。この問題を解決するために、多段階OPMLソリューションが提案されました:

• 最後の段階でのみVM内で計算する
• 他のステージはローカル環境で実行でき、ハードウェアアクセラレーションを利用します。
• メルクルツリーを通じて段階間の移行の完全性を保証する

! OPML:楽観的ロールアップによる機械学習

LLaMAモデルを例にとり、二段階のOPMLを採用する:

1. 第二段階で計算グラフ上で検証ゲームを行う
2. 第一段階では、単一ノードの計算をVM命令の実行に変換します。

多段階OPMLは単段階に比べてα倍の加速を実現でき、さらにマークルツリーのサイズも小さい。

! OPML:楽観的ロールアップによる機械学習

結果の一貫性を保証するために、OPMLは固定小数点アルゴリズムとクロスプラットフォーム浮動小数点ライブラリを採用しています。ZKMLと比較して、OPMLは計算効率、汎用性、開発の難易度などの面で優位性を持っています。

! OPML:楽観的ロールアップシステムによる機械学習

OPML技術はまだ継続的に開発中であり、興味のある開発者の参加を歓迎します。