OPML : Apprentissage automatique basé sur une approche optimiste

OPML( l'apprentissage automatique optimiste) est une nouvelle technologie d'IA blockchain qui utilise des méthodes optimistes pour l'inférence et l'entraînement des modèles d'IA. Comparé à ZKML, OPML présente l'avantage d'un coût faible et d'une efficacité élevée. Le seuil d'application d'OPML est très bas, un PC ordinaire peut faire fonctionner de grands modèles de langage sans GPU, comme le modèle 7B-LLaMA de 26 Go.

OPML adopte un mécanisme de jeu de vérification pour garantir la décentralisation et le consensus vérifiable des services ML. Son flux de travail est le suivant :

1. Le promoteur propose une tâche de service ML
2. Le serveur termine la tâche et enregistre le résultat sur la chaîne
3. Les validateurs examinent les résultats, et en cas de désaccord, ils lancent le jeu de validation.
4. Arbitrage en une étape via des contrats intelligents

Jeu de vérification à une étape

Le jeu de validation à étape unique s'inspire des principes de la délégation de calcul (RDoC), supposant que plusieurs parties exécutent le même programme, puis localisent les étapes contestées par des questions précises, pour enfin être arbitrées par des contrats intelligents sur la chaîne.

Le jeu de vérification à une seule étape d'OPML comprend les éléments suivants :

• Construire une machine virtuelle d'exécution hors chaîne et d'arbitrage sur chaîne (VM)
• Réaliser une bibliothèque DNN légère pour améliorer l'efficacité de l'inférence AI
• Utiliser la compilation croisée pour compiler le code du modèle d'IA en instructions VM
• Utiliser un arbre de Merkle pour gérer les images VM, en n'uploadant que le hachage racine sur la chaîne.

Dans les tests, un modèle DNN de classification MNIST de base peut effectuer l'inférence sur PC en moins de 2 secondes, et l'ensemble du processus de défi prend environ 2 minutes.

Jeu de validation multi-étapes

Les limitations du jeu de validation à une seule étape résident dans le fait que tous les calculs doivent être effectués à l'intérieur de la VM, sans pouvoir tirer parti de l'accélération GPU/TPU. Pour cela, OPML a proposé une extension du protocole multi-étapes :

• Seule la dernière étape est calculée dans la VM
• D'autres étapes peuvent être exécutées dans un environnement local, en utilisant des accélérateurs matériels tels que le CPU, le GPU, etc.
• Améliorer considérablement les performances d'exécution en réduisant la dépendance aux VM

Exemple de OPML multi-étapes avec le modèle LLaMA, utilisant une méthode en deux étapes :

1. La deuxième phase consiste à valider le jeu sur le graphe de calcul, en utilisant un CPU ou un GPU multithread.
2. La première étape consiste à convertir le calcul d'un nœud unique en instructions VM.

Lorsque le calcul d'un nœud unique dans le graphe de calcul reste complexe, il est possible d'introduire davantage d'étapes pour améliorer encore l'efficacité.

Améliorations des performances

L'analyse montre qu'un OPML à deux étapes peut atteindre un facteur d'accélération de α par rapport à un OPML à une étape, où α représente le rapport d'accélération du GPU ou du calcul parallèle. De plus, la taille de l'arbre de Merkle de l'OPML à deux étapes est de O(m+n), bien inférieure à celle de l'OPML à une étape, qui est de O(mn).

Cohérence et déterminisme

Pour garantir la cohérence des résultats ML, OPML utilise deux méthodes :

1. Utiliser l'algorithme à point fixe ( pour la technique de quantification ) afin de réduire l'erreur d'arrondi en virgule flottante.
2. Utiliser une bibliothèque de flottants logicielle cohérente entre les plateformes

Ces technologies aident à surmonter les défis posés par les variables à virgule flottante et les différences de plateforme, renforçant la fiabilité du calcul OPML.

OPML vs ZKML

OPML se concentre actuellement sur l'inférence des modèles ML, mais le cadre prend également en charge le processus d'entraînement. Le projet OPML est encore en développement, et nous accueillons les personnes intéressées à y contribuer.