OPML: Usando métodos otimistas para otimizar o aprendizado de máquina na cadeia

OPML(Aprendizado de Máquina Optimista) é uma nova tecnologia que permite a inferência e o treinamento/ajuste fino de modelos de IA em sistemas de Blockchain. Em comparação com ZKML, o OPML apresenta vantagens de baixo custo e alta eficiência, podendo oferecer serviços de ML mais convenientes para os usuários.

Uma das grandes características do OPML é a baixa barreira de entrada. Mesmo um PC comum sem GPU pode executar o OPML, que inclui modelos de linguagem grandes como o 7B-LLaMA de 26GB de tamanho, incluindo (.

Para garantir a descentralização dos serviços de ML e o consenso verificável, o OPML adotou um mecanismo de jogo de validação, semelhante aos sistemas Truebit e Optimistic Rollup. O processo básico é o seguinte:

1. O solicitante inicia a tarefa de serviço ML
2. O servidor completa a tarefa e coloca o resultado na cadeia
3. Os validadores verificam os resultados e, em caso de desacordo, iniciam o jogo de validação.
4. Localizar com precisão os passos errados através do protocolo de divisão em duas partes
5. Realizar arbitragem em um único passo no contrato inteligente

![OPML: Sistema de Aprendizado de Máquina usando Optimistic Rollup])https://img-cdn.gateio.im/webp-social/moments-97100de5d65b1bb4dfc9ad6502195b59.webp(

Jogo de Verificação de Uma Fase

O núcleo do jogo de validação de uma única fase é o protocolo de localização precisa, cujo funcionamento é semelhante ao cálculo de delegação )RDoC(. Quando várias partes executam o mesmo programa, podem identificar os passos controversos através de questionamentos mútuos e submetê-los ao contrato inteligente na cadeia para arbitragem.

O jogo de validação de uma fase do OPML tem as seguintes características:

• Construiu uma máquina virtual de execução fora da cadeia e arbitragem na cadeia )VM(, garantindo a equivalência entre ambas.
• Implementou uma biblioteca DNN leve especializada, melhorando a eficiência de inferência do modelo de IA
• Adotar tecnologia de compilação cruzada para compilar o código de inferência do modelo de IA em instruções de VM
• Usar árvores de Merkle para gerenciar imagens de VM, apenas carregar a raiz de Merkle na cadeia

Após localizar os passos de disputa através do protocolo de bifurcação, enviá-los para o contrato de arbitragem na cadeia. Os testes mostram que, em um PC comum, a inferência do modelo básico de IA )MNIST classificação DNN( pode ser concluída em 2 segundos, e todo o processo de desafio leva cerca de 2 minutos.

![OPML：adotando o sistema Optimistic Rollup de aprendizado de máquina])https://img-cdn.gateio.im/webp-social/moments-e798407b4f5f3dd6dc7d8327db07eb20.webp(

Jogo de Verificação em Múltiplas Fases

A limitação do jogo de validação de uma única fase é que todos os cálculos devem ser executados dentro da VM, não conseguindo aproveitar adequadamente a aceleração ou o processamento paralelo de GPU/TPU. Para resolver esse problema, a OPML propôs a extensão do protocolo de múltiplas fases.

A ideia central do protocolo de múltiplas fases é: calcular apenas na fase final na VM, enquanto as outras fases podem ser executadas de forma flexível no ambiente local, aproveitando ao máximo o poder de CPU, GPU, TPU e até a capacidade de processamento paralelo. Isso aumentou significativamente a eficiência de execução do OPML, fazendo com que se aproximasse do nível de desempenho do ambiente local.

Como exemplo, vamos considerar o jogo de verificação em duas fases )k=2(:

• Fase 2: A conversão de estado corresponde à alteração do "grande comando" do contexto de cálculo.
• Fase 1: Jogo de verificação de fase única semelhante, a transição de estado corresponde a uma única microinstrução VM

Os remetentes e validadores iniciam primeiro o jogo de validação na fase 2, localizando a "grande instrução" controversa. Em seguida, entram na fase 1, localizando a microinstrução VM controversa, e por fim, enviam para a arbitragem na cadeia.

Para garantir a integridade e segurança da transição entre as fases, o OPML depende da árvore de Merkle, extraindo subárvores da fase superior para garantir a continuidade do processo de verificação.

![OPML: Sistema de Aprendizagem de Máquina utilizando Optimistic Rollup])https://img-cdn.gateio.im/webp-social/moments-3f290bc2a1acee40d4e71fbf35ee5079.webp(

Aplicação de OPML em múltiplas etapas no modelo LLaMA

No modelo LLaMA, o OPML adota um método em duas fases:

1. Representar o processo de cálculo ML/DNN como um grafo de cálculo G, onde cada nó armazena os resultados intermediários do cálculo.
2. A inferência do modelo é o processo de cálculo no gráfico computacional, onde todo o gráfico representa o estado da inferência.
3. A 2ª fase realiza um jogo de verificação no gráfico computacional, podendo utilizar CPU ou GPU multithread.
4. A primeira fase converte o cálculo de um único nó em instruções de VM, semelhante a um protocolo de uma única fase

Quando o cálculo de um único nó ainda é complexo, podem ser introduzidas mais fases para aumentar ainda mais a eficiência.

Análise de melhoria de desempenho

Suponha que o gráfico de cálculo tenha n nós, cada nó requer m microinstruções VM, a relação de aceleração da GPU/cálculo paralelo é α:

1. OPML de duas fases é mais rápido α vezes do que o de uma fase
2. O tamanho da árvore Merkle do OPML em duas fases é O)m+n(, significativamente menor do que o de uma fase O)mn(

O design em múltiplas fases não só melhora a eficiência computacional, como também aumenta a escalabilidade do sistema.

![OPML：adopção do sistema Optimistic Rollup para aprendizado de máquina])https://img-cdn.gateio.im/webp-social/moments-4d41ed09832980b943519f4c0baa6109.webp(

Garantia de Consistência e Determinismo

Para garantir a consistência dos resultados ML entre plataformas, a OPML adotou duas medidas chave:

1. Utilizar o algoritmo de ponto fixo ) para quantificação técnica (, para representar e executar cálculos com precisão fixa.
2. Utilizar uma biblioteca de ponto flutuante baseada em software, garantindo a consistência funcional entre plataformas.

Essas tecnologias superaram eficazmente os desafios trazidos por variáveis de ponto flutuante e diferenças de plataforma, aumentando a integridade e a confiabilidade do cálculo OPML.

OPML vs ZKML

A OPML tem as seguintes vantagens em comparação com a ZKML:

• Custos de computação e armazenamento mais baixos
• Maior eficiência de execução
• Suporte a modelos de maior escala
• Mais fácil de implementar e implantar

Atualmente, o OPML foca principalmente na inferência de modelos, mas a estrutura também suporta o treinamento de modelos, podendo ser utilizada em várias tarefas de aprendizado de máquina. O projeto OPML ainda está em desenvolvimento ativo, e desenvolvedores interessados são bem-vindos a contribuir.

![OPML: sistema de aprendizado de máquina com Optimistic Rollup])https://img-cdn.gateio.im/webp-social/moments-a33f120074b07b2ec4ae4ececbea79f1.webp(