OPML: Kerangka pembelajaran mesin berbasis pendekatan optimis

Kami telah mengajukan sebuah kerangka baru yang disebut OPML(Optimistic Machine Learning), yang dapat menjalankan inferensi dan pelatihan model AI secara efisien di sistem blockchain. Dibandingkan dengan ZKML, OPML memiliki biaya yang lebih rendah dan efisiensi yang lebih tinggi. Persyaratan perangkat keras OPML sangat rendah, PC biasa dapat menjalankan tugas OPML yang mencakup model bahasa besar seperti 7B-LLaMA tanpa GPU.

OPML menggunakan mekanisme permainan verifikasi untuk memastikan desentralisasi dan verifiabilitas layanan ML. Prosesnya sebagai berikut:

1. Pengguna mengajukan permintaan layanan ML
2. Server menyelesaikan tugas dan mengirimkan hasil ke blockchain
3. Validator memeriksa hasil, jika ada keberatan maka mulai permainan verifikasi
4. Menentukan langkah kesalahan spesifik melalui protokol pemisahan
5. Terakhir, dilakukan arbitrase langkah demi langkah oleh kontrak pintar.

Permainan Verifikasi Satu Tahap

Poin kunci dari OPML satu tahap termasuk:

• Membangun mesin virtual untuk eksekusi off-chain dan arbitrase on-chain (VM)
• Mewujudkan perpustakaan DNN ringan khusus, meningkatkan efisiensi inferensi AI
• Menggunakan teknologi cross-compilation untuk mengompilasi kode inferensi AI menjadi instruksi VM
• Menggunakan pohon Merkle untuk mengelola citra VM, hanya mengunggah hash root ke rantai

Dalam pengujian dasar, kami dapat menyelesaikan inferensi DNN dalam waktu 2 detik, dan seluruh proses tantangan dapat diselesaikan dalam waktu 2 menit.

Permainan Verifikasi Multi-Tahap

Untuk mengatasi keterbatasan skema satu tahap, kami mengajukan permainan verifikasi multi-tahap:

• Hanya menghitung di VM pada tahap akhir, tahap lain dapat dijalankan secara fleksibel
• Memanfaatkan akselerasi GPU/TPU dan pemrosesan paralel secara maksimal
• Meningkatkan kinerja eksekusi secara signifikan, mendekati tingkat lingkungan lokal
• Menggunakan pohon Merkle untuk memastikan integritas dan keamanan dalam transisi antar tahap

Sebagai contoh model LLaMA, kami menggunakan metode OPML dua tahap:

• Tahap kedua dilakukan verifikasi permainan pada grafik komputasi, dapat menggunakan akselerasi GPU
• Tahap pertama mengubah perhitungan node tunggal menjadi instruksi VM

Metode multi-tahap dapat mencapai percepatan komputasi α kali dibandingkan dengan metode satu tahap, sambil secara signifikan mengurangi ukuran pohon Merkle.

Konsistensi dan Determinisme

Untuk memastikan konsistensi hasil ML, kami telah mengambil langkah-langkah berikut:

1. Menggunakan algoritma tetap ( teknologi kuantifikasi ) untuk mengurangi pengaruh kesalahan floating point.
2. Menggunakan pustaka floating-point perangkat lunak yang konsisten lintas platform

Teknologi ini secara efektif mengatasi tantangan yang disebabkan oleh variabel floating point dan perbedaan platform, meningkatkan keandalan perhitungan OPML.

OPML masih dalam pengembangan. Kami mengundang siapa saja yang tertarik dengan proyek ini untuk bergabung dan berkontribusi pada perkembangan OPML.