Foresight Ventures: Apa sih zkML itu?

zkML adalah jembatan antara AI dan blockchain. Signifikansinya adalah untuk memungkinkan blockchain memahami dunia fisik, mengaktifkan kontrak pintar untuk membuat keputusan, dan menjalankan model AI dengan perlindungan privasi.

Ringkasan

• ZKML (Zero knowledge machine learning) adalah sebuah teknologi yang menggunakan bukti zero-knowledge untuk machine learning, ZKML adalah jembatan antara AI dan blockchain. ZKML dapat memecahkan masalah perlindungan privasi model/input AI dan proses penalaran yang dapat diverifikasi, sehingga ZKP model kecil atau penalaran dapat diunggah ke rantai. Signifikansi rantai pembuktian model/penalaran adalah:
• Biarkan blockchain memahami dunia fisik. Misalnya: model pengenalan wajah yang berjalan di blockchain dapat melihat wajah untuk blockchain, dan model AI di blockchain dapat memahami bahwa wajah tersebut mungkin seorang wanita, berapa umurnya, dll.
• Mengaktifkan smart contract untuk mengambil keputusan. Misalnya: model prediksi harga WETH pada rantai dapat membantu kontrak pintar membuat keputusan transaksi.
• Jalankan model AI secara pribadi. Misalnya, perusahaan menghabiskan banyak daya komputasi untuk melatih model, berharap dapat menyediakan layanan inferensi dengan cara menjaga privasi, atau input pengguna ingin memastikan privasi. Menggunakan ZKML tidak hanya menjamin privasi model/input, tetapi juga membuktikan kepada pengguna bahwa penalaran dilakukan dengan benar, menyadari penalaran tanpa kepercayaan.
• Penerapan ZKML
• AI pada rantai: Letakkan model AI/bukti penalaran AI pada rantai, sehingga kontrak cerdas dapat menggunakan AI untuk membuat keputusan. Misalnya, sistem perdagangan on-chain digunakan untuk keputusan investasi on-chain.
• **Blockchain yang meningkatkan diri sendiri: **Biarkan blockchain menggunakan kemampuan AI untuk terus meningkatkan dan merevisi strategi berdasarkan data historis. Misalnya, sistem reputasi on-chain berbasis AI.
• AIGC on-chain: Konten/karya seni dihasilkan oleh AIGC, Mint on-chain ke NFT, ZK dapat membuktikan kebenaran proses, tidak ada gambar berhak cipta yang digunakan dalam kumpulan data, dll.
• Autentikasi biometrik (KYC) dompet: Bukti pengenalan wajah diunggah ke rantai, dan dompet melengkapi KYC.
• Keamanan AI: Gunakan AI untuk deteksi penipuan, pencegahan serangan Sybil, dll.
• Game ZKML di rantai: kecerdasan buatan pemain catur di rantai, karakter NFT yang digerakkan oleh jaringan saraf, dll.
• ZKML secara teknis
• Tujuan: Mengubah jaringan saraf menjadi sirkuit ZK Kesulitan: 1. Sirkuit ZK tidak mendukung angka floating point, 2. Jaringan saraf yang terlalu besar sulit dikonversi.
• Kemajuan Saat Ini:
• Perpustakaan ZKML paling awal adalah 2 tahun yang lalu, dan sejarah pengembangan seluruh teknologi sangat singkat. Saat ini, library ZKML terbaru mendukung beberapa jaringan saraf sederhana ZK, dan diterapkan ke blockchain. Dikatakan bahwa model regresi linier dasar dapat diunggah ke rantai, dan jenis model jaringan saraf yang lebih kecil lainnya dapat mendukung rantai bukti. Tapi saya melihat sangat sedikit Demo, hanya pengenalan digit tulisan tangan.
• **Beberapa alat mengklaim mendukung parameter 100M, dan beberapa mengklaim mengubah GPT2 menjadi sirkuit ZK untuk menghasilkan bukti ZK. **
• Arah pengembangan:
• Kuantisasi Jaringan (kuantisasi jaringan), mengonversi angka floating-point di jaringan neural menjadi angka fixed-point, dan meringankan jaringan neural (ramah ZK).
• Mencoba mengonversi jaringan neural dengan parameter skala besar menjadi sirkuit ZK, dan meningkatkan efisiensi pembuktian (memperluas kemampuan ZK).
• Ringkas:
• ZKML adalah jembatan antara AI dan blockchain, signifikansinya adalah memungkinkan blockchain untuk memahami dunia fisik, memungkinkan kontrak pintar untuk membuat keputusan, dan menjalankan model AI dengan perlindungan privasi**, **adalah teknologi yang sangat Menjanjikan .
• Sejarah teknologi ini sangat singkat tetapi berkembang sangat cepat. Saat ini, beberapa model jaringan saraf sederhana dapat diubah menjadi sirkuit ZK, yang dapat digunakan untuk rantai model atau rantai bukti penalaran. Tetapi bahasanya relatif sulit. Saat ini, Ddkang/zkml mengklaim bahwa itu dapat menghasilkan model pemrosesan bahasa alami GPT2, Bert dan Difusi versi ZK, tetapi tidak jelas tentang efek sebenarnya. Itu dapat berjalan tetapi mungkin tidak dapat untuk diunggah ke rantai. Saya percaya bahwa dengan pengembangan teknologi volume jaringan, teknologi ZK, dan teknologi ekspansi blockchain, model bahasa ZKML akan segera tersedia.

1. Latar Belakang

(Jika Anda mengetahui sesuatu tentang ZK, ML, Anda dapat melewati bab ini).

• **Zero-knowledge proof (ZK): **Zero-knowledge proof berarti bahwa pembukti dapat meyakinkan pemverifikasi bahwa pernyataan tertentu benar tanpa memberikan informasi yang berguna kepada pemverifikasi. ZK terutama digunakan untuk membuktikan bahwa proses perhitungan dilakukan dengan benar dan untuk melindungi privasi.
• Buktikan kebenaran proses perhitungan: Ambil ZK-rollup sebagai contoh, pengoperasian ZK-rollup hanyalah mengemas beberapa transaksi bersama-sama, menerbitkannya di L1, dan mengeluarkan bukti pada saat yang sama (menggunakan teknologi bukti tanpa pengetahuan ) untuk mengklaim bahwa transaksi ini valid, setelah diverifikasi pada L1 bahwa transaksi tersebut valid, status zk-rollup akan diperbarui.
• Perlindungan Privasi: Mengambil protokol Aztec sebagai contoh, aset di zk.money Aztec ada dalam bentuk tagihan, mirip dengan UTXO Bitcoin, jumlah tagihan dienkripsi, saat pengguna perlu mentransfer uang , tagihan perlu dihancurkan dan Buat catatan baru untuk penerima pembayaran serta untuk diri sendiri (ubah). Bukti tanpa pengetahuan digunakan untuk melindungi privasi untuk membuktikan bahwa jumlah catatan yang dihancurkan sama dengan jumlah catatan yang baru dibuat, dan pengguna memiliki hak untuk mengontrol catatan tersebut.
• Pembelajaran Mesin: Pembelajaran Mesin adalah cabang dari Kecerdasan Buatan. Teori pembelajaran mesin terutama untuk merancang dan menganalisis beberapa algoritma yang memungkinkan komputer untuk "belajar" secara otomatis. Algoritme pembelajaran mesin secara otomatis menganalisis dan mendapatkan hukum dari data, dan menggunakan hukum untuk memprediksi data yang tidak diketahui. Pembelajaran mesin telah banyak digunakan dalam visi komputer, pemrosesan bahasa alami, pengenalan biometrik, mesin pencari, diagnosis medis, mendeteksi penipuan kartu kredit, analisis pasar sekuritas, pengurutan DNA, pengenalan ucapan dan tulisan tangan, permainan, dan robotika.

**2. Masalah apa yang dipecahkan oleh ZKML? **

ZKML adalah bidang penelitian dan pengembangan yang telah menimbulkan kegemparan dalam komunitas kriptografi dalam dua tahun terakhir. Menggunakan bukti tanpa pengetahuan untuk pembelajaran mesin**, tujuan utama dari teknologi ini adalah menggunakan bukti tanpa pengetahuan untuk memecahkan perlindungan privasi dan masalah pembelajaran mesin yang dapat diverifikasi. Dengan cara ini, model kecil atau penalaran ZKP dapat diunggah ke rantai dan menjadi jembatan antara AI dan blockchain:

• Model chaining: Model ML dapat dikonversi menjadi sirkuit ZK, dan model ZKML kecil dapat disimpan dalam smart contract blockchain. Pengguna dapat menggunakan model dengan memanggil metode kontrak pintar. Misalnya, RockyBot dari Modulus Labs membuat model AI pada rantai untuk memprediksi harga WETH untuk keputusan perdagangan.
• Bukti penalaran model, dll. pada rantai: ubah model ML menjadi sirkuit ZK, lakukan penalaran di luar rantai, dan buat bukti ZK. Pembuktian ZK dapat membuktikan bahwa proses penalaran dilakukan dengan benar. Hasil penalaran dan bukti ZK diserahkan ke rantai untuk referensi oleh penelepon dan bukti verifikasi kontrak pintar.

** Apa pentingnya model/bukti penalaran pada rantai? **

• Biarkan blockchain memahami dunia fisik. Misalnya: model pengenalan wajah yang berjalan di blockchain dapat melihat wajah untuk blockchain, dan model AI di blockchain dapat memahami bahwa wajah tersebut mungkin seorang wanita, berapa umurnya, dll.
• Mengaktifkan smart contract untuk mengambil keputusan. Misalnya: model prediksi harga WETH pada rantai dapat membantu kontrak pintar membuat keputusan transaksi.
• Jalankan model AI secara pribadi. Misalnya, perusahaan menghabiskan banyak daya komputasi untuk melatih model, berharap dapat menyediakan layanan inferensi dengan cara menjaga privasi, atau input pengguna ingin memastikan privasi. Menggunakan ZKML tidak hanya menjamin privasi model/input, tetapi juga membuktikan kepada pengguna bahwa penalaran dilakukan dengan benar, menyadari penalaran tanpa kepercayaan.

Bukti tanpa pengetahuan membuktikan peran dalam ZKML:

**1. Perlindungan privasi: Melindungi privasi data masukan dalam model ML atau proses prediksi. **

• **Privasi Data (Model Publik + Data Pribadi): **Saya memiliki beberapa data sensitif, seperti data medis, gambar wajah, dll. Saya dapat menggunakan ZKML untuk melindungi privasi data input, menjalankan model jaringan saraf publik pada data ini, dan mendapatkan hasilnya. Misalnya, model pengenalan wajah,
• Privasi Model (Model Pribadi + Data Publik): Misalnya, saya menghabiskan banyak uang untuk melatih model. Saya tidak ingin mengekspos model saya, jadi saya harus melindungi privasi model. Saya dapat menggunakan ZKML untuk menjalankan model jaringan saraf pribadi yang menjaga privasi, dan model ini dapat menyimpulkan masukan publik untuk mendapatkan keluaran.

**2. Verifikasi: ZKP digunakan untuk membuktikan eksekusi proses penalaran ML yang benar, membuat proses pembelajaran mesin dapat diverifikasi. **

• Misalkan, eksekusi model tidak ada di server saya, tetapi saya perlu memastikan bahwa spekulasi dijalankan dengan benar. Saya dapat menggunakan ZKML untuk melakukan inferensi pada input dan model, menghasilkan output, ZKP dapat membuktikan bahwa proses ini dijalankan dengan benar, meskipun proses yang berjalan tidak ada di komputer saya, saya dapat memverifikasi bahwa inferensi benar dengan memverifikasi ZKP diterapkan, dan dengan demikian percaya pada hasilnya.

3. Kasus Penggunaan untuk ZKML

• ** KELENGKAPAN KOMPUTASI **
• **On-chain AI (On-chain AI): **Terapkan model AI pada blockchain, sehingga kontrak pintar dapat memiliki kemampuan pengambilan keputusan melalui model AI.
• Modulus Labs: RockyBot On-chain bot perdagangan ML yang dapat diverifikasi (robot perdagangan pembelajaran mesin yang dapat diverifikasi di blockchain)
• Blockchain yang memperbaiki diri: Biarkan blockchain menggunakan kemampuan AI untuk terus meningkatkan dan mengoreksi strategi berdasarkan data historis.
• Peningkatan AMM keuangan Lyra dengan kecerdasan buatan.
• Buat sistem reputasi berbasis AI untuk Astraly.
• Buat fungsi kepatuhan berbasis AI tingkat kontrak pintar untuk protokol Aztec
• Modulus Labs: Blockchain yang memperbaiki diri sendiri (tautan):
• AIGC on-chain: Konten/karya seni dihasilkan oleh AIGC, Mint on-chain ke NFT, ZK dapat membuktikan kebenaran proses, tidak ada gambar berhak cipta yang digunakan dalam kumpulan data, dll.
• ML sebagai Layanan(MLaaS) transparansi (tautan)
• Keamanan AI: Gunakan AI untuk deteksi penipuan, pencegahan serangan Sybil, dll. Model deteksi anomali AI dilatih sesuai dengan data kontrak pintar, dan kontrak ditangguhkan jika indikatornya tidak normal, dan ZK digunakan untuk deteksi anomali untuk membuktikan bahwa itu terhubung.
• Game ZKML di rantai: kecerdasan buatan pemain catur di rantai, karakter NFT yang digerakkan oleh jaringan saraf, dll.
• Pengujian benchmark model AI yang dapat diverifikasi: Gunakan ZK untuk memberikan bukti pengujian benchmark model, dan berikan verifikasi untuk hasil pengujian performa dan efek model.
• Bukti kebenaran pelatihan model: Karena pelatihan model sangat padat sumber daya, bukti kebenaran pelatihan model dengan ZK saat ini tidak tersedia, tetapi banyak orang berpikir bahwa teknologi ini layak dan mencoba menggunakan ZK Untuk membuktikannya model menggunakan data tertentu / tidak menggunakan data tertentu untuk menyelesaikan masalah hak cipta AIGC.
• perlindungan privasi
• Autentikasi Biometrik/Identitas Digital untuk Dompet *WordCoin memindai iris dengan perangkat biometrik Orb, memberikan pengguna identitas digital unik yang dapat diverifikasi. WorldCoin sedang mengerjakan zkml, yang rencananya akan digunakan untuk memutakhirkan World ID. Setelah pemutakhiran, pengguna akan dapat menyimpan biometrik tanda tangannya secara mandiri di penyimpanan terenkripsi perangkat seluler mereka, mengunduh model ML yang dihasilkan oleh kode iris, dan membuat bukti tanpa pengetahuan secara lokal, membuktikan bahwa kode irisnya memang dihasilkan dari gambar tanda tangan menggunakan model yang benar.
• Platform hadiah pembelajaran mesin berbasis blockchain
• Perusahaan mengeluarkan hadiah dan menyediakan data publik dan pribadi. Data publik digunakan untuk melatih model dan data pribadi digunakan untuk memprediksi. Beberapa pihak layanan AI melatih model tersebut dan mengubahnya menjadi sirkuit ZK. Enkripsi model dan kirimkan ke kontrak untuk verifikasi. Untuk data pribadi, buat prediksi, dapatkan hasil, dan hasilkan bukti ZK, yang diserahkan ke kontrak untuk verifikasi. Penyedia layanan AI menerima hadiah setelah menyelesaikan serangkaian operasi. zkML: Demo untuk circomlib-ml di testnet Goerli
• Alasan menjaga privasi: Misalnya, menggunakan data pribadi pasien untuk diagnosis medis, lalu mengirimkan kesimpulan sensitif (seperti hasil deteksi kanker) kepada pasien. (makalah vCNN, halaman 2/16)

4. Tata Letak ZKML

Dilihat dari tata letak ZKML yang diselenggarakan oleh SevenX Ventures.

• Akselerasi Perangkat Keras: Banyak organisasi secara aktif mengembangkan akselerasi perangkat keras ZKP, yang juga kondusif untuk pengembangan ZKML. Umumnya, chip FPGA, GPU, dan ASIC digunakan untuk mempercepat pembuatan ZKP. Misalnya: Accseal sedang mengembangkan chip ASIC untuk akselerasi perangkat keras ZKP, dan Ingonyama sedang membangun perpustakaan akselerasi ZK ICIClE, yang dirancang untuk GPU yang mendukung CUDA. Supranasional berfokus pada akselerasi GPU, Cysic dan Ulvetanna fokus pada akselerasi FPGA.
• Input: Untuk menggunakan input data on-chain, Axiom, Herodotus, Hyper Oracle, Lagrange akan meningkatkan akses pengguna ke data blockchain dan memberikan tampilan data on-chain yang lebih kompleks. Data input ML kemudian dapat diekstraksi dari data historis yang diimpor
• penalaran: ModulusLabs sedang mengembangkan sistem zkSNARK baru khusus untuk ZKML. Bagian ini dapat digabungkan dengan set alat ZKML, terutama untuk ZKisasi model dan set alat yang diperlukan dalam proses ZKisasi. Giza adalah platform pembelajaran mesin berbasis StarkNet* yang *berfokus pada penskalaan penerapan model yang sepenuhnya on-chain.
• Komputasi: Fokus membangun jaringan komputasi terdesentralisasi untuk melatih model AI yang dapat diakses oleh semua orang. Mereka memungkinkan orang untuk menggunakan sumber daya komputasi tepi untuk melatih model AI dengan biaya lebih rendah.
• Kekuatan komputasi/pelatihan terdesentralisasi: Fokus pada membangun jaringan komputasi terdesentralisasi untuk melatih model AI yang dapat diakses semua orang. Mereka memungkinkan orang untuk menggunakan sumber daya komputasi tepi untuk melatih model AI dengan biaya lebih rendah.
• ZKML Toolset: Lihat Bab 5 Sejarah Pengembangan Teknologi. ZAMA pada gambar terutama menggunakan enkripsi homomorfik penuh (FHE) untuk perlindungan privasi pembelajaran mesin Dibandingkan dengan ZKML, FHEML hanya melakukan privasi dan tidak melakukan verifikasi tanpa kepercayaan.
• Use Case: Worldcoin, menggunakan ZKML untuk autentikasi identitas digital. Biometrik tanda tangan pengguna dienkripsi dan disimpan di perangkat pengguna, dan model pembelajaran mesin pengenalan iris berbasis ZK menjalankan model selama pengenalan identitas untuk memverifikasi apakah biometrik cocok. Gunakan ZKP untuk membuktikan kebenaran proses yang sedang berjalan. Modulars Labs adalah robot perdagangan AI di rantai. EIP7007 Cathie, standar AIGC-NFT zkML. Pemain catur kecerdasan buatan pada rantai, karakter NFT yang digerakkan oleh jaringan saraf, dll.

5. Sejarah perkembangan teknologi ZKML

Tantangan utama dalam mengubah jaringan saraf menjadi sirkuit ZK adalah:

1. Sirkuit memerlukan operasi titik tetap, tetapi bilangan titik-mengambang banyak digunakan dalam jaringan saraf.
2. Masalah ukuran model, konversi model besar sulit dan sirkuitnya besar.

Sejarah pengembangan perpustakaan ZKML adalah sebagai berikut:

1.2021, zk-ml/demo-regresi linier, Peiyuan Liao

• Merealisasikan rangkaian regresi linier Regresi linier adalah algoritma prediksi yang sangat mendasar, yang mengasumsikan hubungan linier antara variabel keluaran dan variabel masukan, dan cocok untuk memprediksi variabel numerik dan mempelajari hubungan antara dua variabel atau lebih. . Misalnya: memprediksi harga rumah berdasarkan ukuran rumah dan karakteristik lainnya, atau memprediksi penjualan di masa mendatang berdasarkan data penjualan historis, dll.

2.2022 file, 0xZKML/zk-mnist, 0xZKML

• Membuat sirkuit ZK jaringan saraf berdasarkan kumpulan data MNIST, yang dapat mengenali angka tulisan tangan. Misalnya: tulisan tangan angka 2, tulisan tangan dikenali sebagai 2, dan bukti proses penalaran** dihasilkan. **Bukti dapat diunggah ke rantai, dan bukti pada rantai dapat diverifikasi dengan eter + snarkjs.
• Faktanya, perpustakaan zk-mnist saat ini hanya mengubah lapisan terakhir menjadi sirkuit, tetapi tidak mengubah jaringan saraf lengkap menjadi sirkuit.

3. 2022, socathie/zkML, Cathie

• Dibandingkan dengan zk-mnist, ZKML mengubah jaringan saraf lengkap menjadi sirkuit. zkMachineLearning Cathie menyediakan beberapa toolkit ZKML cirocmlib-ml dan keras2circom untuk membantu insinyur ML mengonversi model menjadi sirkuit.

4. November 2022, zk-ml/uchikoma, Peiyuan Liao

• Transfer operasi floating-point di jaringan saraf ke operasi fixed-point. Dibuat dan bersumber terbuka alat dan kerangka kerja umum yang mengubah hampir semua algoritme pembelajaran mesin menjadi sirkuit bukti tanpa pengetahuan yang mudah diintegrasikan dengan blockchain.
• Model Visual -> AIGC
• Model bahasa -> chatbot, asisten menulis
• Model linier dan pohon keputusan -> Deteksi penipuan, pencegahan serangan Sybil
• Model multimodal -> sistem pemberi rekomendasi
• Melatih model pembelajaran mesin generasi konten ramah-blockchain (AIGC) dan mengubahnya menjadi sirkuit ZK. Gunakan untuk membuat karya seni, buat bukti ZK ringkas, dan terakhir Cetak karya seni ke dalam NFT.

5. Juli 2022, diperbarui Maret 2023, zkonduit/ezkl

• ezkl adalah perpustakaan dan alat baris perintah untuk inferensi pada model pembelajaran mendalam dan grafik komputasi lainnya di zk-snark (ZKML). Gunakan Halo2 sebagai sistem pembuktian.
• Dimungkinkan untuk menentukan grafik perhitungan, seperti jaringan saraf, dan kemudian menggunakan ezkl untuk menghasilkan sirkuit ZK-SNARK. ZKP yang dihasilkan untuk inferensi dapat diverifikasi dengan kontrak pintar.
• Dikatakan sebagai model yang dapat mendukung 100 juta parameter, tetapi mungkin menghabiskan banyak sumber daya.

6. Mei 2023, Ddkang/zkml (Tautan)

• zkml mengklaim menggunakan ZK untuk mengonversi model GPT2, Bert, dan Difusi. Tapi itu mungkin menggunakan banyak memori, dan tidak jelas apakah buktinya bisa disimpan dalam kontrak pintar.
• zkml dapat memverifikasi eksekusi model hingga akurasi 92,4% di ImageNet, dan juga dapat membuktikan model MNIST dengan akurasi 99% dalam dalam empat detik.

7. Mei 2023, zkp-gravity/0g

• Jaringan saraf ringan, mendukung data pribadi + model publik.

Secara umum, kita dapat melihat arah eksplorasi teknologi ZKML saat ini:

1. Kuantisasi Jaringan, mengonversi angka floating-point di jaringan neural menjadi angka fixed-point, dan meringankan jaringan neural (ramah ZK).
2. Cobalah untuk mengonversi jaringan neural dengan parameter berskala besar menjadi sirkuit ZK, dan tingkatkan efisiensi pembuktian (perluas kemampuan ZK).

6. Ringkasan

1. ZKML adalah jembatan antara AI dan blockchain. Signifikansinya adalah untuk mengaktifkan **blockchain untuk memahami dunia fisik, memungkinkan kontrak pintar untuk membuat keputusan, dan menjalankan model AI dengan perlindungan privasi. Ini adalah teknologi yang sangat menjanjikan .
2. Sejarah ZKML sangat singkat dan perkembangannya sangat cepat. Saat ini, beberapa model jaringan saraf sederhana dapat diubah menjadi sirkuit ZK, dan model dapat diunggah ke rantai atau bukti penalaran dapat diunggah ke rantai. Model bahasa relatif sulit, Saat ini, Ddkang/zkml mengklaim dapat menghasilkan model GPT2, Bert dan Difusi versi ZK. Saya percaya bahwa dengan pengembangan teknologi volume jaringan, teknologi ZK, dan teknologi ekspansi blockchain, model bahasa ZKML akan segera tersedia.