"Pertarungan Seratus Model" di Bidang AI: Sebuah Kompetisi Berbasis Rekayasa
Bulan lalu, industri AI menyaksikan "Perang Hewan".
Satu sisi adalah model Llama (Llama) yang diluncurkan oleh Meta, yang sangat disukai oleh pengembang karena sifat open-source-nya. Perusahaan listrik Jepang NEC, setelah mempelajari makalah dan kode Llama, dengan cepat mengembangkan versi ChatGPT dalam bahasa Jepang, membantu Jepang mengatasi kendala teknologi AI.
Di sisi lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan, melampaui alpaca dan menduduki puncak peringkat LLM sumber terbuka.
Peringkat ini dibuat oleh komunitas model sumber terbuka, menyediakan standar untuk mengevaluasi kemampuan LLM. Peringkatnya pada dasarnya bergantian antara Llama dan Falcon.
Llama 2 sementara memimpin setelah diluncurkan, tetapi pada awal September, Falcon meluncurkan versi 180B dan kembali merebut posisi teratas.
Menariknya, pengembang Falcon bukanlah perusahaan teknologi, melainkan sebuah institut penelitian teknologi di ibu kota Uni Emirat Arab. Pejabat pemerintah menyatakan bahwa mereka terlibat dalam kompetisi ini untuk memecahkan pola dominasi.
Pada hari berikutnya setelah rilis versi 180B, Menteri AI Uni Emirat Arab terpilih dalam daftar "100 Orang Paling Berpengaruh di Bidang AI" oleh majalah Time, berdampingan dengan "Bapak AI" Geoffrey Hinton, dan Sam Altman dari OpenAI.
Saat ini, bidang AI telah memasuki fase di mana banyak inovasi bermunculan. Negara dan perusahaan yang memiliki kekuatan finansial tertentu sedang mencoba untuk menciptakan versi lokal dari ChatGPT. Di kawasan Teluk, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk pelatihan LLM bagi universitas dalam negeri.
Ada investor yang pernah mengeluh: Dulu meremehkan inovasi model bisnis internet, merasa tidak ada hambatan. Tidak menyangka bahwa startup model besar teknologi keras masih merupakan pertempuran seratus model.
Mengapa teknologi keras yang diklaim sulit ini bisa berevolusi menjadi kompetisi yang bisa diikuti oleh semua orang?
Algoritma Transformer mengubah aturan permainan
Perusahaan rintisan Amerika, raksasa teknologi China, dan taipan minyak Timur Tengah dapat terlibat dalam pengembangan model besar, semua berkat makalah terkenal "Attention Is All You Need".
Pada tahun 2017, delapan ilmuwan Google mempublikasikan algoritma Transformer dalam makalah ini. Ini adalah makalah yang paling banyak dirujuk ketiga dalam sejarah AI, kemunculan Transformer memicu gelombang panas AI saat ini.
Berbagai model besar saat ini, termasuk seri GPT yang menghebohkan, dibangun di atas dasar Transformer.
Sebelumnya, "mengajarkan mesin untuk membaca" selalu menjadi tantangan akademis yang diakui. Berbeda dengan pengenalan gambar, saat membaca, manusia tidak hanya memperhatikan kata-kata saat ini, tetapi juga menggabungkan konteks untuk memahami. Jaringan saraf awal kesulitan menangani teks panjang dan tidak dapat memahami konteks.
Pada tahun 2014, ilmuwan Google Ilya pertama kali mencapai terobosan. Ia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, yang secara signifikan meningkatkan kinerja Google Translate. RNN memperkenalkan "desain sirkular", yang memungkinkan jaringan saraf memahami konteks.
Kemunculan RNN memicu perdebatan di dunia akademis, penulis Transformer ShaZer juga pernah melakukan penelitian mendalam. Namun, para pengembang segera menyadari bahwa RNN memiliki kekurangan serius: efisiensi perhitungan urutan yang rendah, sulit untuk menangani sejumlah besar parameter.
Sejak tahun 2015, Shazeel dan yang lainnya mulai mengembangkan alternatif RNN, dan hasil akhirnya adalah Transformer. Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar:
Pertama, mengganti desain berulang dengan pengkodean posisi untuk mencapai komputasi paralel, secara signifikan meningkatkan efisiensi pelatihan, dan membawa AI ke era model besar.
Kedua, kemampuan untuk memahami konteks telah diperkuat lebih lanjut.
Transformer secara drastis menyelesaikan berbagai masalah teknis dan secara bertahap menjadi solusi mainstream di bidang NLP. Bahkan pendiri RNN, Ilya, juga beralih ke kubu Transformer.
Dapat dikatakan, Transformer adalah fondasi dari semua model besar saat ini, yang mengubah model besar dari penelitian teoretis menjadi masalah rekayasa.
Pada tahun 2019, GPT-2 yang dikembangkan oleh OpenAI berdasarkan Transformer menggemparkan dunia akademis. Google segera meluncurkan Meena yang lebih kuat, hanya dengan meningkatkan parameter pelatihan dan kekuatan komputasi, Meena melampaui GPT-2. Penulis Transformer, Ashish Vaswani, sangat terkejut dan menulis memo berjudul "Meena Menghancurkan Dunia."
Kemunculan Transformer telah memperlambat kecepatan inovasi algoritma dasar di kalangan akademis. Elemen-elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model secara bertahap menjadi kunci dalam kompetisi AI. Selama perusahaan teknologi memiliki kemampuan teknis tertentu, mereka dapat mengembangkan model besar.
Ilmuwan komputer Andrew Ng mencatat saat berbicara di Universitas Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, serta kecerdasan buatan generatif saat ini. Semua ini adalah teknologi umum, mirip dengan teknologi umum lainnya seperti listrik dan internet."
OpenAI masih menjadi pemimpin dalam LLM, tetapi lembaga analisis semikonduktor percaya bahwa keunggulan GPT-4 terutama berasal dari solusi rekayasa. Jika sumber terbuka, pesaing dapat dengan cepat menyalin. Analis tersebut memperkirakan bahwa perusahaan teknologi besar lainnya mungkin segera dapat mengembangkan model besar yang setara dengan kinerja GPT-4.
Pagar Pertahanan yang Rentan
Saat ini, "Pertarungan Seratus Model" telah menjadi kenyataan objektif.
Laporan menunjukkan bahwa hingga Juli tahun ini, jumlah model besar di China telah mencapai 130, melampaui 114 di Amerika Serikat. Berbagai mitos dan legenda sudah tidak cukup untuk digunakan oleh perusahaan teknologi domestik dalam penamaan.
Selain Tiongkok dan Amerika Serikat, negara kaya lainnya juga telah secara awal mewujudkan "satu negara satu model": Jepang dan Uni Emirat Arab telah memiliki model mereka sendiri, pemerintah India memimpin pengembangan Bhashini, perusahaan internet Korea Naver meluncurkan HyperClova X, dan lain-lain.
Adegan ini seolah-olah kembali ke awal internet, di mana berbagai modal membakar uang untuk menguasai wilayah.
Seperti yang disebutkan sebelumnya, Transformer membuat model besar menjadi masalah rekayasa murni, selama seseorang memiliki uang dan daya komputasi, mereka dapat mengembangkannya. Namun, meskipun ambang masuknya rendah, bukan berarti semua orang bisa menjadi raksasa di era AI.
Kasus tipikal yang disebutkan di awal "pertempuran hewan" adalah: Falcon meskipun sementara memimpin, tetapi sulit untuk mengatakan seberapa besar dampak yang ditimbulkan terhadap Meta.
Perusahaan membuka sumber hasil mereka, tidak hanya untuk berbagi keuntungan teknologi, tetapi juga berharap untuk memanfaatkan kecerdasan sosial. Seiring dengan penggunaan dan perbaikan Llama oleh berbagai pihak, Meta dapat menerapkan hasil tersebut ke dalam produk mereka.
Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan kompetitif inti.
Meta telah menetapkan jalur open source sejak mendirikan laboratorium AI pada tahun 2015. Zuckerberg sangat memahami cara "menjalin hubungan baik dengan masyarakat".
Pada bulan Oktober, Meta juga mengadakan acara "Insentif Kreator Versi AI": Pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial berkesempatan untuk mendapatkan dana sebesar 500.000 dolar.
Saat ini, seri Llama dari Meta telah menjadi panutan untuk LLM sumber terbuka.
Hingga awal Oktober, di antara 10 besar peringkat LLM sumber terbuka, 8 di antaranya dikembangkan berdasarkan Llama 2. Hanya di platform ini, jumlah LLM yang menggunakan lisensi sumber terbuka Llama 2 telah melebihi 1500.
Meningkatkan kinerja memang penting, tetapi saat ini sebagian besar LLM masih memiliki kesenjangan yang jelas dengan GPT-4.
Misalnya, baru-baru ini GPT-4 meraih skor 4,41 dan menduduki puncak daftar tes AgentBench. AgentBench diluncurkan oleh beberapa universitas bersama-sama untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan terbuka multidimensi.
Hasil tes menunjukkan, peringkat kedua Claude hanya 2,77 poin, selisihnya jelas. LLM sumber terbuka yang berisik, nilainya kebanyakan sekitar 1 poin, bahkan belum mencapai 1/4 dari GPT-4.
Perlu diketahui bahwa GPT-4 dirilis pada bulan Maret tahun ini, ini adalah hasil dari rekan-rekan global yang mengejar selama lebih dari setengah tahun. Penyebab perbedaan ini adalah tim ilmuwan OpenAI yang berkualitas tinggi dan pengalaman penelitian LLM yang terakumulasi selama bertahun-tahun.
Dengan kata lain, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ( open source ) atau kemampuan inferensi murni ( closed source ).
Seiring dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan menyatu, karena semua orang menggunakan arsitektur model dan dataset yang serupa.
Masalah lain yang lebih intuitif adalah: selain Midjourney, tampaknya tidak ada model besar lain yang dapat menghasilkan keuntungan.
Titik Jangkauan Nilai
Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir tahun 2024" menarik perhatian. Inti dari artikel tersebut adalah: OpenAI membakar uang terlalu cepat.
Dalam teks disebutkan, sejak pengembangan ChatGPT, kerugian OpenAI semakin meluas dengan cepat, kerugian sekitar 540 juta dolar AS pada tahun 2022, dan hanya bisa menunggu investasi dari Microsoft.
Judul artikel mungkin berlebihan, tetapi mengungkapkan keadaan penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.
Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang dapat menghasilkan uang besar dari AI, dan mungkin hanya ditambahkan Broadcom.
Menurut estimasi perusahaan konsultasi, Nvidia menjual lebih dari 300.000 chip H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang efisien, yang diburu oleh perusahaan teknologi dan lembaga penelitian di seluruh dunia. Jika chip H100 ini ditumpuk bersama, beratnya setara dengan 4,5 pesawat Boeing 747.
Kinerja Nvidia melonjak, dengan pendapatan tahunan tumbuh 854%, mengejutkan Wall Street. Saat ini, H100 dijual di pasar sekunder dengan harga 40-50 ribu dolar AS, sementara biayanya hanya sekitar 3000 dolar AS.
Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri. Sebuah lembaga memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS setiap tahun untuk infrastruktur model besar, sementara model besar hanya menghasilkan pendapatan maksimum 75 miliar dolar AS setiap tahun, terdapat celah setidaknya 125 miliar dolar AS.
Selain itu, kecuali beberapa pengecualian, sebagian besar perusahaan perangkat lunak belum menemukan model keuntungan setelah investasi besar. Bahkan pemimpin industri seperti Microsoft dan Adobe juga tidak berjalan dengan lancar.
Alat pembuatan kode AI GitHub Copilot yang dikembangkan oleh Microsoft bekerja sama dengan OpenAI, meskipun dikenakan biaya 10 dolar per bulan, Microsoft justru mengalami kerugian 20 dolar per bulan karena biaya fasilitas, pengguna berat bahkan membuat Microsoft merugi 80 dolar. Dari sini, dapat diperkirakan bahwa Microsoft 365 Copilot yang dipatok harga 30 dolar mungkin mengalami kerugian lebih banyak.
Begitu pula, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin untuk mencegah pengguna menggunakan secara berlebihan yang dapat menyebabkan kerugian bagi perusahaan. Jika pengguna melebihi poin bulanan, Adobe akan mengurangi kecepatan layanan.
Perlu diketahui bahwa Microsoft dan Adobe adalah raksasa perangkat lunak yang memiliki bisnis yang jelas dan banyak pengguna berbayar. Sementara itu, sebagian besar model besar dengan banyak parameter, masih memiliki skenario aplikasi terbesar dalam percakapan.
Tidak dapat disangkal, tanpa OpenAI dan ChatGPT, revolusi AI ini mungkin tidak akan terjadi. Namun saat ini, nilai yang dihasilkan dari pelatihan model besar masih perlu diperdebatkan.
Selain itu, seiring dengan meningkatnya persaingan homogen dan semakin banyaknya model sumber terbuka, penyedia model besar yang murni mungkin menghadapi tekanan yang lebih besar.
Keberhasilan iPhone 4 bukan karena prosesor A4 dengan proses 45nm, tetapi karena ia bisa memainkan Plants vs. Zombies dan Angry Birds.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
11 Suka
Hadiah
11
4
Posting ulang
Bagikan
Komentar
0/400
PonziDetector
· 9jam yang lalu
Model-model ini tidak ada artinya dalam persaingan untuk menjadi yang pertama, yang penting adalah cara menghasilkan uang.
Lihat AsliBalas0
FreeRider
· 9jam yang lalu
Robek sampai seburuk ini, siapa yang kalah dan siapa yang menang tidak penting, yang penting adalah berakhir.
Lihat AsliBalas0
MoonMathMagic
· 9jam yang lalu
Bertarunglah, bertarunglah, siapa yang menang adalah ayah.
Lihat AsliBalas0
HashRatePhilosopher
· 9jam yang lalu
Main AI masih tergantung siapa yang punya Daya Komputasi besar.
AI Battle of a Hundred Models: Kompetisi yang Dipimpin oleh Teknik dan Tantangan Komersialisasi
"Pertarungan Seratus Model" di Bidang AI: Sebuah Kompetisi Berbasis Rekayasa
Bulan lalu, industri AI menyaksikan "Perang Hewan".
Satu sisi adalah model Llama (Llama) yang diluncurkan oleh Meta, yang sangat disukai oleh pengembang karena sifat open-source-nya. Perusahaan listrik Jepang NEC, setelah mempelajari makalah dan kode Llama, dengan cepat mengembangkan versi ChatGPT dalam bahasa Jepang, membantu Jepang mengatasi kendala teknologi AI.
Di sisi lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan, melampaui alpaca dan menduduki puncak peringkat LLM sumber terbuka.
Peringkat ini dibuat oleh komunitas model sumber terbuka, menyediakan standar untuk mengevaluasi kemampuan LLM. Peringkatnya pada dasarnya bergantian antara Llama dan Falcon.
Llama 2 sementara memimpin setelah diluncurkan, tetapi pada awal September, Falcon meluncurkan versi 180B dan kembali merebut posisi teratas.
Menariknya, pengembang Falcon bukanlah perusahaan teknologi, melainkan sebuah institut penelitian teknologi di ibu kota Uni Emirat Arab. Pejabat pemerintah menyatakan bahwa mereka terlibat dalam kompetisi ini untuk memecahkan pola dominasi.
Pada hari berikutnya setelah rilis versi 180B, Menteri AI Uni Emirat Arab terpilih dalam daftar "100 Orang Paling Berpengaruh di Bidang AI" oleh majalah Time, berdampingan dengan "Bapak AI" Geoffrey Hinton, dan Sam Altman dari OpenAI.
Saat ini, bidang AI telah memasuki fase di mana banyak inovasi bermunculan. Negara dan perusahaan yang memiliki kekuatan finansial tertentu sedang mencoba untuk menciptakan versi lokal dari ChatGPT. Di kawasan Teluk, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk pelatihan LLM bagi universitas dalam negeri.
Ada investor yang pernah mengeluh: Dulu meremehkan inovasi model bisnis internet, merasa tidak ada hambatan. Tidak menyangka bahwa startup model besar teknologi keras masih merupakan pertempuran seratus model.
Mengapa teknologi keras yang diklaim sulit ini bisa berevolusi menjadi kompetisi yang bisa diikuti oleh semua orang?
Algoritma Transformer mengubah aturan permainan
Perusahaan rintisan Amerika, raksasa teknologi China, dan taipan minyak Timur Tengah dapat terlibat dalam pengembangan model besar, semua berkat makalah terkenal "Attention Is All You Need".
Pada tahun 2017, delapan ilmuwan Google mempublikasikan algoritma Transformer dalam makalah ini. Ini adalah makalah yang paling banyak dirujuk ketiga dalam sejarah AI, kemunculan Transformer memicu gelombang panas AI saat ini.
Berbagai model besar saat ini, termasuk seri GPT yang menghebohkan, dibangun di atas dasar Transformer.
Sebelumnya, "mengajarkan mesin untuk membaca" selalu menjadi tantangan akademis yang diakui. Berbeda dengan pengenalan gambar, saat membaca, manusia tidak hanya memperhatikan kata-kata saat ini, tetapi juga menggabungkan konteks untuk memahami. Jaringan saraf awal kesulitan menangani teks panjang dan tidak dapat memahami konteks.
Pada tahun 2014, ilmuwan Google Ilya pertama kali mencapai terobosan. Ia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, yang secara signifikan meningkatkan kinerja Google Translate. RNN memperkenalkan "desain sirkular", yang memungkinkan jaringan saraf memahami konteks.
Kemunculan RNN memicu perdebatan di dunia akademis, penulis Transformer ShaZer juga pernah melakukan penelitian mendalam. Namun, para pengembang segera menyadari bahwa RNN memiliki kekurangan serius: efisiensi perhitungan urutan yang rendah, sulit untuk menangani sejumlah besar parameter.
Sejak tahun 2015, Shazeel dan yang lainnya mulai mengembangkan alternatif RNN, dan hasil akhirnya adalah Transformer. Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar:
Pertama, mengganti desain berulang dengan pengkodean posisi untuk mencapai komputasi paralel, secara signifikan meningkatkan efisiensi pelatihan, dan membawa AI ke era model besar.
Kedua, kemampuan untuk memahami konteks telah diperkuat lebih lanjut.
Transformer secara drastis menyelesaikan berbagai masalah teknis dan secara bertahap menjadi solusi mainstream di bidang NLP. Bahkan pendiri RNN, Ilya, juga beralih ke kubu Transformer.
Dapat dikatakan, Transformer adalah fondasi dari semua model besar saat ini, yang mengubah model besar dari penelitian teoretis menjadi masalah rekayasa.
Pada tahun 2019, GPT-2 yang dikembangkan oleh OpenAI berdasarkan Transformer menggemparkan dunia akademis. Google segera meluncurkan Meena yang lebih kuat, hanya dengan meningkatkan parameter pelatihan dan kekuatan komputasi, Meena melampaui GPT-2. Penulis Transformer, Ashish Vaswani, sangat terkejut dan menulis memo berjudul "Meena Menghancurkan Dunia."
Kemunculan Transformer telah memperlambat kecepatan inovasi algoritma dasar di kalangan akademis. Elemen-elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model secara bertahap menjadi kunci dalam kompetisi AI. Selama perusahaan teknologi memiliki kemampuan teknis tertentu, mereka dapat mengembangkan model besar.
Ilmuwan komputer Andrew Ng mencatat saat berbicara di Universitas Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, serta kecerdasan buatan generatif saat ini. Semua ini adalah teknologi umum, mirip dengan teknologi umum lainnya seperti listrik dan internet."
OpenAI masih menjadi pemimpin dalam LLM, tetapi lembaga analisis semikonduktor percaya bahwa keunggulan GPT-4 terutama berasal dari solusi rekayasa. Jika sumber terbuka, pesaing dapat dengan cepat menyalin. Analis tersebut memperkirakan bahwa perusahaan teknologi besar lainnya mungkin segera dapat mengembangkan model besar yang setara dengan kinerja GPT-4.
Pagar Pertahanan yang Rentan
Saat ini, "Pertarungan Seratus Model" telah menjadi kenyataan objektif.
Laporan menunjukkan bahwa hingga Juli tahun ini, jumlah model besar di China telah mencapai 130, melampaui 114 di Amerika Serikat. Berbagai mitos dan legenda sudah tidak cukup untuk digunakan oleh perusahaan teknologi domestik dalam penamaan.
Selain Tiongkok dan Amerika Serikat, negara kaya lainnya juga telah secara awal mewujudkan "satu negara satu model": Jepang dan Uni Emirat Arab telah memiliki model mereka sendiri, pemerintah India memimpin pengembangan Bhashini, perusahaan internet Korea Naver meluncurkan HyperClova X, dan lain-lain.
Adegan ini seolah-olah kembali ke awal internet, di mana berbagai modal membakar uang untuk menguasai wilayah.
Seperti yang disebutkan sebelumnya, Transformer membuat model besar menjadi masalah rekayasa murni, selama seseorang memiliki uang dan daya komputasi, mereka dapat mengembangkannya. Namun, meskipun ambang masuknya rendah, bukan berarti semua orang bisa menjadi raksasa di era AI.
Kasus tipikal yang disebutkan di awal "pertempuran hewan" adalah: Falcon meskipun sementara memimpin, tetapi sulit untuk mengatakan seberapa besar dampak yang ditimbulkan terhadap Meta.
Perusahaan membuka sumber hasil mereka, tidak hanya untuk berbagi keuntungan teknologi, tetapi juga berharap untuk memanfaatkan kecerdasan sosial. Seiring dengan penggunaan dan perbaikan Llama oleh berbagai pihak, Meta dapat menerapkan hasil tersebut ke dalam produk mereka.
Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan kompetitif inti.
Meta telah menetapkan jalur open source sejak mendirikan laboratorium AI pada tahun 2015. Zuckerberg sangat memahami cara "menjalin hubungan baik dengan masyarakat".
Pada bulan Oktober, Meta juga mengadakan acara "Insentif Kreator Versi AI": Pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial berkesempatan untuk mendapatkan dana sebesar 500.000 dolar.
Saat ini, seri Llama dari Meta telah menjadi panutan untuk LLM sumber terbuka.
Hingga awal Oktober, di antara 10 besar peringkat LLM sumber terbuka, 8 di antaranya dikembangkan berdasarkan Llama 2. Hanya di platform ini, jumlah LLM yang menggunakan lisensi sumber terbuka Llama 2 telah melebihi 1500.
Meningkatkan kinerja memang penting, tetapi saat ini sebagian besar LLM masih memiliki kesenjangan yang jelas dengan GPT-4.
Misalnya, baru-baru ini GPT-4 meraih skor 4,41 dan menduduki puncak daftar tes AgentBench. AgentBench diluncurkan oleh beberapa universitas bersama-sama untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan terbuka multidimensi.
Hasil tes menunjukkan, peringkat kedua Claude hanya 2,77 poin, selisihnya jelas. LLM sumber terbuka yang berisik, nilainya kebanyakan sekitar 1 poin, bahkan belum mencapai 1/4 dari GPT-4.
Perlu diketahui bahwa GPT-4 dirilis pada bulan Maret tahun ini, ini adalah hasil dari rekan-rekan global yang mengejar selama lebih dari setengah tahun. Penyebab perbedaan ini adalah tim ilmuwan OpenAI yang berkualitas tinggi dan pengalaman penelitian LLM yang terakumulasi selama bertahun-tahun.
Dengan kata lain, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ( open source ) atau kemampuan inferensi murni ( closed source ).
Seiring dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan menyatu, karena semua orang menggunakan arsitektur model dan dataset yang serupa.
Masalah lain yang lebih intuitif adalah: selain Midjourney, tampaknya tidak ada model besar lain yang dapat menghasilkan keuntungan.
Titik Jangkauan Nilai
Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir tahun 2024" menarik perhatian. Inti dari artikel tersebut adalah: OpenAI membakar uang terlalu cepat.
Dalam teks disebutkan, sejak pengembangan ChatGPT, kerugian OpenAI semakin meluas dengan cepat, kerugian sekitar 540 juta dolar AS pada tahun 2022, dan hanya bisa menunggu investasi dari Microsoft.
Judul artikel mungkin berlebihan, tetapi mengungkapkan keadaan penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.
Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang dapat menghasilkan uang besar dari AI, dan mungkin hanya ditambahkan Broadcom.
Menurut estimasi perusahaan konsultasi, Nvidia menjual lebih dari 300.000 chip H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang efisien, yang diburu oleh perusahaan teknologi dan lembaga penelitian di seluruh dunia. Jika chip H100 ini ditumpuk bersama, beratnya setara dengan 4,5 pesawat Boeing 747.
Kinerja Nvidia melonjak, dengan pendapatan tahunan tumbuh 854%, mengejutkan Wall Street. Saat ini, H100 dijual di pasar sekunder dengan harga 40-50 ribu dolar AS, sementara biayanya hanya sekitar 3000 dolar AS.
Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri. Sebuah lembaga memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS setiap tahun untuk infrastruktur model besar, sementara model besar hanya menghasilkan pendapatan maksimum 75 miliar dolar AS setiap tahun, terdapat celah setidaknya 125 miliar dolar AS.
Selain itu, kecuali beberapa pengecualian, sebagian besar perusahaan perangkat lunak belum menemukan model keuntungan setelah investasi besar. Bahkan pemimpin industri seperti Microsoft dan Adobe juga tidak berjalan dengan lancar.
Alat pembuatan kode AI GitHub Copilot yang dikembangkan oleh Microsoft bekerja sama dengan OpenAI, meskipun dikenakan biaya 10 dolar per bulan, Microsoft justru mengalami kerugian 20 dolar per bulan karena biaya fasilitas, pengguna berat bahkan membuat Microsoft merugi 80 dolar. Dari sini, dapat diperkirakan bahwa Microsoft 365 Copilot yang dipatok harga 30 dolar mungkin mengalami kerugian lebih banyak.
Begitu pula, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin untuk mencegah pengguna menggunakan secara berlebihan yang dapat menyebabkan kerugian bagi perusahaan. Jika pengguna melebihi poin bulanan, Adobe akan mengurangi kecepatan layanan.
Perlu diketahui bahwa Microsoft dan Adobe adalah raksasa perangkat lunak yang memiliki bisnis yang jelas dan banyak pengguna berbayar. Sementara itu, sebagian besar model besar dengan banyak parameter, masih memiliki skenario aplikasi terbesar dalam percakapan.
Tidak dapat disangkal, tanpa OpenAI dan ChatGPT, revolusi AI ini mungkin tidak akan terjadi. Namun saat ini, nilai yang dihasilkan dari pelatihan model besar masih perlu diperdebatkan.
Selain itu, seiring dengan meningkatnya persaingan homogen dan semakin banyaknya model sumber terbuka, penyedia model besar yang murni mungkin menghadapi tekanan yang lebih besar.
Keberhasilan iPhone 4 bukan karena prosesor A4 dengan proses 45nm, tetapi karena ia bisa memainkan Plants vs. Zombies dan Angry Birds.