Setelah rilis Windows Copilot, popularitas konferensi Microsoft Build diledakkan oleh pidato.
Mantan direktur AI Tesla Andrej Karpathy percaya dalam pidatonya bahwa pohon pemikiran mirip dengan Monte Carlo Tree Search (MCTS) dari AlphaGo!
Netizen berteriak: Ini adalah panduan paling detail dan menarik tentang cara menggunakan model bahasa besar dan model GPT-4!
Selain itu, Karpathy mengungkapkan bahwa karena perluasan pelatihan dan data, LLAMA 65B "secara signifikan lebih bertenaga daripada GPT-3 175B", dan memperkenalkan arena ChatBot Arena anonim model besar:
Skor Claude antara ChatGPT 3.5 dan ChatGPT 4.
Netizen mengatakan bahwa pidato Karpathy selalu bagus, dan kali ini, seperti biasa, kontennya tidak mengecewakan semua orang.
Yang menjadi populer dengan pidato tersebut juga merupakan catatan yang disusun oleh netizen Twitter berdasarkan pidato tersebut, total ada 31 catatan, dan jumlah repost telah melebihi 3000+:
Jadi, apa yang secara khusus disebutkan dalam pidato yang banyak ditonton ini?
Bagaimana cara melatih asisten GPT?
Pidato Karpathy kali ini terutama dibagi menjadi dua bagian.
Bagian Satu, dia berbicara tentang cara melatih "asisten GPT".
Karpathy terutama menjelaskan empat tahap pelatihan asisten AI: pra-pelatihan, penyetelan halus yang diawasi, pemodelan hadiah, dan pembelajaran penguatan.
Setiap tahap membutuhkan dataset.
Pada tahap pra-pelatihan, sejumlah besar sumber daya komputasi diperlukan untuk mengumpulkan kumpulan data dalam jumlah besar. Latih model dasar pada kumpulan data besar tanpa pengawasan.
Karpathy melengkapinya dengan lebih banyak contoh:
Dengan menggunakan set data terawasi yang lebih kecil, penyempurnaan model dasar ini dengan pembelajaran terawasi menghasilkan model asisten yang dapat menjawab pertanyaan.
Dia juga menunjukkan proses evolusi beberapa model. Saya yakin banyak orang telah melihat gambar "pohon evolusi" di atas sebelumnya.
Karpathy percaya bahwa model open source terbaik saat ini adalah seri LLaMA Meta (karena OpenAI belum open source apa pun tentang GPT-4).
Yang perlu ditunjukkan dengan jelas di sini adalah bahwa model dasar bukanlah model asisten.
Meskipun model dasar dapat menjawab pertanyaan, jawaban yang diberikannya tidak dapat diandalkan, dan model asistenlah yang dapat digunakan untuk menjawab pertanyaan tersebut. Model asisten yang dilatih pada model dasar, dengan penyempurnaan yang diawasi, akan mengungguli model dasar dalam menghasilkan respons dan memahami struktur teks.
Pembelajaran penguatan adalah proses penting lainnya saat melatih model bahasa.
Melalui pelatihan dengan data berkualitas tinggi berlabel manusia, pemodelan hadiah dapat digunakan untuk membuat fungsi kerugian guna meningkatkan kinerjanya. Kemudian, pelatihan penguatan dilakukan dengan meningkatkan label positif dan mengurangi kemungkinan label negatif.
Dalam tugas kreatif, penggunaan penilaian manusia sangat penting untuk menyempurnakan model AI, dan menambahkan umpan balik manusia dapat melatih model secara lebih efektif.
Setelah pembelajaran intensif dengan umpan balik manusia, model RLHF dapat diperoleh.
Setelah model dilatih, langkah selanjutnya adalah bagaimana menggunakan model ini secara efektif untuk menyelesaikan masalah.
Bagaimana cara menggunakan model dengan lebih baik?
Di Bagian Dua, Karpathy berfokus pada strategi petunjuk, penyempurnaan, ekosistem alat yang berkembang pesat, dan ekspansi di masa mendatang.
Karpathy memberikan contoh spesifik untuk diilustrasikan:
Saat kita menulis artikel, kita akan melakukan banyak aktivitas mental, dan kita perlu mempertimbangkan apakah pernyataan kita benar. Untuk GPT, ini hanyalah urutan token.
Dan hint() dapat menutupi perbedaan kognitif ini.
Karpathy menjelaskan lebih lanjut cara kerja petunjuk Thought Chain.
Untuk masalah inferensi, jika Anda ingin Transformer bekerja lebih baik dalam pemrosesan bahasa alami, Anda harus membiarkannya memproses informasi selangkah demi selangkah, daripada langsung melemparkannya ke masalah yang sangat rumit.
Jika Anda memberikan beberapa contoh, itu akan meniru template contoh ini, dan hasil akhir yang dihasilkan akan lebih baik.
Model hanya dapat menjawab pertanyaan dalam urutannya, dan jika yang dihasilkannya salah, Anda dapat memintanya untuk membuat ulang.
Jika Anda tidak memintanya untuk memeriksa, itu tidak akan memeriksa dirinya sendiri.
Ini melibatkan pertanyaan 1 dan 2.
Daniel Kahneman, seorang peraih Nobel di bidang ekonomi, mengusulkan dalam "Berpikir Cepat dan Lambat" bahwa sistem kognitif manusia mencakup dua subsistem, 1 dan 2. 1 terutama didasarkan pada intuisi, sedangkan 2 adalah sistem analisis logis.
Dalam istilah awam, 1 adalah proses yang cepat dan otomatis, dan 2 adalah bagian yang dipikirkan dengan matang.
Ini juga disebutkan dalam makalah populer baru-baru ini "Pohon pemikiran".
Bijaksana mengacu pada, tidak hanya memberikan jawaban atas pertanyaan, tetapi lebih seperti digunakan dengan kode lem Python, merangkai banyak hal menjadi satu. Model harus mempertahankan banyak petunjuk, dan harus melakukan beberapa algoritme pencarian pohon untuk menemukan petunjuk mana yang perlu diperluas.
Karpathy menganggap garis pemikiran ini sangat mirip dengan AlphaGo:
Saat AlphaGo memainkan Go, perlu dipertimbangkan di mana bidak selanjutnya akan ditempatkan. Awalnya ia belajar dengan meniru manusia.
Tapi di atas semua itu, ia melakukan pencarian pohon Monte Carlo, yang mengarah ke strategi dengan banyak kemungkinan. Itu dapat mengevaluasi beberapa kemungkinan gerakan dan hanya mempertahankan strategi yang lebih baik. Saya pikir ini setara dengan AlphaGo.
Dalam hal ini, Karpathy juga menyebutkan AutoGPT:
Menurut saya ini tidak berfungsi dengan baik saat ini, dan saya tidak merekomendasikannya untuk penggunaan praktis. Saya hanya berpikir bahwa seiring berjalannya waktu kita mungkin dapat mengambil inspirasi dari mana arahnya.
Kedua, ada kudeta kecil lainnya yaitu pengambilan generasi yang ditingkatkan (retri agumented generation) dan petunjuk yang efektif.
Konten konteks jendela adalah memori kerja transformer saat runtime, dan jika Anda dapat memasukkan informasi terkait tugas ke dalam konteks, itu akan bekerja dengan sangat baik karena memiliki akses langsung ke informasi ini.
Singkatnya, data terkait dapat diindeks sehingga model dapat diakses secara efisien.
Akan bekerja lebih baik jika Transformers juga memiliki dokumen utama untuk dirujuk.
Terakhir, Karpathy secara singkat membahas tentang Constraint dan fine-tuning dalam model bahasa besar. Model bahasa besar dapat ditingkatkan melalui petunjuk kendala dan penyempurnaan. Petunjuk kendala memberlakukan template dalam keluaran model bahasa besar, sementara penyesuaian halus menyesuaikan bobot model untuk meningkatkan kinerja.
Saya merekomendasikan penggunaan model bahasa besar untuk aplikasi berisiko rendah, selalu menggabungkannya dengan pengawasan manusia, melihatnya sebagai sumber inspirasi dan saran, mempertimbangkan kopilot daripada menjadikannya agen yang sepenuhnya otonom.
Tentang Andrej Karpathy
Pekerjaan pertama Dr. Andrej Karpathy setelah lulus adalah mempelajari visi komputer di OpenAI.
Belakangan, Musk, salah satu pendiri OpenAI, menyukai Karpathy dan menarik orang ke Tesla. Tetapi juga karena kejadian ini, Musk dan OpenAI benar-benar jatuh, dan akhirnya dikeluarkan. Di Tesla, Karpathy adalah kepala proyek seperti Autopilot dan FSD.
Pada bulan Februari tahun ini, tujuh bulan setelah keluar dari Tesla, Karpathy kembali bergabung dengan OpenAI.
Baru-baru ini, dia men-tweet bahwa saat ini ada banyak minat dalam pengembangan ekosistem model bahasa besar sumber terbuka, yang mirip dengan tanda ledakan awal Cambrian.
Pintu gerbang: [1] video pidato) [2] pemikiran" esai)
Tautan referensi: [1]
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Seseorang akhirnya menjelaskan tentang status quo GPT! Pidato terbaru oleh OpenAI Daniel sangat populer, dan itu harus dipilih secara jenius oleh Musk
Sumber: Qubit
Setelah rilis Windows Copilot, popularitas konferensi Microsoft Build diledakkan oleh pidato.
Mantan direktur AI Tesla Andrej Karpathy percaya dalam pidatonya bahwa pohon pemikiran mirip dengan Monte Carlo Tree Search (MCTS) dari AlphaGo!
Netizen berteriak: Ini adalah panduan paling detail dan menarik tentang cara menggunakan model bahasa besar dan model GPT-4!
Yang menjadi populer dengan pidato tersebut juga merupakan catatan yang disusun oleh netizen Twitter berdasarkan pidato tersebut, total ada 31 catatan, dan jumlah repost telah melebihi 3000+:
Bagaimana cara melatih asisten GPT?
Pidato Karpathy kali ini terutama dibagi menjadi dua bagian.
Bagian Satu, dia berbicara tentang cara melatih "asisten GPT".
Karpathy terutama menjelaskan empat tahap pelatihan asisten AI: pra-pelatihan, penyetelan halus yang diawasi, pemodelan hadiah, dan pembelajaran penguatan.
Setiap tahap membutuhkan dataset.
Karpathy melengkapinya dengan lebih banyak contoh:
Yang perlu ditunjukkan dengan jelas di sini adalah bahwa model dasar bukanlah model asisten.
Meskipun model dasar dapat menjawab pertanyaan, jawaban yang diberikannya tidak dapat diandalkan, dan model asistenlah yang dapat digunakan untuk menjawab pertanyaan tersebut. Model asisten yang dilatih pada model dasar, dengan penyempurnaan yang diawasi, akan mengungguli model dasar dalam menghasilkan respons dan memahami struktur teks.
Pembelajaran penguatan adalah proses penting lainnya saat melatih model bahasa.
Melalui pelatihan dengan data berkualitas tinggi berlabel manusia, pemodelan hadiah dapat digunakan untuk membuat fungsi kerugian guna meningkatkan kinerjanya. Kemudian, pelatihan penguatan dilakukan dengan meningkatkan label positif dan mengurangi kemungkinan label negatif.
Dalam tugas kreatif, penggunaan penilaian manusia sangat penting untuk menyempurnakan model AI, dan menambahkan umpan balik manusia dapat melatih model secara lebih efektif.
Setelah pembelajaran intensif dengan umpan balik manusia, model RLHF dapat diperoleh.
Setelah model dilatih, langkah selanjutnya adalah bagaimana menggunakan model ini secara efektif untuk menyelesaikan masalah.
Bagaimana cara menggunakan model dengan lebih baik?
Di Bagian Dua, Karpathy berfokus pada strategi petunjuk, penyempurnaan, ekosistem alat yang berkembang pesat, dan ekspansi di masa mendatang.
Karpathy memberikan contoh spesifik untuk diilustrasikan:
Dan hint() dapat menutupi perbedaan kognitif ini.
Karpathy menjelaskan lebih lanjut cara kerja petunjuk Thought Chain.
Untuk masalah inferensi, jika Anda ingin Transformer bekerja lebih baik dalam pemrosesan bahasa alami, Anda harus membiarkannya memproses informasi selangkah demi selangkah, daripada langsung melemparkannya ke masalah yang sangat rumit.
Daniel Kahneman, seorang peraih Nobel di bidang ekonomi, mengusulkan dalam "Berpikir Cepat dan Lambat" bahwa sistem kognitif manusia mencakup dua subsistem, 1 dan 2. 1 terutama didasarkan pada intuisi, sedangkan 2 adalah sistem analisis logis.
Dalam istilah awam, 1 adalah proses yang cepat dan otomatis, dan 2 adalah bagian yang dipikirkan dengan matang.
Ini juga disebutkan dalam makalah populer baru-baru ini "Pohon pemikiran".
Karpathy menganggap garis pemikiran ini sangat mirip dengan AlphaGo:
Dalam hal ini, Karpathy juga menyebutkan AutoGPT:
Konten konteks jendela adalah memori kerja transformer saat runtime, dan jika Anda dapat memasukkan informasi terkait tugas ke dalam konteks, itu akan bekerja dengan sangat baik karena memiliki akses langsung ke informasi ini.
Singkatnya, data terkait dapat diindeks sehingga model dapat diakses secara efisien.
Terakhir, Karpathy secara singkat membahas tentang Constraint dan fine-tuning dalam model bahasa besar. Model bahasa besar dapat ditingkatkan melalui petunjuk kendala dan penyempurnaan. Petunjuk kendala memberlakukan template dalam keluaran model bahasa besar, sementara penyesuaian halus menyesuaikan bobot model untuk meningkatkan kinerja.
Tentang Andrej Karpathy
Belakangan, Musk, salah satu pendiri OpenAI, menyukai Karpathy dan menarik orang ke Tesla. Tetapi juga karena kejadian ini, Musk dan OpenAI benar-benar jatuh, dan akhirnya dikeluarkan. Di Tesla, Karpathy adalah kepala proyek seperti Autopilot dan FSD.
Pada bulan Februari tahun ini, tujuh bulan setelah keluar dari Tesla, Karpathy kembali bergabung dengan OpenAI.
Baru-baru ini, dia men-tweet bahwa saat ini ada banyak minat dalam pengembangan ekosistem model bahasa besar sumber terbuka, yang mirip dengan tanda ledakan awal Cambrian.
Tautan referensi: [1]