Banyaknya raksasa di bidang AI, perang LLM sedang berlangsung
Bulan lalu, dunia AI meledak dengan "Perang Hewan".
Salah satu pihak dalam pertarungan ini adalah model Llama yang diluncurkan oleh Meta. Karena sifat open-source-nya, Llama sangat disukai oleh para pengembang. Perusahaan listrik Jepang NEC setelah mempelajari makalah dan kode Llama, dengan cepat mengembangkan versi ChatGPT dalam bahasa Jepang, yang mengatasi kekurangan Jepang di bidang AI.
Pihak lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan dan menduduki puncak daftar peringkat LLM sumber terbuka. Daftar ini dibuat oleh komunitas Hugging Face untuk menyediakan standar dalam mengevaluasi kemampuan LLM. Peringkat ini pada dasarnya terdiri dari Llama dan Falcon yang bergantian menduduki posisi teratas.
Setelah peluncuran Llama 2, untuk sementara kembali meraih keunggulan. Namun, pada awal September, Falcon meluncurkan versi 180B, sekali lagi meraih peringkat yang lebih tinggi.
Menariknya, pengembang Falcon bukanlah perusahaan teknologi, melainkan lembaga penelitian inovasi teknologi yang berbasis di Abu Dhabi. Pejabat UEA menyatakan bahwa mereka terlibat dalam bidang ini untuk menggulingkan pemain inti.
Pada hari setelah peluncuran versi 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih dalam daftar "100 Orang Terpengaruh di Bidang AI" yang diadakan oleh majalah Time. Bersamanya terpilih juga "Bapak AI" Hinton, Altman dari OpenAI, dan lainnya.
Saat ini, bidang AI telah memasuki fase persaingan yang ketat. Negara dan perusahaan dengan kekuatan finansial tertentu sedang mencoba untuk menciptakan model bahasa besar mereka sendiri. Hanya di kawasan Teluk, ada lebih dari satu pemain. Pada bulan Agustus, Arab Saudi membeli lebih dari 3000 chip H100 untuk pelatihan LLM di universitas dalam negeri.
Seorang investor mengeluh: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada batasan. Tidak menyangka startup model besar teknologi keras tetap merupakan perang seratus model..."
Awalnya saya pikir ini adalah teknologi keras yang sulit, bagaimana bisa berubah menjadi perlombaan yang bisa diikuti oleh semua orang?
Transformer mengubah aturan permainan
Baik perusahaan rintisan Amerika, raksasa teknologi China, maupun taipan minyak Timur Tengah, kemampuan untuk terlibat dalam penelitian dan pengembangan model besar berkat makalah terkenal itu: "Attention Is All You Need".
Pada tahun 2017, delapan ilmuwan Google menerbitkan algoritma Transformer dalam makalah ini. Makalah ini saat ini adalah makalah yang paling banyak dikutip ketiga dalam sejarah AI, kemunculan Transformer memicu gelombang panas AI saat ini.
Saat ini, berbagai model besar, termasuk seri GPT yang menghebohkan, dibangun di atas dasar Transformer.
Sebelum ini, "mengajarkan mesin membaca" telah menjadi tantangan akademis yang diakui. Berbeda dengan pengenalan gambar, saat manusia membaca, mereka tidak hanya memperhatikan kata-kata saat ini, tetapi juga menggabungkan konteks untuk memahami.
Namun, input dari jaringan saraf awal adalah independen dan tidak dapat memahami makna keseluruhan dari artikel panjang, sehingga sering terjadi masalah terjemahan yang salah.
Pada tahun 2014, ilmuwan Google Ilya pertama kali mencapai terobosan. Dia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, yang secara signifikan meningkatkan kinerja Google Translate.
RNN mengusulkan "desain siklik", yang memungkinkan neuron untuk menerima input saat ini serta input dari waktu sebelumnya, sehingga memiliki kemampuan "menggabungkan konteks".
Munculnya RNN memicu semangat di kalangan akademisi, penulis makalah Transformer, Shazeel, juga pernah melakukan penelitian mendalam. Namun, para pengembang dengan cepat menyadari bahwa RNN memiliki kekurangan yang serius:
Algoritma ini menggunakan perhitungan berurutan, meskipun telah menyelesaikan masalah konteks, tetapi efisiensi operasinya tidak tinggi, sulit untuk menangani banyak parameter.
Desain RNN yang rumit membuat Shazelle merasa jenuh. Oleh karena itu, mulai tahun 2015, Shazelle dan 7 rekan kerjanya mulai mengembangkan alternatif RNN, dan hasil akhirnya adalah Transformer.
Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar:
Pertama, menggunakan pengkodean posisi untuk menggantikan desain berulang, mewujudkan komputasi paralel, secara signifikan meningkatkan efisiensi pelatihan, membawa AI memasuki era model besar; kedua, lebih lanjut memperkuat kemampuan untuk memahami konteks.
Transformer secara drastis menyelesaikan berbagai kekurangan, secara bertahap menjadi solusi standar di bidang NLP, memiliki perasaan "Tanpa Transformer, NLP akan berlama-lama dalam kegelapan selamanya." Bahkan Ilya juga meninggalkan RNN, beralih ke kubu Transformer.
Dengan kata lain, Transformer adalah fondasi dari semua model besar saat ini, yang mengubah model besar dari penelitian teoritis menjadi masalah rekayasa murni.
Pada tahun 2019, OpenAI mengembangkan GPT-2 berbasis Transformer yang mengejutkan dunia akademis. Sebagai tanggapan, Google dengan cepat meluncurkan Meena yang memiliki kinerja lebih kuat.
Dibandingkan dengan GPT-2, Meena tidak memiliki inovasi algoritma, hanya menambah 8,5 kali jumlah parameter pelatihan dan 14 kali kekuatan komputasi. Penulis Transformer, Vaswani, sangat terkejut dengan "penumpukan kekerasan" ini dan menuliskan memo "Meena Menelan Dunia".
Setelah munculnya Transformer, kecepatan inovasi algoritma dasar melambat. Elemen-elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam kompetisi AI; selama sebuah perusahaan memiliki kemampuan teknis yang cukup, mereka dapat mengembangkan model besar.
Oleh karena itu, ilmuwan Andrew Ng mengemukakan dalam pidato di Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, serta AI generatif saat ini. Semua ini adalah teknologi umum, mirip dengan listrik dan internet."
OpenAI tetap menjadi acuan LLM, tetapi lembaga analisis semikonduktor Semi Analysis berpendapat bahwa keunggulan GPT-4 berasal dari solusi rekayasa—jika open source, pesaing mana pun dapat dengan cepat menyalin.
Analis ini memperkirakan bahwa perusahaan teknologi besar lainnya mungkin segera dapat mengembangkan model besar yang kinerjanya setara dengan GPT-4.
Parit tidaklah tak terkalahkan
Saat ini, "perang ratusan model" tidak lagi sekadar kiasan, tetapi kenyataan.
Menurut laporan, hingga Juli tahun ini, jumlah model besar di China telah mencapai 130, melampaui 114 di Amerika Serikat, berbagai mitos dan legenda hampir tidak cukup untuk digunakan oleh perusahaan teknologi dalam negeri untuk penamaan.
Selain China dan Amerika, banyak negara yang lebih kaya juga telah mencapai "satu negara, satu model": selain Jepang dan Uni Emirat Arab, ada juga Bhashini yang dipimpin oleh pemerintah India, serta HyperClova X yang dikembangkan oleh perusahaan Naver dari Korea.
Situasi ini mengingatkan kita pada pemandangan gelembung awal internet yang bertebaran, serta pesta kapital.
Seperti yang disebutkan sebelumnya, Transformer mengubah model besar menjadi masalah rekayasa murni, selama ada bakat, dana, dan sumber daya komputasi, pengembangan dapat dilakukan. Namun, mudah untuk masuk, tetapi menjadi raksasa di era AI bukanlah hal yang mudah.
Contoh klasik yang disebutkan di awal "Perang Hewan" adalah: Falcon meskipun sementara memimpin Llama, tetapi sulit untuk mengatakan seberapa besar dampaknya terhadap Meta.
Seperti yang kita ketahui, perusahaan yang membuka sumber hasilnya tidak hanya berbagi manfaat teknologi, tetapi juga berharap dapat memanfaatkan kekuatan masyarakat. Seiring dengan penggunaan dan perbaikan Llama yang terus dilakukan oleh akademisi, lembaga penelitian, dan perusahaan, Meta dapat menerapkan hasil ini ke dalam produk mereka sendiri.
Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan inti.
Sejak membentuk laboratorium AI pada tahun 2015, Meta telah menetapkan jalur sumber terbuka; Zuckerberg yang memang berawal dari media sosial lebih memahami pentingnya "menjalin hubungan baik dengan masyarakat".
Misalnya pada bulan Oktober, Meta secara khusus menyelenggarakan acara "Insentif Pembuat AI": pengembang yang menggunakan Llama 2 untuk memecahkan masalah sosial seperti pendidikan dan lingkungan berkesempatan mendapatkan dana sebesar 500.000 dolar.
Saat ini, seri Llama dari Meta telah menjadi tolok ukur untuk LLM sumber terbuka.
Hingga awal Oktober, di peringkat LLM open source Hugging Face yang teratas, 8 dari 10 dikembangkan berdasarkan Llama 2 dan menggunakan protokol open source-nya. Hanya di Hugging Face, LLM yang menggunakan protokol Llama 2 telah melebihi 1500.
Tentu saja, meningkatkan kinerja seperti Falcon juga bukan hal yang buruk, tetapi saat ini sebagian besar LLM di pasar masih memiliki perbedaan yang jelas dengan GPT-4.
Misalnya, baru-baru ini, GPT-4 meraih juara dalam tes AgentBench dengan skor 4,41. AgentBench diluncurkan oleh Universitas Tsinghua bersama beberapa universitas ternama di Amerika Serikat, untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan terbuka multidimensional, dengan konten pengujian mencakup tugas di 8 lingkungan berbeda seperti sistem operasi, basis data, grafik pengetahuan, dan pertempuran kartu.
Hasil tes menunjukkan, peringkat kedua Claude hanya mendapatkan 2,77 poin, perbedaannya jelas. Adapun LLM sumber terbuka yang terdengar megah, nilainya sebagian besar sekitar 1 poin, bahkan belum mencapai seperempat dari GPT-4.
Perlu diketahui, GPT-4 diluncurkan pada bulan Maret tahun ini, dan ini adalah hasil setelah lebih dari setengah tahun diikuti oleh pesaing global. Penyebab perbedaan ini adalah tim penelitian yang berkualitas tinggi dari OpenAI dan pengalaman yang terakumulasi selama bertahun-tahun, sehingga mereka selalu dapat mempertahankan posisi terdepan.
Dengan kata lain, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ( sumber terbuka ) atau kemampuan inferensi murni ( tertutup ).
Seiring dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan serupa, karena semua orang menggunakan arsitektur model dan dataset yang serupa.
Masalah lain yang lebih intuitif adalah: selain Midjourney, tampaknya tidak ada model besar lain yang dapat menghasilkan keuntungan.
Penetapan Nilai
Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin bangkrut pada akhir 2024" menarik perhatian. Inti dari artikel tersebut dapat dirangkum dalam satu kalimat: OpenAI membakar uang terlalu cepat.
Dalam teks disebutkan bahwa sejak mengembangkan ChatGPT, kerugian OpenAI dengan cepat meluas, dengan kerugian sekitar 540 juta dolar AS pada tahun 2022, hanya dapat bergantung pada investasi dari Microsoft.
Meskipun judul artikelnya terkesan sensasional, ia juga mengungkapkan banyak tentang keadaan penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.
Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang menghasilkan banyak uang dengan AI, paling banyak ditambah Broadcom.
Menurut estimasi perusahaan konsultasi Omdia, Nvidia menjual lebih dari 300.000 unit H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang sangat efisien, yang diburu oleh perusahaan teknologi dan lembaga penelitian di seluruh dunia. Jika 300.000 unit H100 ditumpuk bersama, beratnya setara dengan 4,5 pesawat Boeing 747.
Kinerja Nvidia melonjak, dengan pendapatan tumbuh 854% dibandingkan tahun sebelumnya, mengejutkan Wall Street. Perlu dicatat bahwa H100 telah diperdagangkan di pasar kedua dengan harga 40-50 ribu dolar, sementara biaya materialnya hanya sekitar 3000 dolar.
Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri dalam beberapa hal. Sequoia Capital pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar USD setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimum 75 miliar USD per tahun, ada celah setidaknya 125 miliar USD di antara keduanya.
Selain itu, kecuali beberapa pengecualian seperti Midjourney, sebagian besar perusahaan perangkat lunak belum menemukan model profitabilitas meskipun telah menginvestasikan banyak uang. Terutama pemimpin industri Microsoft dan Adobe mengalami kesulitan.
Alat penghasil kode AI GitHub Copilot yang dikembangkan oleh Microsoft bekerja sama dengan OpenAI, meskipun dikenakan biaya 10 dolar per bulan, namun karena biaya fasilitas, Microsoft justru merugi 20 dolar per pengguna, pengguna berat bahkan membuat Microsoft merugi 80 dolar per bulan. Dari sini dapat disimpulkan, Microsoft 365 Copilot yang dipatok dengan harga 30 dolar mungkin mengalami kerugian yang lebih besar.
Demikian juga, Adobe yang baru saja merilis alat Firefly AI dengan cepat meluncurkan sistem poin untuk mencegah pengguna menggunakan terlalu banyak yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi poin yang dialokasikan setiap bulan, Adobe akan mengurangi kecepatan layanan.
Perlu diketahui bahwa Microsoft dan Adobe adalah raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, sebagian besar model besar yang memiliki banyak parameter, masih memiliki skenario aplikasi terbesar yaitu obrolan.
Tidak dapat disangkal, jika tidak ada OpenAI dan ChatGPT yang muncul, revolusi AI ini mungkin tidak akan terjadi; namun saat ini, nilai yang diciptakan oleh pelatihan model besar tampaknya masih perlu diperdebatkan.
Selain itu, dengan semakin ketatnya persaingan yang homogen dan semakin banyaknya model sumber terbuka, penyedia model besar yang murni mungkin menghadapi tantangan yang lebih besar.
Keberhasilan iPhone 4 bukan karena prosesor A4 45nm, tetapi karena dapat memainkan Plants vs. Zombies dan Angry Birds.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Pertarungan Ratusan Model: Banyak Pemimpin Muncul di Bidang AI, Model Bahasa Besar Menghadapi Tantangan Profitabilitas
Banyaknya raksasa di bidang AI, perang LLM sedang berlangsung
Bulan lalu, dunia AI meledak dengan "Perang Hewan".
Salah satu pihak dalam pertarungan ini adalah model Llama yang diluncurkan oleh Meta. Karena sifat open-source-nya, Llama sangat disukai oleh para pengembang. Perusahaan listrik Jepang NEC setelah mempelajari makalah dan kode Llama, dengan cepat mengembangkan versi ChatGPT dalam bahasa Jepang, yang mengatasi kekurangan Jepang di bidang AI.
Pihak lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan dan menduduki puncak daftar peringkat LLM sumber terbuka. Daftar ini dibuat oleh komunitas Hugging Face untuk menyediakan standar dalam mengevaluasi kemampuan LLM. Peringkat ini pada dasarnya terdiri dari Llama dan Falcon yang bergantian menduduki posisi teratas.
Setelah peluncuran Llama 2, untuk sementara kembali meraih keunggulan. Namun, pada awal September, Falcon meluncurkan versi 180B, sekali lagi meraih peringkat yang lebih tinggi.
Menariknya, pengembang Falcon bukanlah perusahaan teknologi, melainkan lembaga penelitian inovasi teknologi yang berbasis di Abu Dhabi. Pejabat UEA menyatakan bahwa mereka terlibat dalam bidang ini untuk menggulingkan pemain inti.
Pada hari setelah peluncuran versi 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih dalam daftar "100 Orang Terpengaruh di Bidang AI" yang diadakan oleh majalah Time. Bersamanya terpilih juga "Bapak AI" Hinton, Altman dari OpenAI, dan lainnya.
Saat ini, bidang AI telah memasuki fase persaingan yang ketat. Negara dan perusahaan dengan kekuatan finansial tertentu sedang mencoba untuk menciptakan model bahasa besar mereka sendiri. Hanya di kawasan Teluk, ada lebih dari satu pemain. Pada bulan Agustus, Arab Saudi membeli lebih dari 3000 chip H100 untuk pelatihan LLM di universitas dalam negeri.
Seorang investor mengeluh: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada batasan. Tidak menyangka startup model besar teknologi keras tetap merupakan perang seratus model..."
Awalnya saya pikir ini adalah teknologi keras yang sulit, bagaimana bisa berubah menjadi perlombaan yang bisa diikuti oleh semua orang?
Transformer mengubah aturan permainan
Baik perusahaan rintisan Amerika, raksasa teknologi China, maupun taipan minyak Timur Tengah, kemampuan untuk terlibat dalam penelitian dan pengembangan model besar berkat makalah terkenal itu: "Attention Is All You Need".
Pada tahun 2017, delapan ilmuwan Google menerbitkan algoritma Transformer dalam makalah ini. Makalah ini saat ini adalah makalah yang paling banyak dikutip ketiga dalam sejarah AI, kemunculan Transformer memicu gelombang panas AI saat ini.
Saat ini, berbagai model besar, termasuk seri GPT yang menghebohkan, dibangun di atas dasar Transformer.
Sebelum ini, "mengajarkan mesin membaca" telah menjadi tantangan akademis yang diakui. Berbeda dengan pengenalan gambar, saat manusia membaca, mereka tidak hanya memperhatikan kata-kata saat ini, tetapi juga menggabungkan konteks untuk memahami.
Namun, input dari jaringan saraf awal adalah independen dan tidak dapat memahami makna keseluruhan dari artikel panjang, sehingga sering terjadi masalah terjemahan yang salah.
Pada tahun 2014, ilmuwan Google Ilya pertama kali mencapai terobosan. Dia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, yang secara signifikan meningkatkan kinerja Google Translate.
RNN mengusulkan "desain siklik", yang memungkinkan neuron untuk menerima input saat ini serta input dari waktu sebelumnya, sehingga memiliki kemampuan "menggabungkan konteks".
Munculnya RNN memicu semangat di kalangan akademisi, penulis makalah Transformer, Shazeel, juga pernah melakukan penelitian mendalam. Namun, para pengembang dengan cepat menyadari bahwa RNN memiliki kekurangan yang serius:
Algoritma ini menggunakan perhitungan berurutan, meskipun telah menyelesaikan masalah konteks, tetapi efisiensi operasinya tidak tinggi, sulit untuk menangani banyak parameter.
Desain RNN yang rumit membuat Shazelle merasa jenuh. Oleh karena itu, mulai tahun 2015, Shazelle dan 7 rekan kerjanya mulai mengembangkan alternatif RNN, dan hasil akhirnya adalah Transformer.
Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar:
Pertama, menggunakan pengkodean posisi untuk menggantikan desain berulang, mewujudkan komputasi paralel, secara signifikan meningkatkan efisiensi pelatihan, membawa AI memasuki era model besar; kedua, lebih lanjut memperkuat kemampuan untuk memahami konteks.
Transformer secara drastis menyelesaikan berbagai kekurangan, secara bertahap menjadi solusi standar di bidang NLP, memiliki perasaan "Tanpa Transformer, NLP akan berlama-lama dalam kegelapan selamanya." Bahkan Ilya juga meninggalkan RNN, beralih ke kubu Transformer.
Dengan kata lain, Transformer adalah fondasi dari semua model besar saat ini, yang mengubah model besar dari penelitian teoritis menjadi masalah rekayasa murni.
Pada tahun 2019, OpenAI mengembangkan GPT-2 berbasis Transformer yang mengejutkan dunia akademis. Sebagai tanggapan, Google dengan cepat meluncurkan Meena yang memiliki kinerja lebih kuat.
Dibandingkan dengan GPT-2, Meena tidak memiliki inovasi algoritma, hanya menambah 8,5 kali jumlah parameter pelatihan dan 14 kali kekuatan komputasi. Penulis Transformer, Vaswani, sangat terkejut dengan "penumpukan kekerasan" ini dan menuliskan memo "Meena Menelan Dunia".
Setelah munculnya Transformer, kecepatan inovasi algoritma dasar melambat. Elemen-elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam kompetisi AI; selama sebuah perusahaan memiliki kemampuan teknis yang cukup, mereka dapat mengembangkan model besar.
Oleh karena itu, ilmuwan Andrew Ng mengemukakan dalam pidato di Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, serta AI generatif saat ini. Semua ini adalah teknologi umum, mirip dengan listrik dan internet."
OpenAI tetap menjadi acuan LLM, tetapi lembaga analisis semikonduktor Semi Analysis berpendapat bahwa keunggulan GPT-4 berasal dari solusi rekayasa—jika open source, pesaing mana pun dapat dengan cepat menyalin.
Analis ini memperkirakan bahwa perusahaan teknologi besar lainnya mungkin segera dapat mengembangkan model besar yang kinerjanya setara dengan GPT-4.
Parit tidaklah tak terkalahkan
Saat ini, "perang ratusan model" tidak lagi sekadar kiasan, tetapi kenyataan.
Menurut laporan, hingga Juli tahun ini, jumlah model besar di China telah mencapai 130, melampaui 114 di Amerika Serikat, berbagai mitos dan legenda hampir tidak cukup untuk digunakan oleh perusahaan teknologi dalam negeri untuk penamaan.
Selain China dan Amerika, banyak negara yang lebih kaya juga telah mencapai "satu negara, satu model": selain Jepang dan Uni Emirat Arab, ada juga Bhashini yang dipimpin oleh pemerintah India, serta HyperClova X yang dikembangkan oleh perusahaan Naver dari Korea.
Situasi ini mengingatkan kita pada pemandangan gelembung awal internet yang bertebaran, serta pesta kapital.
Seperti yang disebutkan sebelumnya, Transformer mengubah model besar menjadi masalah rekayasa murni, selama ada bakat, dana, dan sumber daya komputasi, pengembangan dapat dilakukan. Namun, mudah untuk masuk, tetapi menjadi raksasa di era AI bukanlah hal yang mudah.
Contoh klasik yang disebutkan di awal "Perang Hewan" adalah: Falcon meskipun sementara memimpin Llama, tetapi sulit untuk mengatakan seberapa besar dampaknya terhadap Meta.
Seperti yang kita ketahui, perusahaan yang membuka sumber hasilnya tidak hanya berbagi manfaat teknologi, tetapi juga berharap dapat memanfaatkan kekuatan masyarakat. Seiring dengan penggunaan dan perbaikan Llama yang terus dilakukan oleh akademisi, lembaga penelitian, dan perusahaan, Meta dapat menerapkan hasil ini ke dalam produk mereka sendiri.
Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan inti.
Sejak membentuk laboratorium AI pada tahun 2015, Meta telah menetapkan jalur sumber terbuka; Zuckerberg yang memang berawal dari media sosial lebih memahami pentingnya "menjalin hubungan baik dengan masyarakat".
Misalnya pada bulan Oktober, Meta secara khusus menyelenggarakan acara "Insentif Pembuat AI": pengembang yang menggunakan Llama 2 untuk memecahkan masalah sosial seperti pendidikan dan lingkungan berkesempatan mendapatkan dana sebesar 500.000 dolar.
Saat ini, seri Llama dari Meta telah menjadi tolok ukur untuk LLM sumber terbuka.
Hingga awal Oktober, di peringkat LLM open source Hugging Face yang teratas, 8 dari 10 dikembangkan berdasarkan Llama 2 dan menggunakan protokol open source-nya. Hanya di Hugging Face, LLM yang menggunakan protokol Llama 2 telah melebihi 1500.
Tentu saja, meningkatkan kinerja seperti Falcon juga bukan hal yang buruk, tetapi saat ini sebagian besar LLM di pasar masih memiliki perbedaan yang jelas dengan GPT-4.
Misalnya, baru-baru ini, GPT-4 meraih juara dalam tes AgentBench dengan skor 4,41. AgentBench diluncurkan oleh Universitas Tsinghua bersama beberapa universitas ternama di Amerika Serikat, untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan terbuka multidimensional, dengan konten pengujian mencakup tugas di 8 lingkungan berbeda seperti sistem operasi, basis data, grafik pengetahuan, dan pertempuran kartu.
Hasil tes menunjukkan, peringkat kedua Claude hanya mendapatkan 2,77 poin, perbedaannya jelas. Adapun LLM sumber terbuka yang terdengar megah, nilainya sebagian besar sekitar 1 poin, bahkan belum mencapai seperempat dari GPT-4.
Perlu diketahui, GPT-4 diluncurkan pada bulan Maret tahun ini, dan ini adalah hasil setelah lebih dari setengah tahun diikuti oleh pesaing global. Penyebab perbedaan ini adalah tim penelitian yang berkualitas tinggi dari OpenAI dan pengalaman yang terakumulasi selama bertahun-tahun, sehingga mereka selalu dapat mempertahankan posisi terdepan.
Dengan kata lain, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ( sumber terbuka ) atau kemampuan inferensi murni ( tertutup ).
Seiring dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan serupa, karena semua orang menggunakan arsitektur model dan dataset yang serupa.
Masalah lain yang lebih intuitif adalah: selain Midjourney, tampaknya tidak ada model besar lain yang dapat menghasilkan keuntungan.
Penetapan Nilai
Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin bangkrut pada akhir 2024" menarik perhatian. Inti dari artikel tersebut dapat dirangkum dalam satu kalimat: OpenAI membakar uang terlalu cepat.
Dalam teks disebutkan bahwa sejak mengembangkan ChatGPT, kerugian OpenAI dengan cepat meluas, dengan kerugian sekitar 540 juta dolar AS pada tahun 2022, hanya dapat bergantung pada investasi dari Microsoft.
Meskipun judul artikelnya terkesan sensasional, ia juga mengungkapkan banyak tentang keadaan penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.
Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang menghasilkan banyak uang dengan AI, paling banyak ditambah Broadcom.
Menurut estimasi perusahaan konsultasi Omdia, Nvidia menjual lebih dari 300.000 unit H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang sangat efisien, yang diburu oleh perusahaan teknologi dan lembaga penelitian di seluruh dunia. Jika 300.000 unit H100 ditumpuk bersama, beratnya setara dengan 4,5 pesawat Boeing 747.
Kinerja Nvidia melonjak, dengan pendapatan tumbuh 854% dibandingkan tahun sebelumnya, mengejutkan Wall Street. Perlu dicatat bahwa H100 telah diperdagangkan di pasar kedua dengan harga 40-50 ribu dolar, sementara biaya materialnya hanya sekitar 3000 dolar.
Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri dalam beberapa hal. Sequoia Capital pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar USD setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimum 75 miliar USD per tahun, ada celah setidaknya 125 miliar USD di antara keduanya.
Selain itu, kecuali beberapa pengecualian seperti Midjourney, sebagian besar perusahaan perangkat lunak belum menemukan model profitabilitas meskipun telah menginvestasikan banyak uang. Terutama pemimpin industri Microsoft dan Adobe mengalami kesulitan.
Alat penghasil kode AI GitHub Copilot yang dikembangkan oleh Microsoft bekerja sama dengan OpenAI, meskipun dikenakan biaya 10 dolar per bulan, namun karena biaya fasilitas, Microsoft justru merugi 20 dolar per pengguna, pengguna berat bahkan membuat Microsoft merugi 80 dolar per bulan. Dari sini dapat disimpulkan, Microsoft 365 Copilot yang dipatok dengan harga 30 dolar mungkin mengalami kerugian yang lebih besar.
Demikian juga, Adobe yang baru saja merilis alat Firefly AI dengan cepat meluncurkan sistem poin untuk mencegah pengguna menggunakan terlalu banyak yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi poin yang dialokasikan setiap bulan, Adobe akan mengurangi kecepatan layanan.
Perlu diketahui bahwa Microsoft dan Adobe adalah raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, sebagian besar model besar yang memiliki banyak parameter, masih memiliki skenario aplikasi terbesar yaitu obrolan.
Tidak dapat disangkal, jika tidak ada OpenAI dan ChatGPT yang muncul, revolusi AI ini mungkin tidak akan terjadi; namun saat ini, nilai yang diciptakan oleh pelatihan model besar tampaknya masih perlu diperdebatkan.
Selain itu, dengan semakin ketatnya persaingan yang homogen dan semakin banyaknya model sumber terbuka, penyedia model besar yang murni mungkin menghadapi tantangan yang lebih besar.
Keberhasilan iPhone 4 bukan karena prosesor A4 45nm, tetapi karena dapat memainkan Plants vs. Zombies dan Angry Birds.