Artikel ini dari Beijing oleh Zhang Xiaojun, penulis Tencent News "Periscope"
Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Setengah bulan yang lalu, ratusan tokoh kecerdasan buatan terkemuka, termasuk CEO OpenAI Sam Altman dan pemenang Penghargaan Turing Geoffrey Hinton, menandatangani pernyataan singkat tentang ancaman AI terhadap kepunahan manusia.
Pernyataan ini hanya memiliki satu kalimat - "memitigasi risiko kepunahan kecerdasan buatan harus menjadi prioritas global bersama dengan risiko skala sosial lainnya seperti epidemi dan perang nuklir."
David Krueger, asisten profesor penelitian kecerdasan buatan di University of Cambridge, adalah salah satu pemrakarsa asli surat tersebut dan juga salah satu penandatangannya.
Pada 9 Juni, Krueger melakukan dialog mendalam dengan Tencent News "Periscope" saat menghadiri Konferensi Zhiyuan Beijing 2023. Dia telah lama mengkhawatirkan masalah penyelarasan AI dan keamanan Sejak 2012, dia telah mengkhawatirkan potensi risiko kecerdasan buatan untuk kepunahan manusia, yang oleh industri disebut "Risiko X" (Risiko eksistensial).
Menanggapi risiko AI, satu pandangan membantah bahwa kekhawatiran yang intens ini mungkin serupa dengan kepanikan manusia yang berlebihan ketika mesin uap muncul ratusan tahun lalu. Namun Krueger mengatakan bahwa perbedaan terbesar antara keduanya adalah mesin uap tidak akan membuat manusia punah, melainkan AI.
Krueger percaya bahwa AI lebih pintar dari manusia, kompetisi yang tidak teratur, dan membangun sistem AI yang berdampak lebih langsung pada dunia—ketiga faktor ini akan sangat meningkatkan faktor risiko lepas kendalinya sistem AI. “Semakin terbuka sistemnya, semakin otonom, semakin cerdas, dan semakin dirancang untuk mencapai tujuan jangka panjang, semakin besar risiko sistem lepas kendali,” katanya.
Menurutnya, isu keamanan kecerdasan buatan seperti isu perubahan iklim global, semua pihak memiliki kepentingannya masing-masing, akan banyak konflik dan perbedaan, yang pada akhirnya menjadikannya isu koordinasi global yang kompleks. Oleh karena itu, perlu dimulai sesegera mungkin dan melalui upaya semua pihak, agar manusia tidak terpuruk dalam nasib diambil alih oleh AI.
Hanya dengan cara inilah manusia dapat bertahan hidup.
David Krueger
Berikut ini adalah inti dari pembicaraan David Krueger.
01 Surat gabungan "Pernyataan Risiko AI" hanya terdiri dari satu kalimat, dirancang dengan cermat
**Berita Tencent "Periscope": Anda adalah salah satu penandatangan "Pernyataan tentang Risiko AI". Bisakah Anda memberi tahu kami bagaimana pernyataan ini muncul? **
David Krueger: Saya mendapatkan ide ini lebih dari setahun yang lalu, karena orang semakin khawatir tentang risiko AI, terutama risiko AI dapat menyebabkan kepunahan manusia. Pada saat yang sama, banyak orang tidak membicarakan masalah ini secara terbuka.
Salah satu alasan utamanya adalah sejarah, di mana ide tersebut pernah dianggap sebagai ide pinggiran dan orang-orang khawatir jika mendiskusikannya di depan umum akan berdampak negatif pada mereka, atau bahkan prospek karier mereka.
Beberapa bulan yang lalu, waktu yang baik datang. Sejak dirilisnya ChatGPT dan GPT-4, perhatian orang terhadap AI telah mencapai tingkat yang belum pernah terjadi sebelumnya. Untuk waktu yang lama, diakui bahwa ini bisa menjadi masalah hipotetis di masa depan, tetapi masih terlalu dini untuk mengatakannya.
Mengenai bagaimana pernyataan ini muncul, saya menghubungi sejumlah rekan, termasuk Dan Hendrycks, direktur Center for Artificial Intelligence Safety. Saya mengatakan kepadanya bahwa kami harus membuat pernyataan seperti itu, dan saya bermaksud melakukannya secepat mungkin. Tapi aku tidak yakin aku cukup baik untuk melakukannya. Ini penting. Jadi, Dan mengambil topik dan mendorong pengumuman.
**Tencent News "Periscope": Komentar apa yang Anda miliki tentang kata-kata di surat ini? **
David Krueger: Saya mengusulkan untuk menggunakan hanya satu kalimat. Ada beberapa alasan.
Pertama, ketika Anda memiliki pernyataan yang panjang, ada kemungkinan besar seseorang tidak akan setuju dengan sebagiannya.
Kami melihat beberapa bulan yang lalu Future of Life Institute mengeluarkan seruan untuk moratorium segera pada semua laboratorium AI yang melatih sistem AI yang lebih kuat daripada GPT-4 selama setidaknya 6 bulan. Reaksi banyak orang terhadap hal ini terdengar hebat, tetapi menurut saya kita tidak dapat menghentikan pengembangan kecerdasan buatan.
Tentu saja mereka membuat pernyataan itu dan itu masih berlaku karena begitu orang mengatakan kita tidak bisa berhenti, itu tandanya kita harus bertindak. Kami sangat membutuhkan kemampuan untuk menangguhkan teknologi yang terlalu berbahaya untuk dikembangkan.
Saya menggunakan contoh ini untuk mengilustrasikan bahwa semakin banyak Anda berbicara, semakin banyak orang yang tidak setuju. Dalam hal ini, kami tidak menyebutkan bagaimana menghadapi risiko ini, karena orang memiliki pendapat berbeda tentang metode yang benar; kami juga tidak mengatakan mengapa hal itu dapat menyebabkan kepunahan manusia, karena orang yang berbeda memiliki pendapat berbeda tentang ini-beberapa orang lebih khawatir tentang teknologi. Disalahgunakan, yang lain lebih khawatir tentang teknologi yang lepas kendali, yang bukan merupakan hasil yang disengaja dari aktor jahat.
Either way, selama banyak orang setuju bahwa ini adalah risiko yang sangat besar dan kita perlu bertindak, maka tidak apa-apa.
02Risiko AI pada dasarnya berbeda dengan mesin uap
**Berita Tencent "Periscope": Apa perbedaan terbesar antara kekhawatiran orang tentang ancaman kecerdasan buatan dan ketakutan orang terhadap mesin uap dua atau tiga ratus tahun yang lalu? **
David Krueger: Saya tidak tahu banyak tentang sejarah itu. Saya tidak yakin apakah ada yang mengatakan itu akan menyebabkan kepunahan umat manusia pada saat itu. Jika seseorang mengatakan itu, saya juga tidak yakin argumen seperti apa yang akan mereka gunakan, sepertinya tidak mungkin bagi saya.
Perbedaan utamanya adalah kita berbicara tentang kepunahan. Kita berbicara tentang teknologi yang berpotensi lebih pintar dan lebih kuat daripada manusia dalam setiap kapasitas yang relevan.
Mesin uap memungkinkan kita menciptakan kekuatan fisik yang lebih kuat dan lebih cepat daripada manusia. Tapi mesin uapnya tidak cerdas dan relatif mudah dikendalikan. Bahkan jika seseorang lepas kendali, skenario terburuknya adalah malfungsi dan orang-orang di dalamnya bisa mati atau terluka. Namun jika sistem cerdas atau sistem yang mereplikasi diri lepas kendali, banyak orang bisa mati karena bisa tumbuh dan mendapatkan lebih banyak kekuatan, dan itulah perbedaan utamanya.
**Berita Tencent "Periscope": Beberapa orang berpikir bahwa pernyataan publik hanya dapat menghentikan orang baik, mencoba membuat orang baik lebih memperhatikan masalah keamanan dan memperlambat kecepatan penelitian dan pengembangan, tetapi mereka tidak dapat menghentikan tindakan orang jahat . Bagaimana kita mencegah orang jahat? **
David Krueger: Mengatur perilaku melalui regulasi dan kerjasama internasional.
Saya tidak terlalu suka membicarakannya dalam istilah "orang baik" dan "orang jahat" karena semua orang selalu menganggap mereka orang baik. Risiko utama yang saya khawatirkan bukanlah manipulasi jahat terhadap sistem AI oleh orang jahat atau aktor jahat, tetapi sesuatu seperti perubahan iklim—individu mungkin mendapat lebih banyak keuntungan dari membakar lebih banyak bahan bakar fosil atau membuat sistem yang lebih kuat yang lebih sulit dikendalikan. manfaat, tetapi masing-masing menanggung biaya. Dalam kasus perubahan iklim, ini dapat menyebabkan kerusakan lingkungan. Dalam kasus kecerdasan buatan, risikonya adalah sistem lepas kendali dan menyebabkan malapetaka.
Ini lebih merupakan pertanyaan motivasi. Faktanya, manusia lebih peduli pada diri mereka sendiri, teman mereka, orang yang mereka cintai, dan komunitas mereka daripada orang asing di belahan dunia lain. Oleh karena itu, tidak diperlukan niat jahat, hanya naluri egois. Itu sebabnya regulasi diperlukan, itu cara untuk menyelesaikan masalah-masalah kepentingan umum semacam ini.
Pekerjaan penyelarasan 03AI memiliki banyak misteri yang belum terpecahkan
**Tencent News "Periscope": Minat penelitian Anda adalah pembelajaran mendalam, penyelarasan AI, dan keamanan. Bisakah Anda menjelaskan apa itu penyelarasan dalam bahasa yang dapat dipahami orang biasa? Anda mengatakan bahwa "penyelarasan akan menjadi salah satu pendorong utama pengembangan AI", mengapa begitu penting? **
David Krueger: Saya suka mengatakan bahwa orang memiliki tiga interpretasi berbeda tentang ini. Salah satunya adalah membuat sistem AI bertindak sesuai keinginan kita. Tapi menurut saya itu bukan definisi yang bagus, terlalu luas dan setiap insinyur berusaha membuat sistem AI berperilaku seperti yang mereka inginkan.
Ada juga definisi yang lebih spesifik, yaitu “alignment by intent”. Menurut pendapat saya ini adalah definisi yang benar dan merujuk pada membuat sistem mencoba melakukan apa yang kita inginkan. Saat merancang sistem, Anda ingin memiliki niat, motivasi, dan tujuan yang benar. Mungkin masih belum bisa bertindak sesuai keinginan Anda, karena mungkin belum mampu atau cukup pintar untuk mengetahui bagaimana mewujudkan keinginan Anda. Tapi kalau niatnya benar, bisa dibilang selaras.
Makna terakhir yang dimiliki orang untuk penyelarasan adalah setiap upaya teknologi untuk mengurangi risiko kepunahan manusia. Terkadang, itu juga mengacu pada komunitas orang seperti saya yang berspesialisasi dalam bidang keterpaduan dan keamanan. Itu juga bukan definisi pilihan saya. Ini hanyalah satu ide yang dimiliki orang tentang bagaimana memecahkan masalah ini. Namun, pada akhirnya, lebih banyak pekerjaan diperlukan dalam tata kelola, regulasi, dan kerja sama internasional, seperti pembuatan perjanjian, yang diperlukan untuk memitigasi risiko ini.
**Tencent News "Periscope": Kemajuan baru apa yang telah dibuat oleh perusahaan teknologi dan lembaga penelitian ilmiah dalam penyelarasan teknologi baru-baru ini? Apa tantangan dan masalah paling mendesak yang Anda hadapi? **
David Krueger: Yang paling penting adalah teknik fine-tuning untuk model bahasa besar Mereka telah melakukan banyak pekerjaan untuk mengubah perilaku model. Misalnya, perbedaan antara GPT-3 dan GPT-4 adalah bahwa sistem diselaraskan untuk bertindak lebih sesuai dengan keinginan perancang. Terutama melalui pembelajaran penguatan dan umpan balik manusia, meski detailnya tidak dipublikasikan. Ini sebagian besar berhasil, tetapi tidak sepenuhnya menghilangkan masalah dengan model ini.
Saya khawatir bahwa teknik ini mungkin tidak cukup untuk sistem yang lebih kuat, karena perubahan perilaku mungkin relatif dangkal. Masalah ini bisa menjadi lebih serius karena sistem menjadi lebih kuat.
Ini seperti analogi pelatihan hewan, seperti Anda melatih anjing untuk tidak naik ke furnitur. Mungkin ini bekerja dengan sangat baik saat Anda berada di sana, tetapi jika Anda meninggalkan ruangan, perabotannya tetap terangkat. Situasi serupa dapat terjadi pada model ini. Mereka mungkin tampak selaras, tetapi mereka masih bisa berperilaku buruk jika mereka mengira kita tidak akan menyadari perilaku buruk mereka.
**Berita Tencent "Periscope": Ketika kecerdasan AI jauh lebih pintar daripada manusia, bagaimana manusia dapat menyelesaikan pekerjaan penyelarasan pada tubuh yang sangat cerdas? **
David Krueger: Ini adalah pertanyaan penelitian terbuka. Oleh karena itu, penting untuk melakukan penelitian tentang penyelarasan AI untuk menemukan jawaban atas pertanyaan ini.
**Berita Tencent "Periscope": Bagaimana kita bisa membuat AI mencintai manusia alih-alih merugikan mereka melalui penyelarasan? **
David Krueger: Ini pertanyaan yang sama dengan pertanyaan sebelumnya. Saya berharap saya punya jawaban, tetapi belum mengetahuinya.
04 Tiga insentif utama ini dapat meningkatkan risiko AI di luar kendali
**Tencent News "Periscope": Menurut pendapat Anda, di titik mana dalam sejarah AI saat ini? **
David Krueger: Kita telah mencapai titik di mana dunia menyadari risikonya. Saya telah menunggu momen ini untuk waktu yang lama.
**Berita Tencent "Periscope": Sejak Anda mendengarkan kursus pembelajaran mendalam yang diajarkan oleh Geoffrey Hinton sepuluh tahun lalu, Anda khawatir AI dapat menyebabkan kepunahan manusia. Mengapa Anda mulai khawatir pada tahap awal? **
David Krueger: Pada prinsipnya saya khawatir bahwa ini akan terjadi di beberapa titik karena suatu hari nanti akan lebih pintar dari manusia, tetapi ketika saya melihat kelas Hinton, kekhawatiran saya berubah. Pembelajaran mendalam memiliki potensi untuk menghasilkan kecerdasan nyata daripada metode lain yang pernah saya dengar sebelumnya.
**Tencent News "Periscope": Dalam keadaan apa sistem kecerdasan buatan akan lepas kendali? **
David Krueger: Satu, jika mereka lebih pintar dari kita, Anda mulai khawatir tentang kapan mereka lepas kendali dalam detailnya, tetapi sulit untuk memprediksi dengan tepat bagaimana hal itu akan terjadi.
Faktor kedua yang meningkatkan risiko adalah banyaknya persaingan untuk mengembangkan dan menggunakan sistem AI yang kuat secepat mungkin. Saat ini kami melihat persaingan ini ada antara Google dan Microsoft. Ada juga kekhawatiran tentang persaingan internasional, yang bisa bersifat ekonomi, geopolitik, bahkan militer.
Faktor ketiga adalah jika Anda membangun sistem AI yang berdampak lebih langsung pada dunia. Sistem yang kita lihat sejauh ini hanyalah model bahasa, mereka hanya menghasilkan teks. Tetapi ada juga banyak orang yang ingin menggabungkannya dengan sistem lain, seperti menggunakannya untuk menulis kode, menggunakannya untuk mengontrol berbagai hal, baik online atau menggunakannya untuk mengontrol berbagai hal di dunia nyata. Memberi sistem ini lebih banyak kendali dan otonomi meningkatkan risiko.
Membandingkannya lagi dengan sistem yang kita miliki saat ini, yang sebagian besar hanya dilatih untuk memprediksi teks, ini adalah cara yang relatif aman untuk membangun sistem—dibandingkan dengan meminta sistem untuk mencapai tujuan di lingkungan tertentu, terutama dibandingkan dengan sistem di dalam dan Ini lebih aman daripada mencapai tujuan di lingkungan di mana dunia nyata, dunia fisik, sering berinteraksi. Ketika sistem mencoba untuk mencapai tujuan di dunia nyata, mereka mungkin secara alami mencoba untuk memperoleh lebih banyak sumber daya dan kekuasaan, karena hal ini berguna untuk mencapai tujuan jangka panjang.
Jadi, semakin terbuka, otonom, dan cerdas sebuah sistem, dan semakin dirancang untuk mencapai tujuan jangka panjang, semakin besar risiko sistem lepas kendali.
**Tencent News "Periscope": Jika menurut Anda kerangka kerja untuk kolaborasi global harus dirumuskan untuk memastikan bahwa negara-negara mengikuti prinsip dan standar umum dalam pengembangan AI, lalu seperti apa prinsip dan standar khusus ini? **
David Krueger: Kami benar-benar perlu melakukan ini, dan kami harus segera melakukannya. Karena akan sulit dan membutuhkan banyak diskusi dan negosiasi karena banyak konflik dan perbedaan antara negara yang berbeda.
Adapun secara spesifik, itu adalah sesuatu yang masih saya pikirkan. Kami ingin memastikan bahwa kami memiliki badan pengatur atau sistem tata kelola yang sangat sah yang dapat mendorong moratorium jika di masa mendatang kami merasa perlu melakukannya. Ini adalah bagian penting darinya.
Segalanya menjadi lebih rumit ketika menyangkut sistem yang kami kembangkan dan terapkan. Kami ingin memiliki beberapa mekanisme pengujian, evaluasi dan audit. Kami mungkin juga perlu mempertimbangkan beberapa bentuk lisensi, tetapi ada banyak detail yang harus diselesaikan. Saat ini, saya tidak memiliki skenario lengkap di kepala saya. Itu sebabnya saya berharap kita dapat menginspirasi lebih banyak orang dalam pembuatan kebijakan, dengan keahlian dalam kebijakan dan hubungan internasional, untuk memikirkannya.
**Tencent News "Periscope": Dalam sistem kecerdasan buatan saat ini, aspek apa yang perlu ditingkatkan sesegera mungkin untuk menghadapi potensi risiko dan ancaman? **
David Krueger: Salah satunya adalah kekokohan (Catatan: Kekokohan mengacu pada kemampuan sistem untuk bertahan dalam situasi abnormal dan berbahaya). Sistem kami saat ini memiliki masalah yang signifikan dengan ketahanan, terutama masalah ketahanan permusuhan, di mana perubahan kecil pada masukan, bahkan tidak terlihat oleh manusia, dapat berdampak besar pada perilaku sistem. Masalah ini telah menjadi masalah yang diketahui selama sekitar 10 tahun, tetapi tampaknya masih belum ada solusinya. Ini sangat bermasalah jika kita mempertimbangkan sistem yang mengejar beberapa tujuan dan mencoba mengoptimalkan pemahaman mereka tentang tujuan tersebut. Karena bergantung pada pemahaman mereka tentang tujuan, hasil optimal bisa sangat berbeda dari apa yang kita bayangkan atau niatkan. Dan penilaian yang kami lakukan saat ini sulit dikenali.
Lainnya adalah kurangnya pemahaman kita tentang bagaimana sistem ini bekerja. Kami benar-benar ingin dapat memahami cara kerja sistem ini, ini adalah salah satu cara terbaik untuk memprediksi perilaku mereka. Kami ingin memastikan mereka tidak berperilaku tidak terduga dan berbahaya dalam situasi baru. Ini terkait dengan masalah ketahanan.
**05 Apakah kepunahan manusia masih jauh? **
**Tencent News "Periscope": Melihatnya sekarang, apakah manusia jauh dari kepunahan? Berapa tahun yang diharapkan? **
David Krueger: Jeffrey Hinton terus mengatakan bahwa kita membutuhkan waktu 20 tahun atau kurang untuk mendapatkan kecerdasan umum buatan (AGI), yang merupakan kerangka waktu yang masuk akal. Ini sangat mirip dengan sudut pandang saya.
Saya pikir manusia bisa punah tak lama setelah itu, tapi bisa memakan waktu lebih lama, dan saya rasa itulah yang ingin saya tekankan, meski masih beberapa dekade lagi, kita harus mulai mengatasinya sesegera mungkin.
Kembali lagi ke analogi perubahan iklim. Kami membutuhkan waktu puluhan tahun untuk mulai benar-benar mengambil tindakan yang efektif, dan masih belum cukup dilakukan untuk mencegah konsekuensi mengerikan dari perubahan iklim. Ini karena ini adalah masalah koordinasi global yang kompleks. Kecerdasan buatan akan menghadapi situasi serupa. Kita harus mulai sedini mungkin.
**Tencent News "Periscope": Bisakah model bahasa besar menghadirkan AGI? **
David Krueger: Banyak orang menanyakan pertanyaan ini sekarang. Maksud saya lebih rumit. Saya akan mengatakan itu mungkin, tetapi kemungkinan besar itu perlu digabungkan dengan teknologi lain, dan bahkan mungkin beberapa teknologi baru perlu dikembangkan.
**Tencent News "Periscope": Bagaimana Anda memandang hubungan antara manusia dan kecerdasan buatan? Akankah manusia menjadi transisi yang cerdas? **
David Krueger: Hanya waktu yang akan membuktikannya. Saya harap tidak. Tapi sekarang, ini adalah pertanyaan bahwa kita masih memiliki inisiatif dan kemampuan untuk membimbing dan memutuskan bagaimana masa depan akan berkembang. Jika kita dapat bertindak dengan cara yang cerdas dan terkoordinasi, jika kita beruntung, terserah kita sebagai manusia untuk memutuskan apakah AI akan mengambil alih di beberapa titik.
**Tencent News "Periscope": Hinton memiliki sudut pandang yang sangat menarik. Dia berkata: Ulat akan mengekstraksi nutrisi dan kemudian berubah menjadi kupu-kupu. Orang-orang telah mengekstrak miliaran nutrisi kognitif. GPT-4 adalah kupu-kupu manusia. Apakah Anda setuju dengan sudut pandang ini? **
David Krueger: Sangat puitis, dan menurut saya itu tidak sepenuhnya akurat, tetapi mungkin ini menemukan beberapa kebenaran penting bahwa sistem AI tidak perlu mempelajari semuanya dengan cara yang sulit dari awal. Manusia perlu melalui evolusi yang panjang untuk mencapai tingkat kecerdasan manusia, namun kini manusia telah menghasilkan semua produk budaya tersebut, termasuk semua teks di Internet, yang sangat menginspirasi sistem AI. Dengan demikian, mereka tidak perlu melalui semua evolusi mereka lagi untuk mencapai tingkat kecerdasan yang sama.
**Tencent News "Periscope": Apakah ini pertama kalinya Anda berada di China? Apa kesan Anda datang ke China? Apakah Anda punya saran untuk pengembangan kecerdasan buatan dan model skala besar di China? **
David Krueger: Ini pertama kalinya saya di China. Saya baru tiba kemarin pagi. Seluruh kunjungan bertemu dan berbicara dengan orang-orang, orang-orang ramah dan saya memiliki pengalaman yang baik di sini. Tapi saya tidak merasa benar-benar mengalami China. Saya hanya bertemu dengan para peneliti, sayangnya ini akan menjadi perjalanan singkat bagi saya, tetapi saya berharap setidaknya dapat melihat Beijing dengan baik pada hari terakhir saya sebelum berangkat.
(Saran untuk China) Saya pikir penting untuk memikirkan dan memahami keamanan dan keselarasan. Dari percakapan yang saya lakukan, jelas bahwa orang sudah mengerjakan ini, setidaknya sampai batas tertentu.
**Tencent News "Periscope": Banyak adegan dalam film "Her" secara bertahap muncul di dunia nyata kita. Apakah manusia memiliki emosi untuk kecerdasan buatan? Apakah Anda merasakan keterikatan emosional dengan model AI yang Anda kembangkan? **
David Krueger: Saya tidak punya, tapi sejauh yang saya tahu, beberapa orang punya.
Chatbot pacar kecerdasan buatan serupa memang ada, dan seseorang telah menjadi tergantung secara emosional pada hubungan tersebut. Ini adalah konsekuensi menyedihkan dari teknologi ini.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Dialog dengan penggagas "Pernyataan Risiko AI": Mesin uap tidak akan membuat manusia punah, tetapi AI akan!
Artikel ini dari Beijing oleh Zhang Xiaojun, penulis Tencent News "Periscope"
Setengah bulan yang lalu, ratusan tokoh kecerdasan buatan terkemuka, termasuk CEO OpenAI Sam Altman dan pemenang Penghargaan Turing Geoffrey Hinton, menandatangani pernyataan singkat tentang ancaman AI terhadap kepunahan manusia.
Pernyataan ini hanya memiliki satu kalimat - "memitigasi risiko kepunahan kecerdasan buatan harus menjadi prioritas global bersama dengan risiko skala sosial lainnya seperti epidemi dan perang nuklir."
David Krueger, asisten profesor penelitian kecerdasan buatan di University of Cambridge, adalah salah satu pemrakarsa asli surat tersebut dan juga salah satu penandatangannya.
Pada 9 Juni, Krueger melakukan dialog mendalam dengan Tencent News "Periscope" saat menghadiri Konferensi Zhiyuan Beijing 2023. Dia telah lama mengkhawatirkan masalah penyelarasan AI dan keamanan Sejak 2012, dia telah mengkhawatirkan potensi risiko kecerdasan buatan untuk kepunahan manusia, yang oleh industri disebut "Risiko X" (Risiko eksistensial).
Menanggapi risiko AI, satu pandangan membantah bahwa kekhawatiran yang intens ini mungkin serupa dengan kepanikan manusia yang berlebihan ketika mesin uap muncul ratusan tahun lalu. Namun Krueger mengatakan bahwa perbedaan terbesar antara keduanya adalah mesin uap tidak akan membuat manusia punah, melainkan AI.
Krueger percaya bahwa AI lebih pintar dari manusia, kompetisi yang tidak teratur, dan membangun sistem AI yang berdampak lebih langsung pada dunia—ketiga faktor ini akan sangat meningkatkan faktor risiko lepas kendalinya sistem AI. “Semakin terbuka sistemnya, semakin otonom, semakin cerdas, dan semakin dirancang untuk mencapai tujuan jangka panjang, semakin besar risiko sistem lepas kendali,” katanya.
Menurutnya, isu keamanan kecerdasan buatan seperti isu perubahan iklim global, semua pihak memiliki kepentingannya masing-masing, akan banyak konflik dan perbedaan, yang pada akhirnya menjadikannya isu koordinasi global yang kompleks. Oleh karena itu, perlu dimulai sesegera mungkin dan melalui upaya semua pihak, agar manusia tidak terpuruk dalam nasib diambil alih oleh AI.
Hanya dengan cara inilah manusia dapat bertahan hidup.
Berikut ini adalah inti dari pembicaraan David Krueger.
01 Surat gabungan "Pernyataan Risiko AI" hanya terdiri dari satu kalimat, dirancang dengan cermat
**Berita Tencent "Periscope": Anda adalah salah satu penandatangan "Pernyataan tentang Risiko AI". Bisakah Anda memberi tahu kami bagaimana pernyataan ini muncul? **
David Krueger: Saya mendapatkan ide ini lebih dari setahun yang lalu, karena orang semakin khawatir tentang risiko AI, terutama risiko AI dapat menyebabkan kepunahan manusia. Pada saat yang sama, banyak orang tidak membicarakan masalah ini secara terbuka.
Salah satu alasan utamanya adalah sejarah, di mana ide tersebut pernah dianggap sebagai ide pinggiran dan orang-orang khawatir jika mendiskusikannya di depan umum akan berdampak negatif pada mereka, atau bahkan prospek karier mereka.
Beberapa bulan yang lalu, waktu yang baik datang. Sejak dirilisnya ChatGPT dan GPT-4, perhatian orang terhadap AI telah mencapai tingkat yang belum pernah terjadi sebelumnya. Untuk waktu yang lama, diakui bahwa ini bisa menjadi masalah hipotetis di masa depan, tetapi masih terlalu dini untuk mengatakannya.
Mengenai bagaimana pernyataan ini muncul, saya menghubungi sejumlah rekan, termasuk Dan Hendrycks, direktur Center for Artificial Intelligence Safety. Saya mengatakan kepadanya bahwa kami harus membuat pernyataan seperti itu, dan saya bermaksud melakukannya secepat mungkin. Tapi aku tidak yakin aku cukup baik untuk melakukannya. Ini penting. Jadi, Dan mengambil topik dan mendorong pengumuman.
**Tencent News "Periscope": Komentar apa yang Anda miliki tentang kata-kata di surat ini? **
David Krueger: Saya mengusulkan untuk menggunakan hanya satu kalimat. Ada beberapa alasan.
Pertama, ketika Anda memiliki pernyataan yang panjang, ada kemungkinan besar seseorang tidak akan setuju dengan sebagiannya.
Kami melihat beberapa bulan yang lalu Future of Life Institute mengeluarkan seruan untuk moratorium segera pada semua laboratorium AI yang melatih sistem AI yang lebih kuat daripada GPT-4 selama setidaknya 6 bulan. Reaksi banyak orang terhadap hal ini terdengar hebat, tetapi menurut saya kita tidak dapat menghentikan pengembangan kecerdasan buatan.
Tentu saja mereka membuat pernyataan itu dan itu masih berlaku karena begitu orang mengatakan kita tidak bisa berhenti, itu tandanya kita harus bertindak. Kami sangat membutuhkan kemampuan untuk menangguhkan teknologi yang terlalu berbahaya untuk dikembangkan.
Saya menggunakan contoh ini untuk mengilustrasikan bahwa semakin banyak Anda berbicara, semakin banyak orang yang tidak setuju. Dalam hal ini, kami tidak menyebutkan bagaimana menghadapi risiko ini, karena orang memiliki pendapat berbeda tentang metode yang benar; kami juga tidak mengatakan mengapa hal itu dapat menyebabkan kepunahan manusia, karena orang yang berbeda memiliki pendapat berbeda tentang ini-beberapa orang lebih khawatir tentang teknologi. Disalahgunakan, yang lain lebih khawatir tentang teknologi yang lepas kendali, yang bukan merupakan hasil yang disengaja dari aktor jahat.
Either way, selama banyak orang setuju bahwa ini adalah risiko yang sangat besar dan kita perlu bertindak, maka tidak apa-apa.
02Risiko AI pada dasarnya berbeda dengan mesin uap
**Berita Tencent "Periscope": Apa perbedaan terbesar antara kekhawatiran orang tentang ancaman kecerdasan buatan dan ketakutan orang terhadap mesin uap dua atau tiga ratus tahun yang lalu? **
David Krueger: Saya tidak tahu banyak tentang sejarah itu. Saya tidak yakin apakah ada yang mengatakan itu akan menyebabkan kepunahan umat manusia pada saat itu. Jika seseorang mengatakan itu, saya juga tidak yakin argumen seperti apa yang akan mereka gunakan, sepertinya tidak mungkin bagi saya.
Perbedaan utamanya adalah kita berbicara tentang kepunahan. Kita berbicara tentang teknologi yang berpotensi lebih pintar dan lebih kuat daripada manusia dalam setiap kapasitas yang relevan.
Mesin uap memungkinkan kita menciptakan kekuatan fisik yang lebih kuat dan lebih cepat daripada manusia. Tapi mesin uapnya tidak cerdas dan relatif mudah dikendalikan. Bahkan jika seseorang lepas kendali, skenario terburuknya adalah malfungsi dan orang-orang di dalamnya bisa mati atau terluka. Namun jika sistem cerdas atau sistem yang mereplikasi diri lepas kendali, banyak orang bisa mati karena bisa tumbuh dan mendapatkan lebih banyak kekuatan, dan itulah perbedaan utamanya.
**Berita Tencent "Periscope": Beberapa orang berpikir bahwa pernyataan publik hanya dapat menghentikan orang baik, mencoba membuat orang baik lebih memperhatikan masalah keamanan dan memperlambat kecepatan penelitian dan pengembangan, tetapi mereka tidak dapat menghentikan tindakan orang jahat . Bagaimana kita mencegah orang jahat? **
David Krueger: Mengatur perilaku melalui regulasi dan kerjasama internasional.
Saya tidak terlalu suka membicarakannya dalam istilah "orang baik" dan "orang jahat" karena semua orang selalu menganggap mereka orang baik. Risiko utama yang saya khawatirkan bukanlah manipulasi jahat terhadap sistem AI oleh orang jahat atau aktor jahat, tetapi sesuatu seperti perubahan iklim—individu mungkin mendapat lebih banyak keuntungan dari membakar lebih banyak bahan bakar fosil atau membuat sistem yang lebih kuat yang lebih sulit dikendalikan. manfaat, tetapi masing-masing menanggung biaya. Dalam kasus perubahan iklim, ini dapat menyebabkan kerusakan lingkungan. Dalam kasus kecerdasan buatan, risikonya adalah sistem lepas kendali dan menyebabkan malapetaka.
Ini lebih merupakan pertanyaan motivasi. Faktanya, manusia lebih peduli pada diri mereka sendiri, teman mereka, orang yang mereka cintai, dan komunitas mereka daripada orang asing di belahan dunia lain. Oleh karena itu, tidak diperlukan niat jahat, hanya naluri egois. Itu sebabnya regulasi diperlukan, itu cara untuk menyelesaikan masalah-masalah kepentingan umum semacam ini.
Pekerjaan penyelarasan 03AI memiliki banyak misteri yang belum terpecahkan
**Tencent News "Periscope": Minat penelitian Anda adalah pembelajaran mendalam, penyelarasan AI, dan keamanan. Bisakah Anda menjelaskan apa itu penyelarasan dalam bahasa yang dapat dipahami orang biasa? Anda mengatakan bahwa "penyelarasan akan menjadi salah satu pendorong utama pengembangan AI", mengapa begitu penting? **
David Krueger: Saya suka mengatakan bahwa orang memiliki tiga interpretasi berbeda tentang ini. Salah satunya adalah membuat sistem AI bertindak sesuai keinginan kita. Tapi menurut saya itu bukan definisi yang bagus, terlalu luas dan setiap insinyur berusaha membuat sistem AI berperilaku seperti yang mereka inginkan.
Ada juga definisi yang lebih spesifik, yaitu “alignment by intent”. Menurut pendapat saya ini adalah definisi yang benar dan merujuk pada membuat sistem mencoba melakukan apa yang kita inginkan. Saat merancang sistem, Anda ingin memiliki niat, motivasi, dan tujuan yang benar. Mungkin masih belum bisa bertindak sesuai keinginan Anda, karena mungkin belum mampu atau cukup pintar untuk mengetahui bagaimana mewujudkan keinginan Anda. Tapi kalau niatnya benar, bisa dibilang selaras.
Makna terakhir yang dimiliki orang untuk penyelarasan adalah setiap upaya teknologi untuk mengurangi risiko kepunahan manusia. Terkadang, itu juga mengacu pada komunitas orang seperti saya yang berspesialisasi dalam bidang keterpaduan dan keamanan. Itu juga bukan definisi pilihan saya. Ini hanyalah satu ide yang dimiliki orang tentang bagaimana memecahkan masalah ini. Namun, pada akhirnya, lebih banyak pekerjaan diperlukan dalam tata kelola, regulasi, dan kerja sama internasional, seperti pembuatan perjanjian, yang diperlukan untuk memitigasi risiko ini.
**Tencent News "Periscope": Kemajuan baru apa yang telah dibuat oleh perusahaan teknologi dan lembaga penelitian ilmiah dalam penyelarasan teknologi baru-baru ini? Apa tantangan dan masalah paling mendesak yang Anda hadapi? **
David Krueger: Yang paling penting adalah teknik fine-tuning untuk model bahasa besar Mereka telah melakukan banyak pekerjaan untuk mengubah perilaku model. Misalnya, perbedaan antara GPT-3 dan GPT-4 adalah bahwa sistem diselaraskan untuk bertindak lebih sesuai dengan keinginan perancang. Terutama melalui pembelajaran penguatan dan umpan balik manusia, meski detailnya tidak dipublikasikan. Ini sebagian besar berhasil, tetapi tidak sepenuhnya menghilangkan masalah dengan model ini.
Saya khawatir bahwa teknik ini mungkin tidak cukup untuk sistem yang lebih kuat, karena perubahan perilaku mungkin relatif dangkal. Masalah ini bisa menjadi lebih serius karena sistem menjadi lebih kuat.
Ini seperti analogi pelatihan hewan, seperti Anda melatih anjing untuk tidak naik ke furnitur. Mungkin ini bekerja dengan sangat baik saat Anda berada di sana, tetapi jika Anda meninggalkan ruangan, perabotannya tetap terangkat. Situasi serupa dapat terjadi pada model ini. Mereka mungkin tampak selaras, tetapi mereka masih bisa berperilaku buruk jika mereka mengira kita tidak akan menyadari perilaku buruk mereka.
**Berita Tencent "Periscope": Ketika kecerdasan AI jauh lebih pintar daripada manusia, bagaimana manusia dapat menyelesaikan pekerjaan penyelarasan pada tubuh yang sangat cerdas? **
David Krueger: Ini adalah pertanyaan penelitian terbuka. Oleh karena itu, penting untuk melakukan penelitian tentang penyelarasan AI untuk menemukan jawaban atas pertanyaan ini.
**Berita Tencent "Periscope": Bagaimana kita bisa membuat AI mencintai manusia alih-alih merugikan mereka melalui penyelarasan? **
David Krueger: Ini pertanyaan yang sama dengan pertanyaan sebelumnya. Saya berharap saya punya jawaban, tetapi belum mengetahuinya.
04 Tiga insentif utama ini dapat meningkatkan risiko AI di luar kendali
**Tencent News "Periscope": Menurut pendapat Anda, di titik mana dalam sejarah AI saat ini? **
David Krueger: Kita telah mencapai titik di mana dunia menyadari risikonya. Saya telah menunggu momen ini untuk waktu yang lama.
**Berita Tencent "Periscope": Sejak Anda mendengarkan kursus pembelajaran mendalam yang diajarkan oleh Geoffrey Hinton sepuluh tahun lalu, Anda khawatir AI dapat menyebabkan kepunahan manusia. Mengapa Anda mulai khawatir pada tahap awal? **
David Krueger: Pada prinsipnya saya khawatir bahwa ini akan terjadi di beberapa titik karena suatu hari nanti akan lebih pintar dari manusia, tetapi ketika saya melihat kelas Hinton, kekhawatiran saya berubah. Pembelajaran mendalam memiliki potensi untuk menghasilkan kecerdasan nyata daripada metode lain yang pernah saya dengar sebelumnya.
**Tencent News "Periscope": Dalam keadaan apa sistem kecerdasan buatan akan lepas kendali? **
David Krueger: Satu, jika mereka lebih pintar dari kita, Anda mulai khawatir tentang kapan mereka lepas kendali dalam detailnya, tetapi sulit untuk memprediksi dengan tepat bagaimana hal itu akan terjadi.
Faktor kedua yang meningkatkan risiko adalah banyaknya persaingan untuk mengembangkan dan menggunakan sistem AI yang kuat secepat mungkin. Saat ini kami melihat persaingan ini ada antara Google dan Microsoft. Ada juga kekhawatiran tentang persaingan internasional, yang bisa bersifat ekonomi, geopolitik, bahkan militer.
Faktor ketiga adalah jika Anda membangun sistem AI yang berdampak lebih langsung pada dunia. Sistem yang kita lihat sejauh ini hanyalah model bahasa, mereka hanya menghasilkan teks. Tetapi ada juga banyak orang yang ingin menggabungkannya dengan sistem lain, seperti menggunakannya untuk menulis kode, menggunakannya untuk mengontrol berbagai hal, baik online atau menggunakannya untuk mengontrol berbagai hal di dunia nyata. Memberi sistem ini lebih banyak kendali dan otonomi meningkatkan risiko.
Membandingkannya lagi dengan sistem yang kita miliki saat ini, yang sebagian besar hanya dilatih untuk memprediksi teks, ini adalah cara yang relatif aman untuk membangun sistem—dibandingkan dengan meminta sistem untuk mencapai tujuan di lingkungan tertentu, terutama dibandingkan dengan sistem di dalam dan Ini lebih aman daripada mencapai tujuan di lingkungan di mana dunia nyata, dunia fisik, sering berinteraksi. Ketika sistem mencoba untuk mencapai tujuan di dunia nyata, mereka mungkin secara alami mencoba untuk memperoleh lebih banyak sumber daya dan kekuasaan, karena hal ini berguna untuk mencapai tujuan jangka panjang.
Jadi, semakin terbuka, otonom, dan cerdas sebuah sistem, dan semakin dirancang untuk mencapai tujuan jangka panjang, semakin besar risiko sistem lepas kendali.
**Tencent News "Periscope": Jika menurut Anda kerangka kerja untuk kolaborasi global harus dirumuskan untuk memastikan bahwa negara-negara mengikuti prinsip dan standar umum dalam pengembangan AI, lalu seperti apa prinsip dan standar khusus ini? **
David Krueger: Kami benar-benar perlu melakukan ini, dan kami harus segera melakukannya. Karena akan sulit dan membutuhkan banyak diskusi dan negosiasi karena banyak konflik dan perbedaan antara negara yang berbeda.
Adapun secara spesifik, itu adalah sesuatu yang masih saya pikirkan. Kami ingin memastikan bahwa kami memiliki badan pengatur atau sistem tata kelola yang sangat sah yang dapat mendorong moratorium jika di masa mendatang kami merasa perlu melakukannya. Ini adalah bagian penting darinya.
Segalanya menjadi lebih rumit ketika menyangkut sistem yang kami kembangkan dan terapkan. Kami ingin memiliki beberapa mekanisme pengujian, evaluasi dan audit. Kami mungkin juga perlu mempertimbangkan beberapa bentuk lisensi, tetapi ada banyak detail yang harus diselesaikan. Saat ini, saya tidak memiliki skenario lengkap di kepala saya. Itu sebabnya saya berharap kita dapat menginspirasi lebih banyak orang dalam pembuatan kebijakan, dengan keahlian dalam kebijakan dan hubungan internasional, untuk memikirkannya.
**Tencent News "Periscope": Dalam sistem kecerdasan buatan saat ini, aspek apa yang perlu ditingkatkan sesegera mungkin untuk menghadapi potensi risiko dan ancaman? **
David Krueger: Salah satunya adalah kekokohan (Catatan: Kekokohan mengacu pada kemampuan sistem untuk bertahan dalam situasi abnormal dan berbahaya). Sistem kami saat ini memiliki masalah yang signifikan dengan ketahanan, terutama masalah ketahanan permusuhan, di mana perubahan kecil pada masukan, bahkan tidak terlihat oleh manusia, dapat berdampak besar pada perilaku sistem. Masalah ini telah menjadi masalah yang diketahui selama sekitar 10 tahun, tetapi tampaknya masih belum ada solusinya. Ini sangat bermasalah jika kita mempertimbangkan sistem yang mengejar beberapa tujuan dan mencoba mengoptimalkan pemahaman mereka tentang tujuan tersebut. Karena bergantung pada pemahaman mereka tentang tujuan, hasil optimal bisa sangat berbeda dari apa yang kita bayangkan atau niatkan. Dan penilaian yang kami lakukan saat ini sulit dikenali.
Lainnya adalah kurangnya pemahaman kita tentang bagaimana sistem ini bekerja. Kami benar-benar ingin dapat memahami cara kerja sistem ini, ini adalah salah satu cara terbaik untuk memprediksi perilaku mereka. Kami ingin memastikan mereka tidak berperilaku tidak terduga dan berbahaya dalam situasi baru. Ini terkait dengan masalah ketahanan.
**05 Apakah kepunahan manusia masih jauh? **
**Tencent News "Periscope": Melihatnya sekarang, apakah manusia jauh dari kepunahan? Berapa tahun yang diharapkan? **
David Krueger: Jeffrey Hinton terus mengatakan bahwa kita membutuhkan waktu 20 tahun atau kurang untuk mendapatkan kecerdasan umum buatan (AGI), yang merupakan kerangka waktu yang masuk akal. Ini sangat mirip dengan sudut pandang saya.
Saya pikir manusia bisa punah tak lama setelah itu, tapi bisa memakan waktu lebih lama, dan saya rasa itulah yang ingin saya tekankan, meski masih beberapa dekade lagi, kita harus mulai mengatasinya sesegera mungkin.
Kembali lagi ke analogi perubahan iklim. Kami membutuhkan waktu puluhan tahun untuk mulai benar-benar mengambil tindakan yang efektif, dan masih belum cukup dilakukan untuk mencegah konsekuensi mengerikan dari perubahan iklim. Ini karena ini adalah masalah koordinasi global yang kompleks. Kecerdasan buatan akan menghadapi situasi serupa. Kita harus mulai sedini mungkin.
**Tencent News "Periscope": Bisakah model bahasa besar menghadirkan AGI? **
David Krueger: Banyak orang menanyakan pertanyaan ini sekarang. Maksud saya lebih rumit. Saya akan mengatakan itu mungkin, tetapi kemungkinan besar itu perlu digabungkan dengan teknologi lain, dan bahkan mungkin beberapa teknologi baru perlu dikembangkan.
**Tencent News "Periscope": Bagaimana Anda memandang hubungan antara manusia dan kecerdasan buatan? Akankah manusia menjadi transisi yang cerdas? **
David Krueger: Hanya waktu yang akan membuktikannya. Saya harap tidak. Tapi sekarang, ini adalah pertanyaan bahwa kita masih memiliki inisiatif dan kemampuan untuk membimbing dan memutuskan bagaimana masa depan akan berkembang. Jika kita dapat bertindak dengan cara yang cerdas dan terkoordinasi, jika kita beruntung, terserah kita sebagai manusia untuk memutuskan apakah AI akan mengambil alih di beberapa titik.
**Tencent News "Periscope": Hinton memiliki sudut pandang yang sangat menarik. Dia berkata: Ulat akan mengekstraksi nutrisi dan kemudian berubah menjadi kupu-kupu. Orang-orang telah mengekstrak miliaran nutrisi kognitif. GPT-4 adalah kupu-kupu manusia. Apakah Anda setuju dengan sudut pandang ini? **
David Krueger: Sangat puitis, dan menurut saya itu tidak sepenuhnya akurat, tetapi mungkin ini menemukan beberapa kebenaran penting bahwa sistem AI tidak perlu mempelajari semuanya dengan cara yang sulit dari awal. Manusia perlu melalui evolusi yang panjang untuk mencapai tingkat kecerdasan manusia, namun kini manusia telah menghasilkan semua produk budaya tersebut, termasuk semua teks di Internet, yang sangat menginspirasi sistem AI. Dengan demikian, mereka tidak perlu melalui semua evolusi mereka lagi untuk mencapai tingkat kecerdasan yang sama.
**Tencent News "Periscope": Apakah ini pertama kalinya Anda berada di China? Apa kesan Anda datang ke China? Apakah Anda punya saran untuk pengembangan kecerdasan buatan dan model skala besar di China? **
David Krueger: Ini pertama kalinya saya di China. Saya baru tiba kemarin pagi. Seluruh kunjungan bertemu dan berbicara dengan orang-orang, orang-orang ramah dan saya memiliki pengalaman yang baik di sini. Tapi saya tidak merasa benar-benar mengalami China. Saya hanya bertemu dengan para peneliti, sayangnya ini akan menjadi perjalanan singkat bagi saya, tetapi saya berharap setidaknya dapat melihat Beijing dengan baik pada hari terakhir saya sebelum berangkat.
(Saran untuk China) Saya pikir penting untuk memikirkan dan memahami keamanan dan keselarasan. Dari percakapan yang saya lakukan, jelas bahwa orang sudah mengerjakan ini, setidaknya sampai batas tertentu.
**Tencent News "Periscope": Banyak adegan dalam film "Her" secara bertahap muncul di dunia nyata kita. Apakah manusia memiliki emosi untuk kecerdasan buatan? Apakah Anda merasakan keterikatan emosional dengan model AI yang Anda kembangkan? **
David Krueger: Saya tidak punya, tapi sejauh yang saya tahu, beberapa orang punya.
Chatbot pacar kecerdasan buatan serupa memang ada, dan seseorang telah menjadi tergantung secara emosional pada hubungan tersebut. Ini adalah konsekuensi menyedihkan dari teknologi ini.