"Menurut saya, satu-satunya cara untuk memahami keamanan AI adalah menyebarkan ratusan juta salinan sistem di dunia nyata dan melihat hasilnya." Manusia tidak melakukannya dengan vaksin, "Kita harus menguji vaksin sebelum kami menyebarkannya, karena kami akan menyuntikkannya ke ratusan juta orang."
"Kami tidak memahami model bahasa besar dan cara kerjanya. Kami perlu memiliki pemahaman ini agar yakin tentang keselamatan. Teknik yang digunakan manusia untuk membangun sistem AI tidak boleh bergantung pada data dalam jumlah besar untuk pelatihan dan kotak hitam dengan internal yang tidak diketahui.”
Stuart Russell, seorang profesor ilmu komputer di University of California, Berkeley, menyampaikan pidato utama di Konferensi Zhiyuan Beijing 2023.
"Kecerdasan buatan seperti magnet besar dari masa depan yang menarik kita ke depan, bagaimana memastikan bahwa kita tidak akan dikendalikan oleh kecerdasan di luar manusia?" 10 Juni, Profesor Ilmu Komputer, Universitas California, Berkeley, Pusat Kecerdasan Buatan yang Kompatibel dengan Manusia (Pusat AI yang Kompatibel dengan Manusia) direktur Stuart Russell (Stuart Russell) menyampaikan pidato di Konferensi Zhiyuan Beijing 2023, mengatakan bahwa desain sistem kecerdasan buatan harus mengikuti dua prinsip. Pertama, AI harus bertindak demi kepentingan terbaik umat manusia; kedua, AI itu sendiri tidak boleh tahu apa kepentingan itu.
Dalam sesi dialog, Russell dan Yao Qizhi, pemenang Turing Award dan akademisi dari Chinese Academy of Sciences, membahas masa depan jangka panjang kecerdasan buatan dan hubungannya dengan manusia. Ketika keputusan dibuat atas nama masyarakat, kepentingan setiap orang harus diperhitungkan dengan sepatutnya."
"Kecerdasan Buatan: Pendekatan Modern," yang ditulis bersama oleh Russell, telah dipuji sebagai buku teks paling populer di bidang kecerdasan buatan, diadopsi oleh lebih dari 1.500 universitas di 135 negara. Pada tahun 2022, Konferensi Bersama Internasional tentang Kecerdasan Buatan (IJCAI) akan menganugerahkan Russell the Excellence in Research Award.Dia sebelumnya telah memenangkan Penghargaan Komputer dan Pemikiran IJCAI, sehingga menjadi ilmuwan kedua di dunia yang dapat memenangkan dua penghargaan utama IJCAI di waktu yang sama.
Kecerdasan Buatan Umum masih jauh
Pada konferensi Beijing, Russell mendefinisikan kecerdasan buatan umum (AGI) dalam pidato berjudul "AI: Some Thoughts?" Sistem kecerdasan buatan yang melebihi kemampuan manusia dalam tugas. Sistem kecerdasan buatan semacam ini dapat mempelajari dan melakukan tugas apa pun dengan lebih baik dan lebih cepat daripada manusia, termasuk tugas yang tidak dapat ditangani manusia, dan karena keunggulan besar mesin dalam kecepatan, memori, komunikasi, dan bandwidth, di masa depan, kecerdasan buatan umum akan digunakan di hampir semua bidang akan jauh melebihi kemampuan manusia.
Jadi, seberapa jauh manusia dari kecerdasan buatan umum? Russell mengatakan bahwa kita masih jauh dari kecerdasan buatan umum. "Faktanya, masih banyak pertanyaan penting yang belum terjawab."
Russell menunjukkan dalam pidatonya bahwa ChatGPT dan GPT-4 tidak memahami dunia, juga tidak "menjawab" pertanyaan, "Jika kecerdasan buatan umum adalah teka-teki yang lengkap, model bahasa yang besar hanya satu bagian, tetapi kami tidak benar-benar memahami bagaimana menghubungkannya dengan potongan teka-teki lain untuk benar-benar mencapai kecerdasan buatan umum,” katanya, “Saya percaya bahkan ada potongan teka-teki yang hilang yang belum ditemukan.”
Menurut Russell, kelemahan mendasar dari sistem AI saat ini adalah mereka menggunakan sirkuit untuk menghasilkan output. “Kami mencoba mengeluarkan perilaku yang sangat cerdas dari sirkuit, yang merupakan bentuk perhitungan yang cukup terbatas.” Ketidakmampuan sirkuit untuk secara akurat mengekspresikan dan memahami beberapa konsep dasar, menurutnya, berarti bahwa sistem ini memerlukan banyak pelatihan data untuk mempelajari beberapa fungsi yang dapat didefinisikan dengan program sederhana. Dia percaya bahwa arah pengembangan kecerdasan buatan di masa depan harus menggunakan teknologi berdasarkan representasi pengetahuan eksplisit.
"Selain masalah teknis, jika kita membuat kecerdasan buatan umum. Apa yang akan terjadi selanjutnya? " Russell mengutip Alan Turing, pendiri ilmu komputer modern, mengatakan, "Begitu metode pemikiran mesin dimulai, tidak akan lama untuk Tampaknya mengerikan bahwa itu akan menyusul kekuatan lemah kita."
"Bagaimana kita secara permanen memastikan bahwa kita tidak dikendalikan oleh kecerdasan buatan? Ini adalah masalah yang kita hadapi-jika kita tidak dapat menemukan jawaban atas pertanyaan ini, maka menurut saya tidak ada pilihan selain berhenti mengembangkan kecerdasan umum buatan." kata Russel.
Pada bulan Maret tahun ini, Russell menandatangani surat terbuka dengan ribuan orang termasuk CEO Tesla Elon Musk dan "ayah baptis AI" Geoffrey Hinton, menyerukan penangguhan pelatihan sistem AI yang lebih kuat dari GPT-4 Setidaknya enam bulan.
Russell menekankan pada pertemuan itu bahwa jawaban atas masalah itu ada. Desain sistem AI harus mengikuti dua prinsip. Pertama, AI harus bertindak demi kepentingan terbaik umat manusia; kedua, AI itu sendiri tidak boleh tahu apa kepentingan itu. Dengan demikian, mereka tidak yakin tentang preferensi manusia dan masa depan, dan ketidakpastian ini memberikan kendali kepada manusia.
Russell mengatakan bahwa orang perlu mengubah pikiran mereka, bukan untuk mengejar "mesin harus cerdas", tetapi untuk fokus pada "manfaat" mesin agar sejalan dengan kepentingan fundamental umat manusia. "Alien sangat cerdas, tetapi kita tidak selalu ingin mereka datang ke Bumi."
Pemikiran persaudaraan AI dan Mencius
Dalam sesi dialog, Russell dan Yao Qizhi melakukan diskusi yang mendalam dan mendalam.
Ketika ditanya oleh Yao Qizhi tentang masa depan jangka panjang dari hubungan antara kecerdasan buatan dan manusia, Russell mengatakan bahwa fenomena manusia menggunakan AI untuk memuaskan kepentingannya sendiri, yang membuat AI tidak dapat dikendalikan, berasal dari utilitarianisme. langkah penting dalam kemajuan manusia, tetapi juga Ini mengarah pada beberapa masalah." Misalnya, bagaimana keputusan dibuat ketika keputusan memengaruhi berapa banyak orang yang ada secara fisik? Apakah orang menginginkan kelompok besar yang tidak terlalu senang atau kelompok kecil yang sangat senang? "Kami tidak memiliki jawaban yang baik untuk pertanyaan semacam ini, tetapi kami perlu menjawab pertanyaan inti dari filosofi moral ini, karena sistem AI akan memiliki kekuatan besar, dan sebaiknya kami memastikan mereka menggunakan kekuatan itu dengan cara yang benar. "
Russell dan Yao Qizhi (kanan), pemenang Turing Award dan akademisi dari Chinese Academy of Sciences, membahas masa depan jangka panjang kecerdasan buatan dan hubungannya dengan manusia.
Russell mengutip filsuf Tiongkok kuno Mencius dalam jawabannya, "Mencius berbicara tentang konsep persaudaraan di Tiongkok, yang berarti bahwa ketika membuat keputusan moral, kepentingan setiap orang harus diperhitungkan. Dan preferensi setiap orang harus diperlakukan sama." Dia percaya ada pendekatan, berdasarkan bentuk kompleks utilitarianisme preferensi, yang memungkinkan sistem AI mempertimbangkan kepentingan semua orang secara wajar saat membuat keputusan atas nama masyarakat.
Russell bertanya, ketika ada satu orang dan banyak mesin, bagaimana Anda memastikan mesin-mesin tersebut bekerja sama satu sama lain untuk membantu manusia? Ini menyentuh pertanyaan mendasar dari filosofi moral ketika banyak orang memiliki banyak mesin. Dia percaya bahwa sistem AI harus dirancang untuk bekerja atas nama semua manusia. "Jika Anda ingin sistem AI menyesuaikan dengan keinginan individu, maka Anda harus menunjukkan bahwa sistem AI terbatas dalam ruang lingkup tindakannya pada kepentingan individu, bahwa ia tidak dapat merugikan individu lain dengan mengejarnya. kepentingan sendiri karena tidak peduli dengan individu lain. Jadi saya pikir standarnya adalah sistem AI bekerja atas nama manusia."
Selain itu, dalam diskusi, Russell menyebutkan istilah ekonomi "barang posisional", "barang posisional" mengacu pada fakta bahwa orang tidak menilai barang itu sendiri, tetapi makna implisitnya sebagai lebih unggul dari orang lain. "Mengapa Hadiah Nobel berharga? Karena tidak ada orang lain yang memilikinya, dan itu membuktikan bahwa Anda lebih pintar dari hampir semua orang di dunia," ujarnya.
"Sifat barang posisional adalah bahwa ada permainan zero-sum. Sederhananya, tidak semua orang masuk ke dalam 1 persen teratas. Jadi jika Anda mendapatkan nilai pribadi, kebanggaan menjadi 1 persen Kami tidak bisa memberikan itu kebanggaan dan harga diri bagi semua orang,” kata Russell.
Jadi, haruskah sistem AI mempertimbangkan barang posisi saat membuat keputusan atas nama masyarakat? "Jika kita mengatakan kita tidak boleh melakukannya, itu akan menciptakan perubahan besar dalam cara kerja masyarakat. Ini masalah yang jauh lebih sulit. Saya pikir banyak gesekan internal dalam masyarakat sebenarnya disebabkan oleh barang-barang posisional yang bisa saja ' tidak dapat dicapai oleh semua orang."
BERBAHAYA SEPERTI ALGORITMA MEDIA SOSIAL
Yao Qizhi bertanya apakah mungkin di masa depan untuk mengembangkan "daftar putih" yang memungkinkan sistem AI digunakan untuk melakukan hal-hal yang bermanfaat bagi kesejahteraan manusia, seperti menggunakan metode AI untuk merancang obat dan memecahkan masalah kanker.
Russell mengatakan bahwa K. Eric Drexler, salah satu pendiri nanoteknologi, telah mengerjakan keamanan AI selama beberapa tahun terakhir, dan dia mengusulkan layanan AI komprehensif (Layanan AI Komprehensif). , CAIS), yaitu sistem kecerdasan buatan. tidak dibangun untuk tujuan umum, tetapi untuk memecahkan masalah spesifik dan sempit, seperti pelipatan protein, prediksi lalu lintas, dll. Risiko skala besar yang ditimbulkan oleh sistem ini relatif kecil dibandingkan dengan kecerdasan buatan pada umumnya.
Russell berkata, "Dalam jangka pendek, ini adalah pendekatan yang masuk akal," tetapi, "Saya rasa satu-satunya cara untuk memahami keamanan kecerdasan buatan adalah menyebarkan ratusan juta salinan sistem di dunia nyata dan amati hasilnya." Dia berkata, Manusia tidak akan melakukan ini pada vaksin, "Kami harus mengujinya sebelum menyebarkannya, karena kami akan menyuntikkannya ke ratusan juta orang."
Oleh karena itu, saat ini diperlukan lebih banyak pekerjaan untuk memastikan keselamatan orang yang menggunakan sistem ini. Russell mencatat bahwa sistem AI berpotensi mengubah pandangan dan emosi ratusan juta orang melalui dialog. Perusahaan teknologi seperti OpenAI harus berhenti merilis sistem AI baru kepada ratusan juta orang tanpa memberi tahu mereka bahwa sistem ini dapat memanipulasi dan memengaruhi pemikiran dan perilaku manusia melalui dialog, yang menyebabkan beberapa konsekuensi bencana, seperti perang nuklir atau bencana iklim. "Jika Anda dapat berbicara dengan ratusan juta orang, Anda dapat meyakinkan ratusan juta orang tersebut untuk tidak terlalu bersahabat dengan negara lain, dan Anda dapat meyakinkan orang untuk tidak terlalu peduli dengan perubahan iklim."
Russell berkata, "Situasi ini mirip dengan algoritme media sosial, dan kami bahkan tidak menyadari bahwa ini mengubah wacana publik, sentimen, dan cara kami melihat orang lain dan masa depan, yang sangat berbahaya." Tidak ada cara untuk mendeteksi objek internal, mengarahkan AI untuk mendorong kita ke arah ini."
Lantas, bagaimana memastikan keamanan dan pengendalian teknologi kecerdasan buatan?
"Jika AI sekuat atau lebih kuat dari senjata nuklir, kita mungkin perlu mengelolanya dengan cara yang sama." Russell berkata, "Sebelum penemuan teknologi senjata nuklir, ada fisikawan yang percaya bahwa kita perlu memiliki struktur tata kelola untuk memastikan bahwa teknologi hanya digunakan untuk kepentingan manusia dan bukan dalam bentuk senjata.Sayangnya, baik komunitas fisika maupun pemerintah tidak mendengarkan pendapat mereka.” Dia menekankan bahwa teknologi AI sama kuatnya dengan senjata nuklir dan teknologi penerbangan, dan negara-negara harus Berusaha untuk memulai kolaborasi keamanan AI ini sesegera mungkin.
Russell percaya bahwa memastikan manfaat potensial AI memerlukan perubahan menyeluruh, tidak hanya regulasi dan penetapan aturan dan standar keselamatan yang ketat, tetapi juga perubahan budaya di seluruh bidang AI.
Dia memberi saran: Pertama, bangun sistem AI yang bisa dipahami manusia. "Kami tidak memahami model bahasa besar dan cara kerjanya. Kami perlu memiliki pemahaman ini untuk memiliki keyakinan akan keselamatan. Teknik yang digunakan manusia untuk membangun sistem AI tidak boleh bergantung pada data dalam jumlah besar untuk pelatihan dan kotak hitam dengan internal yang tidak diketahui."
Selain itu, mencegah penerapan sistem AI yang tidak aman, terutama oleh aktor jahat, "membutuhkan perubahan pada seluruh ekosistem digital, dimulai dengan cara komputer beroperasi, yaitu komputer tidak menjalankan perangkat lunak yang dianggap tidak aman."
Di akhir diskusi, Russell menyimpulkan bahwa kecerdasan buatan adalah ilmu, jadi sebelum menggunakannya, Anda perlu memahami struktur internal dan prinsip kerjanya. "Sama seperti kita membuat pesawat terbang, kita dapat mengetahui bagaimana mereka bertahan di udara berdasarkan bentuk fisik dan mesinnya dan sebagainya." Dia berkata, "Saat ini, terutama di bidang model bahasa besar, kecerdasan buatan belum tercapai. tingkat seperti itu. Kami tidak tahu bagaimana mereka menghasilkan sifat-sifat ini. Faktanya, kami bahkan tidak tahu sifat apa yang mereka miliki, jadi kami tidak dapat menghubungkan fenomena ini dengan cara kerja batin mereka.” Oleh karena itu, kecerdasan buatan adalah bidang yang perlu dikembangkan lebih lanjut.Ilmu eksplorasi.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Stuart Russell: Model besar hanyalah bagian terisolasi dari teka-teki AGI, dan masih ada teka-teki yang belum ditemukan
Sumber: Makalah
Reporter Magang Wu Tianyi Chen Xiaorui
"Menurut saya, satu-satunya cara untuk memahami keamanan AI adalah menyebarkan ratusan juta salinan sistem di dunia nyata dan melihat hasilnya." Manusia tidak melakukannya dengan vaksin, "Kita harus menguji vaksin sebelum kami menyebarkannya, karena kami akan menyuntikkannya ke ratusan juta orang."
"Kami tidak memahami model bahasa besar dan cara kerjanya. Kami perlu memiliki pemahaman ini agar yakin tentang keselamatan. Teknik yang digunakan manusia untuk membangun sistem AI tidak boleh bergantung pada data dalam jumlah besar untuk pelatihan dan kotak hitam dengan internal yang tidak diketahui.”
"Kecerdasan buatan seperti magnet besar dari masa depan yang menarik kita ke depan, bagaimana memastikan bahwa kita tidak akan dikendalikan oleh kecerdasan di luar manusia?" 10 Juni, Profesor Ilmu Komputer, Universitas California, Berkeley, Pusat Kecerdasan Buatan yang Kompatibel dengan Manusia (Pusat AI yang Kompatibel dengan Manusia) direktur Stuart Russell (Stuart Russell) menyampaikan pidato di Konferensi Zhiyuan Beijing 2023, mengatakan bahwa desain sistem kecerdasan buatan harus mengikuti dua prinsip. Pertama, AI harus bertindak demi kepentingan terbaik umat manusia; kedua, AI itu sendiri tidak boleh tahu apa kepentingan itu.
Dalam sesi dialog, Russell dan Yao Qizhi, pemenang Turing Award dan akademisi dari Chinese Academy of Sciences, membahas masa depan jangka panjang kecerdasan buatan dan hubungannya dengan manusia. Ketika keputusan dibuat atas nama masyarakat, kepentingan setiap orang harus diperhitungkan dengan sepatutnya."
"Kecerdasan Buatan: Pendekatan Modern," yang ditulis bersama oleh Russell, telah dipuji sebagai buku teks paling populer di bidang kecerdasan buatan, diadopsi oleh lebih dari 1.500 universitas di 135 negara. Pada tahun 2022, Konferensi Bersama Internasional tentang Kecerdasan Buatan (IJCAI) akan menganugerahkan Russell the Excellence in Research Award.Dia sebelumnya telah memenangkan Penghargaan Komputer dan Pemikiran IJCAI, sehingga menjadi ilmuwan kedua di dunia yang dapat memenangkan dua penghargaan utama IJCAI di waktu yang sama.
Kecerdasan Buatan Umum masih jauh
Pada konferensi Beijing, Russell mendefinisikan kecerdasan buatan umum (AGI) dalam pidato berjudul "AI: Some Thoughts?" Sistem kecerdasan buatan yang melebihi kemampuan manusia dalam tugas. Sistem kecerdasan buatan semacam ini dapat mempelajari dan melakukan tugas apa pun dengan lebih baik dan lebih cepat daripada manusia, termasuk tugas yang tidak dapat ditangani manusia, dan karena keunggulan besar mesin dalam kecepatan, memori, komunikasi, dan bandwidth, di masa depan, kecerdasan buatan umum akan digunakan di hampir semua bidang akan jauh melebihi kemampuan manusia.
Jadi, seberapa jauh manusia dari kecerdasan buatan umum? Russell mengatakan bahwa kita masih jauh dari kecerdasan buatan umum. "Faktanya, masih banyak pertanyaan penting yang belum terjawab."
Russell menunjukkan dalam pidatonya bahwa ChatGPT dan GPT-4 tidak memahami dunia, juga tidak "menjawab" pertanyaan, "Jika kecerdasan buatan umum adalah teka-teki yang lengkap, model bahasa yang besar hanya satu bagian, tetapi kami tidak benar-benar memahami bagaimana menghubungkannya dengan potongan teka-teki lain untuk benar-benar mencapai kecerdasan buatan umum,” katanya, “Saya percaya bahkan ada potongan teka-teki yang hilang yang belum ditemukan.”
Menurut Russell, kelemahan mendasar dari sistem AI saat ini adalah mereka menggunakan sirkuit untuk menghasilkan output. “Kami mencoba mengeluarkan perilaku yang sangat cerdas dari sirkuit, yang merupakan bentuk perhitungan yang cukup terbatas.” Ketidakmampuan sirkuit untuk secara akurat mengekspresikan dan memahami beberapa konsep dasar, menurutnya, berarti bahwa sistem ini memerlukan banyak pelatihan data untuk mempelajari beberapa fungsi yang dapat didefinisikan dengan program sederhana. Dia percaya bahwa arah pengembangan kecerdasan buatan di masa depan harus menggunakan teknologi berdasarkan representasi pengetahuan eksplisit.
"Selain masalah teknis, jika kita membuat kecerdasan buatan umum. Apa yang akan terjadi selanjutnya? " Russell mengutip Alan Turing, pendiri ilmu komputer modern, mengatakan, "Begitu metode pemikiran mesin dimulai, tidak akan lama untuk Tampaknya mengerikan bahwa itu akan menyusul kekuatan lemah kita."
"Bagaimana kita secara permanen memastikan bahwa kita tidak dikendalikan oleh kecerdasan buatan? Ini adalah masalah yang kita hadapi-jika kita tidak dapat menemukan jawaban atas pertanyaan ini, maka menurut saya tidak ada pilihan selain berhenti mengembangkan kecerdasan umum buatan." kata Russel.
Pada bulan Maret tahun ini, Russell menandatangani surat terbuka dengan ribuan orang termasuk CEO Tesla Elon Musk dan "ayah baptis AI" Geoffrey Hinton, menyerukan penangguhan pelatihan sistem AI yang lebih kuat dari GPT-4 Setidaknya enam bulan.
Russell menekankan pada pertemuan itu bahwa jawaban atas masalah itu ada. Desain sistem AI harus mengikuti dua prinsip. Pertama, AI harus bertindak demi kepentingan terbaik umat manusia; kedua, AI itu sendiri tidak boleh tahu apa kepentingan itu. Dengan demikian, mereka tidak yakin tentang preferensi manusia dan masa depan, dan ketidakpastian ini memberikan kendali kepada manusia.
Russell mengatakan bahwa orang perlu mengubah pikiran mereka, bukan untuk mengejar "mesin harus cerdas", tetapi untuk fokus pada "manfaat" mesin agar sejalan dengan kepentingan fundamental umat manusia. "Alien sangat cerdas, tetapi kita tidak selalu ingin mereka datang ke Bumi."
Pemikiran persaudaraan AI dan Mencius
Dalam sesi dialog, Russell dan Yao Qizhi melakukan diskusi yang mendalam dan mendalam.
Ketika ditanya oleh Yao Qizhi tentang masa depan jangka panjang dari hubungan antara kecerdasan buatan dan manusia, Russell mengatakan bahwa fenomena manusia menggunakan AI untuk memuaskan kepentingannya sendiri, yang membuat AI tidak dapat dikendalikan, berasal dari utilitarianisme. langkah penting dalam kemajuan manusia, tetapi juga Ini mengarah pada beberapa masalah." Misalnya, bagaimana keputusan dibuat ketika keputusan memengaruhi berapa banyak orang yang ada secara fisik? Apakah orang menginginkan kelompok besar yang tidak terlalu senang atau kelompok kecil yang sangat senang? "Kami tidak memiliki jawaban yang baik untuk pertanyaan semacam ini, tetapi kami perlu menjawab pertanyaan inti dari filosofi moral ini, karena sistem AI akan memiliki kekuatan besar, dan sebaiknya kami memastikan mereka menggunakan kekuatan itu dengan cara yang benar. "
Russell mengutip filsuf Tiongkok kuno Mencius dalam jawabannya, "Mencius berbicara tentang konsep persaudaraan di Tiongkok, yang berarti bahwa ketika membuat keputusan moral, kepentingan setiap orang harus diperhitungkan. Dan preferensi setiap orang harus diperlakukan sama." Dia percaya ada pendekatan, berdasarkan bentuk kompleks utilitarianisme preferensi, yang memungkinkan sistem AI mempertimbangkan kepentingan semua orang secara wajar saat membuat keputusan atas nama masyarakat.
Russell bertanya, ketika ada satu orang dan banyak mesin, bagaimana Anda memastikan mesin-mesin tersebut bekerja sama satu sama lain untuk membantu manusia? Ini menyentuh pertanyaan mendasar dari filosofi moral ketika banyak orang memiliki banyak mesin. Dia percaya bahwa sistem AI harus dirancang untuk bekerja atas nama semua manusia. "Jika Anda ingin sistem AI menyesuaikan dengan keinginan individu, maka Anda harus menunjukkan bahwa sistem AI terbatas dalam ruang lingkup tindakannya pada kepentingan individu, bahwa ia tidak dapat merugikan individu lain dengan mengejarnya. kepentingan sendiri karena tidak peduli dengan individu lain. Jadi saya pikir standarnya adalah sistem AI bekerja atas nama manusia."
Selain itu, dalam diskusi, Russell menyebutkan istilah ekonomi "barang posisional", "barang posisional" mengacu pada fakta bahwa orang tidak menilai barang itu sendiri, tetapi makna implisitnya sebagai lebih unggul dari orang lain. "Mengapa Hadiah Nobel berharga? Karena tidak ada orang lain yang memilikinya, dan itu membuktikan bahwa Anda lebih pintar dari hampir semua orang di dunia," ujarnya.
"Sifat barang posisional adalah bahwa ada permainan zero-sum. Sederhananya, tidak semua orang masuk ke dalam 1 persen teratas. Jadi jika Anda mendapatkan nilai pribadi, kebanggaan menjadi 1 persen Kami tidak bisa memberikan itu kebanggaan dan harga diri bagi semua orang,” kata Russell.
Jadi, haruskah sistem AI mempertimbangkan barang posisi saat membuat keputusan atas nama masyarakat? "Jika kita mengatakan kita tidak boleh melakukannya, itu akan menciptakan perubahan besar dalam cara kerja masyarakat. Ini masalah yang jauh lebih sulit. Saya pikir banyak gesekan internal dalam masyarakat sebenarnya disebabkan oleh barang-barang posisional yang bisa saja ' tidak dapat dicapai oleh semua orang."
BERBAHAYA SEPERTI ALGORITMA MEDIA SOSIAL
Yao Qizhi bertanya apakah mungkin di masa depan untuk mengembangkan "daftar putih" yang memungkinkan sistem AI digunakan untuk melakukan hal-hal yang bermanfaat bagi kesejahteraan manusia, seperti menggunakan metode AI untuk merancang obat dan memecahkan masalah kanker.
Russell mengatakan bahwa K. Eric Drexler, salah satu pendiri nanoteknologi, telah mengerjakan keamanan AI selama beberapa tahun terakhir, dan dia mengusulkan layanan AI komprehensif (Layanan AI Komprehensif). , CAIS), yaitu sistem kecerdasan buatan. tidak dibangun untuk tujuan umum, tetapi untuk memecahkan masalah spesifik dan sempit, seperti pelipatan protein, prediksi lalu lintas, dll. Risiko skala besar yang ditimbulkan oleh sistem ini relatif kecil dibandingkan dengan kecerdasan buatan pada umumnya.
Russell berkata, "Dalam jangka pendek, ini adalah pendekatan yang masuk akal," tetapi, "Saya rasa satu-satunya cara untuk memahami keamanan kecerdasan buatan adalah menyebarkan ratusan juta salinan sistem di dunia nyata dan amati hasilnya." Dia berkata, Manusia tidak akan melakukan ini pada vaksin, "Kami harus mengujinya sebelum menyebarkannya, karena kami akan menyuntikkannya ke ratusan juta orang."
Oleh karena itu, saat ini diperlukan lebih banyak pekerjaan untuk memastikan keselamatan orang yang menggunakan sistem ini. Russell mencatat bahwa sistem AI berpotensi mengubah pandangan dan emosi ratusan juta orang melalui dialog. Perusahaan teknologi seperti OpenAI harus berhenti merilis sistem AI baru kepada ratusan juta orang tanpa memberi tahu mereka bahwa sistem ini dapat memanipulasi dan memengaruhi pemikiran dan perilaku manusia melalui dialog, yang menyebabkan beberapa konsekuensi bencana, seperti perang nuklir atau bencana iklim. "Jika Anda dapat berbicara dengan ratusan juta orang, Anda dapat meyakinkan ratusan juta orang tersebut untuk tidak terlalu bersahabat dengan negara lain, dan Anda dapat meyakinkan orang untuk tidak terlalu peduli dengan perubahan iklim."
Russell berkata, "Situasi ini mirip dengan algoritme media sosial, dan kami bahkan tidak menyadari bahwa ini mengubah wacana publik, sentimen, dan cara kami melihat orang lain dan masa depan, yang sangat berbahaya." Tidak ada cara untuk mendeteksi objek internal, mengarahkan AI untuk mendorong kita ke arah ini."
Lantas, bagaimana memastikan keamanan dan pengendalian teknologi kecerdasan buatan?
"Jika AI sekuat atau lebih kuat dari senjata nuklir, kita mungkin perlu mengelolanya dengan cara yang sama." Russell berkata, "Sebelum penemuan teknologi senjata nuklir, ada fisikawan yang percaya bahwa kita perlu memiliki struktur tata kelola untuk memastikan bahwa teknologi hanya digunakan untuk kepentingan manusia dan bukan dalam bentuk senjata.Sayangnya, baik komunitas fisika maupun pemerintah tidak mendengarkan pendapat mereka.” Dia menekankan bahwa teknologi AI sama kuatnya dengan senjata nuklir dan teknologi penerbangan, dan negara-negara harus Berusaha untuk memulai kolaborasi keamanan AI ini sesegera mungkin.
Russell percaya bahwa memastikan manfaat potensial AI memerlukan perubahan menyeluruh, tidak hanya regulasi dan penetapan aturan dan standar keselamatan yang ketat, tetapi juga perubahan budaya di seluruh bidang AI.
Dia memberi saran: Pertama, bangun sistem AI yang bisa dipahami manusia. "Kami tidak memahami model bahasa besar dan cara kerjanya. Kami perlu memiliki pemahaman ini untuk memiliki keyakinan akan keselamatan. Teknik yang digunakan manusia untuk membangun sistem AI tidak boleh bergantung pada data dalam jumlah besar untuk pelatihan dan kotak hitam dengan internal yang tidak diketahui."
Selain itu, mencegah penerapan sistem AI yang tidak aman, terutama oleh aktor jahat, "membutuhkan perubahan pada seluruh ekosistem digital, dimulai dengan cara komputer beroperasi, yaitu komputer tidak menjalankan perangkat lunak yang dianggap tidak aman."
Di akhir diskusi, Russell menyimpulkan bahwa kecerdasan buatan adalah ilmu, jadi sebelum menggunakannya, Anda perlu memahami struktur internal dan prinsip kerjanya. "Sama seperti kita membuat pesawat terbang, kita dapat mengetahui bagaimana mereka bertahan di udara berdasarkan bentuk fisik dan mesinnya dan sebagainya." Dia berkata, "Saat ini, terutama di bidang model bahasa besar, kecerdasan buatan belum tercapai. tingkat seperti itu. Kami tidak tahu bagaimana mereka menghasilkan sifat-sifat ini. Faktanya, kami bahkan tidak tahu sifat apa yang mereka miliki, jadi kami tidak dapat menghubungkan fenomena ini dengan cara kerja batin mereka.” Oleh karena itu, kecerdasan buatan adalah bidang yang perlu dikembangkan lebih lanjut.Ilmu eksplorasi.