«Я не думаю, що єдиний спосіб зрозуміти безпеку штучного інтелекту — це розгорнути сотні мільйонів копій системи в реальному світі та побачити результати». Люди цього не роблять із вакцинами, «Ми повинні перевірити вакцину. перш ніж ми розгорнемо його, тому що ми збираємося ввести його сотням мільйонів людей».
"Ми не розуміємо великих мовних моделей і того, як вони працюють. Нам потрібно мати це розуміння, щоб бути впевненими в безпеці. Методи, які люди використовують для створення систем штучного інтелекту, не повинні покладатися на величезні обсяги даних для навчання та чорні ящики з невідомі внутрішні органи».
Стюарт Рассел, професор інформатики Каліфорнійського університету в Берклі, виступив із основною промовою на Пекінській конференції Чжиюань 2023 року.
«Штучний інтелект схожий на величезний магніт з майбутнього, який тягне нас вперед, як гарантувати, що нами не керуватиме інтелект, що перевищує людський?» 10 червня, професор комп’ютерних наук, Каліфорнійський університет, Берклі, Центр сумісного з людиною штучного інтелекту Директор (Center for Human-Compatible AI) Стюарт Рассел (Stuart Russell) виступив з промовою на Пекінській конференції Чжиюань 2023 року, заявивши, що розробка систем штучного інтелекту повинна відповідати двом принципам. По-перше, ШІ повинен діяти в найкращих інтересах людства; по-друге, сам ШІ не повинен знати, які ці інтереси.
Під час діалогової сесії Рассел і Яо Цічжі, лауреат премії Тюрінга та академік Академії наук Китаю, обговорили довгострокове майбутнє штучного інтелекту та його зв’язок із людьми.Коли рішення приймаються від імені суспільства, інтереси кожного мають бути належним чином враховані».
«Штучний інтелект: сучасний підхід», співавтором якого є Рассел, визнано найпопулярнішим підручником у галузі штучного інтелекту, прийнятим понад 1500 університетами в 135 країнах. У 2022 році Міжнародна об’єднана конференція зі штучного інтелекту (IJCAI) присудить Расселу нагороду Excellence in Research Award. Раніше він виграв нагороду IJCAI Computer and Thought Award, ставши таким чином другим вченим у світі, який може отримати дві великі нагороди IJCAI на Водночас.
До загального штучного інтелекту ще далеко
На конференції в Пекіні Рассел дав визначення загального штучного інтелекту (AGI) у промові під назвою «ШІ: кілька думок?» Системи штучного інтелекту, які перевищують людські можливості в задачах. Така система штучного інтелекту може вивчати та виконувати будь-які завдання краще та швидше, ніж люди, у тому числі завдання, з якими люди не можуть впоратися, і завдяки величезним перевагам машин у швидкості, пам’яті, зв’язку та пропускній здатності в майбутньому загальний штучний інтелект буде виконувати використання майже в усіх сферах значно перевищить людські можливості.
Отже, наскільки далекі люди від загального штучного інтелекту? Рассел сказав, що ми ще далекі від загального штучного інтелекту. «Насправді залишається багато важливих питань без відповіді».
У своїй промові Рассел підкреслив, що ChatGPT і GPT-4 не розуміють світу та не «відповідають» на запитання: «Якщо загальний штучний інтелект — це повна головоломка, то велика мовна модель — лише одна частина, але ми насправді не розуміння того, як поєднати це з іншими частинами головоломки, щоб справді досягти загального штучного інтелекту», – сказав він, «Я вважаю, що є навіть частини відсутньої головоломки, які не були знайдені».
За словами Рассела, фундаментальна слабкість сучасних систем штучного інтелекту полягає в тому, що вони використовують схеми для генерування вихідних даних. «Ми намагаємося отримати високоінтелектуальну поведінку схем, які самі по собі є досить обмеженою формою обчислень.» Він стверджує, що нездатність схем точно виражати та розуміти деякі фундаментальні концепції означає, що ці системи вимагають тривалого навчання. даних, щоб вивчити деякі функції, які можна визначити за допомогою простих програм. Він вважає, що майбутній напрямок розвитку штучного інтелекту має полягати у використанні технологій, заснованих на явному представленні знань.
«Технічні проблеми в стороні, якщо ми таки створимо загальний штучний інтелект. Що буде далі?» Рассел процитував Алана Тюрінга, засновника сучасної інформатики, який сказав: «Коли запрацює метод машинного мислення, це не займе багато часу для це здається жахливим, що це переможе наші слабкі сили».
"Як ми назавжди гарантуємо, що нами не керує штучний інтелект? Це проблема, з якою ми стикаємося. Якщо ми не можемо знайти відповідь на це запитання, я думаю, що немає іншого вибору, окрім як припинити розробку штучного інтелекту". - сказав Рассел.
У березні цього року Рассел підписав відкритий лист із тисячами людей, включаючи генерального директора Tesla Ілона Маска та «хрещеного батька штучного інтелекту» Джеффрі Гінтона, із закликом призупинити навчання систем штучного інтелекту, які є потужнішими за GPT-4, принаймні на шість місяців.
Рассел підкреслив на зустрічі, що відповідь на проблему існує. Дизайн системи штучного інтелекту повинен відповідати двом принципам. По-перше, ШІ повинен діяти в найкращих інтересах людства; по-друге, сам ШІ не повинен знати, які ці інтереси. Таким чином, вони невпевнені щодо людських уподобань і майбутнього, і ця невизначеність дає людям контроль.
Рассел сказав, що люди повинні змінити свою думку, не переслідувати «машини мають бути розумними», а зосередитися на «корисності» машин, щоб вони відповідали фундаментальним інтересам людства. «Інопланетяни дуже розумні, але ми не обов’язково хочемо, щоб вони прилетіли на Землю».
Думки ШІ та Мен-цзи про братство
Під час сеансу діалогу Рассел і Яо Ціджі провели глибоку та проникливу дискусію.
На запитання Яо Ціджі про довгострокове майбутнє відносин між штучним інтелектом і людьми, Рассел сказав, що явище, коли люди використовують ШІ для задоволення власних інтересів, що робить ШІ неконтрольованим, походить від утилітаризму. «Утилітаризм — це Це важливий крок у розвитку людства, але це також призводить до деяких проблем." Наприклад, як приймаються рішення, коли рішення впливає на те, скільки людей фізично існує? Чи хочуть люди велику групу, яка не дуже щаслива, чи невелику групу, яка дуже щаслива? «У нас немає хороших відповідей на подібні питання, але ми повинні відповісти на ці центральні питання моральної філософії, тому що системи штучного інтелекту матимуть велику потужність, і нам краще переконатися, що вони використовують цю силу належним чином. "
Рассел і Яо Цічжі (праворуч), лауреат премії Тюрінга та академік Академії наук Китаю, обговорили довгострокове майбутнє штучного інтелекту та його зв’язок із людьми.
У своїй відповіді Рассел процитував давньокитайського філософа Мен-цзи: «Мень-цзи говорив про концепцію братерства в Китаї, яка означає, що при прийнятті моральних рішень слід враховувати інтереси кожного. І до вподобань кожного слід ставитися однаково». існує підхід, заснований на складних формах утилітаризму переваг, який може дозволити системам ШІ розумно враховувати інтереси кожного під час прийняття рішень від імені суспільства.
Рассел запитав, коли є одна людина та багато машин, як забезпечити, щоб ці машини співпрацювали одна з одною, щоб допомогти людям? Це торкається фундаментальних питань моральної філософії, коли багато людей мають багато машин. Він вважає, що системи ШІ повинні працювати від імені всіх людей. «Якщо ви хочете, щоб система штучного інтелекту відповідала бажанням окремої людини, тоді ви повинні продемонструвати, що сфера дії системи штучного інтелекту обмежена інтересами особи, що вона не може завдати шкоди іншим особам, переслідуючи свої власних інтересів, тому що він не дбає про інших людей. Тому я думаю, що за замовчуванням системи штучного інтелекту повинні працювати від імені людей».
Крім того, під час дискусії Рассел згадав економічний термін «позиційні блага», «позиційні блага» стосується того факту, що люди цінують не самі предмети, а їх неявне значення вищості над іншими. "Чому цінна Нобелівська премія? Тому що її більше ні в кого немає, і це доводить, що ти розумніший майже за всіх у світі", - сказав він.
«Природа позиційних благ полягає в тому, що в певному сенсі існує гра з нульовою сумою. Простіше кажучи, не всі потрапляють до 1 відсотка найкращих. Отже, якщо ви отримуєте особисту цінність, гордість від того, що є 1 відсотком, ми не можемо дати цього гордість і почуття власної гідності для всіх», – сказав Рассел.
Отже, чи повинні системи штучного інтелекту враховувати позиційні блага під час прийняття рішень від імені суспільства? «Якщо ми скажемо, що не повинні, це призведе до величезних змін у тому, як працює суспільство. Це набагато складніша проблема. Я думаю, що значна частина внутрішнього тертя в суспільстві насправді спричинена цими позиційними благами, які просто неможливо Досягнуто всім».
НЕБЕЗПЕЧНО, ЯК АЛГОРИТМ СОЦІАЛЬНИХ МЕДІА
Яо Ціджі запитав, чи можна буде в майбутньому розробити «білий список», який дозволить використовувати системи штучного інтелекту для того, щоб робити речі, які сприяють добробуту людей, наприклад, використовувати методи ШІ для розробки ліків і вирішення проблем раку.
Рассел сказав, що К. Ерік Дрекслер, один із засновників нанотехнологій, протягом останніх кількох років працював над безпекою ШІ, і він запропонував комплексні послуги ШІ (Comprehensive AI services). , CAIS, тобто системи штучного інтелекту є створено не для загальних цілей, а для вирішення конкретних вузьких проблем, таких як згортання білків, прогнозування трафіку тощо. Масштабні ризики, пов’язані з цими системами, відносно невеликі порівняно зі загальним штучним інтелектом.
Рассел сказав: «У короткостроковій перспективі це розумний підхід», але «я не думаю, що єдиний спосіб зрозуміти безпеку штучного інтелекту — це розгорнути сотні мільйонів копій системи в реальному світі та спостерігайте за результатами». Він сказав: «Люди не зроблять цього з вакциною, «Ми повинні перевірити її перед застосуванням, тому що ми вводитимемо її сотням мільйонів людей».
Тому наразі потрібно більше працювати, щоб забезпечити безпеку людей, які використовують ці системи. Рассел зазначив, що системи ШІ потенційно можуть змінити погляди та емоції сотень мільйонів людей за допомогою діалогу. Такі технічні компанії, як OpenAI, повинні припинити випускати нові системи штучного інтелекту для сотень мільйонів людей, не повідомляючи їм, що ці системи можуть маніпулювати та впливати на людське мислення та поведінку через діалог, що призводить до деяких катастрофічних наслідків, таких як ядерна війна чи кліматична катастрофа. «Якщо ви можете поговорити з сотнями мільйонів людей, ви можете переконати ці сотні мільйонів людей бути менш дружніми до інших країн, і ви можете переконати людей менше турбуватися про зміну клімату».
Рассел сказав: «Ця ситуація схожа на алгоритми соціальних мереж, і ми навіть не усвідомлюємо, що вона змінює суспільний дискурс, настрої та те, як ми бачимо інших людей і майбутнє, що дуже небезпечно». виявляти внутрішні об’єкти, завдяки чому ШІ штовхає нас у цьому напрямку».
Отже, як забезпечити безпеку та керованість технології штучного інтелекту?
«Якщо штучний інтелект настільки ж потужний або потужніший, ніж ядерна зброя, нам, можливо, доведеться керувати ним подібним чином». Рассел сказав: «До винаходу технології ядерної зброї були фізики, які вважали, що нам потрібна структура управління. переконатися, що технологія використовується лише для блага людини, а не у формі зброї. На жаль, ані фізична спільнота, ані уряд не прислухалися до їхньої думки». і країни повинні прагнути якнайшвидше почати цю співпрацю з безпеки ШІ.
Рассел вважає, що забезпечення потенційних переваг штучного інтелекту вимагає комплексних змін, не лише регулювання та встановлення суворих правил і стандартів безпеки, а й культурних змін у всій сфері штучного інтелекту.
Він дав пропозиції: по-перше, створіть систему штучного інтелекту, яку зрозуміють люди. «Ми не розуміємо великих мовних моделей і того, як вони працюють. Нам потрібно мати це розуміння, щоб мати впевненість у безпеці. Техніки, які люди використовують для створення систем штучного інтелекту, не повинні покладатися на величезні обсяги даних для навчання та чорні ящики. з невідомими нутрощами».
Крім того, запобігання розгортанню небезпечних систем штучного інтелекту, особливо зловмисниками, «вимагає змін у всій цифровій екосистемі, починаючи з того, як працює комп’ютер, тобто комп’ютер не запускає програмне забезпечення, яке він вважає небезпечним».
Наприкінці дискусії Рассел дійшов висновку, що штучний інтелект – це наука, тому перед тим, як ним користуватися, потрібно зрозуміти його внутрішню структуру та принцип роботи. «Так само, як ми створюємо літаки, ми можемо визначити, як вони залишаються в повітрі, виходячи з їхньої фізичної форми, двигунів і так далі», — сказав він, «наразі, особливо у сфері великих мовних моделей, штучний інтелект ще не досяг Ми не знаємо, як вони генерують ці властивості. Насправді ми навіть не знаємо, якими властивостями вони володіють, тому ми не можемо пов’язати ці явища з їхньою внутрішньою роботою». потребує подальшого розвитку Наука про розвідку.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Стюарт Рассел: Велика модель — це лише окрема частина головоломки AGI, і досі є загадки, які не знайдено
Джерело: The Paper
Репортер Ву Тяньї Стажер Чень Сяоруй
«Я не думаю, що єдиний спосіб зрозуміти безпеку штучного інтелекту — це розгорнути сотні мільйонів копій системи в реальному світі та побачити результати». Люди цього не роблять із вакцинами, «Ми повинні перевірити вакцину. перш ніж ми розгорнемо його, тому що ми збираємося ввести його сотням мільйонів людей».
"Ми не розуміємо великих мовних моделей і того, як вони працюють. Нам потрібно мати це розуміння, щоб бути впевненими в безпеці. Методи, які люди використовують для створення систем штучного інтелекту, не повинні покладатися на величезні обсяги даних для навчання та чорні ящики з невідомі внутрішні органи».
«Штучний інтелект схожий на величезний магніт з майбутнього, який тягне нас вперед, як гарантувати, що нами не керуватиме інтелект, що перевищує людський?» 10 червня, професор комп’ютерних наук, Каліфорнійський університет, Берклі, Центр сумісного з людиною штучного інтелекту Директор (Center for Human-Compatible AI) Стюарт Рассел (Stuart Russell) виступив з промовою на Пекінській конференції Чжиюань 2023 року, заявивши, що розробка систем штучного інтелекту повинна відповідати двом принципам. По-перше, ШІ повинен діяти в найкращих інтересах людства; по-друге, сам ШІ не повинен знати, які ці інтереси.
Під час діалогової сесії Рассел і Яо Цічжі, лауреат премії Тюрінга та академік Академії наук Китаю, обговорили довгострокове майбутнє штучного інтелекту та його зв’язок із людьми.Коли рішення приймаються від імені суспільства, інтереси кожного мають бути належним чином враховані».
«Штучний інтелект: сучасний підхід», співавтором якого є Рассел, визнано найпопулярнішим підручником у галузі штучного інтелекту, прийнятим понад 1500 університетами в 135 країнах. У 2022 році Міжнародна об’єднана конференція зі штучного інтелекту (IJCAI) присудить Расселу нагороду Excellence in Research Award. Раніше він виграв нагороду IJCAI Computer and Thought Award, ставши таким чином другим вченим у світі, який може отримати дві великі нагороди IJCAI на Водночас.
До загального штучного інтелекту ще далеко
На конференції в Пекіні Рассел дав визначення загального штучного інтелекту (AGI) у промові під назвою «ШІ: кілька думок?» Системи штучного інтелекту, які перевищують людські можливості в задачах. Така система штучного інтелекту може вивчати та виконувати будь-які завдання краще та швидше, ніж люди, у тому числі завдання, з якими люди не можуть впоратися, і завдяки величезним перевагам машин у швидкості, пам’яті, зв’язку та пропускній здатності в майбутньому загальний штучний інтелект буде виконувати використання майже в усіх сферах значно перевищить людські можливості.
Отже, наскільки далекі люди від загального штучного інтелекту? Рассел сказав, що ми ще далекі від загального штучного інтелекту. «Насправді залишається багато важливих питань без відповіді».
У своїй промові Рассел підкреслив, що ChatGPT і GPT-4 не розуміють світу та не «відповідають» на запитання: «Якщо загальний штучний інтелект — це повна головоломка, то велика мовна модель — лише одна частина, але ми насправді не розуміння того, як поєднати це з іншими частинами головоломки, щоб справді досягти загального штучного інтелекту», – сказав він, «Я вважаю, що є навіть частини відсутньої головоломки, які не були знайдені».
За словами Рассела, фундаментальна слабкість сучасних систем штучного інтелекту полягає в тому, що вони використовують схеми для генерування вихідних даних. «Ми намагаємося отримати високоінтелектуальну поведінку схем, які самі по собі є досить обмеженою формою обчислень.» Він стверджує, що нездатність схем точно виражати та розуміти деякі фундаментальні концепції означає, що ці системи вимагають тривалого навчання. даних, щоб вивчити деякі функції, які можна визначити за допомогою простих програм. Він вважає, що майбутній напрямок розвитку штучного інтелекту має полягати у використанні технологій, заснованих на явному представленні знань.
«Технічні проблеми в стороні, якщо ми таки створимо загальний штучний інтелект. Що буде далі?» Рассел процитував Алана Тюрінга, засновника сучасної інформатики, який сказав: «Коли запрацює метод машинного мислення, це не займе багато часу для це здається жахливим, що це переможе наші слабкі сили».
"Як ми назавжди гарантуємо, що нами не керує штучний інтелект? Це проблема, з якою ми стикаємося. Якщо ми не можемо знайти відповідь на це запитання, я думаю, що немає іншого вибору, окрім як припинити розробку штучного інтелекту". - сказав Рассел.
У березні цього року Рассел підписав відкритий лист із тисячами людей, включаючи генерального директора Tesla Ілона Маска та «хрещеного батька штучного інтелекту» Джеффрі Гінтона, із закликом призупинити навчання систем штучного інтелекту, які є потужнішими за GPT-4, принаймні на шість місяців.
Рассел підкреслив на зустрічі, що відповідь на проблему існує. Дизайн системи штучного інтелекту повинен відповідати двом принципам. По-перше, ШІ повинен діяти в найкращих інтересах людства; по-друге, сам ШІ не повинен знати, які ці інтереси. Таким чином, вони невпевнені щодо людських уподобань і майбутнього, і ця невизначеність дає людям контроль.
Рассел сказав, що люди повинні змінити свою думку, не переслідувати «машини мають бути розумними», а зосередитися на «корисності» машин, щоб вони відповідали фундаментальним інтересам людства. «Інопланетяни дуже розумні, але ми не обов’язково хочемо, щоб вони прилетіли на Землю».
Думки ШІ та Мен-цзи про братство
Під час сеансу діалогу Рассел і Яо Ціджі провели глибоку та проникливу дискусію.
На запитання Яо Ціджі про довгострокове майбутнє відносин між штучним інтелектом і людьми, Рассел сказав, що явище, коли люди використовують ШІ для задоволення власних інтересів, що робить ШІ неконтрольованим, походить від утилітаризму. «Утилітаризм — це Це важливий крок у розвитку людства, але це також призводить до деяких проблем." Наприклад, як приймаються рішення, коли рішення впливає на те, скільки людей фізично існує? Чи хочуть люди велику групу, яка не дуже щаслива, чи невелику групу, яка дуже щаслива? «У нас немає хороших відповідей на подібні питання, але ми повинні відповісти на ці центральні питання моральної філософії, тому що системи штучного інтелекту матимуть велику потужність, і нам краще переконатися, що вони використовують цю силу належним чином. "
У своїй відповіді Рассел процитував давньокитайського філософа Мен-цзи: «Мень-цзи говорив про концепцію братерства в Китаї, яка означає, що при прийнятті моральних рішень слід враховувати інтереси кожного. І до вподобань кожного слід ставитися однаково». існує підхід, заснований на складних формах утилітаризму переваг, який може дозволити системам ШІ розумно враховувати інтереси кожного під час прийняття рішень від імені суспільства.
Рассел запитав, коли є одна людина та багато машин, як забезпечити, щоб ці машини співпрацювали одна з одною, щоб допомогти людям? Це торкається фундаментальних питань моральної філософії, коли багато людей мають багато машин. Він вважає, що системи ШІ повинні працювати від імені всіх людей. «Якщо ви хочете, щоб система штучного інтелекту відповідала бажанням окремої людини, тоді ви повинні продемонструвати, що сфера дії системи штучного інтелекту обмежена інтересами особи, що вона не може завдати шкоди іншим особам, переслідуючи свої власних інтересів, тому що він не дбає про інших людей. Тому я думаю, що за замовчуванням системи штучного інтелекту повинні працювати від імені людей».
Крім того, під час дискусії Рассел згадав економічний термін «позиційні блага», «позиційні блага» стосується того факту, що люди цінують не самі предмети, а їх неявне значення вищості над іншими. "Чому цінна Нобелівська премія? Тому що її більше ні в кого немає, і це доводить, що ти розумніший майже за всіх у світі", - сказав він.
«Природа позиційних благ полягає в тому, що в певному сенсі існує гра з нульовою сумою. Простіше кажучи, не всі потрапляють до 1 відсотка найкращих. Отже, якщо ви отримуєте особисту цінність, гордість від того, що є 1 відсотком, ми не можемо дати цього гордість і почуття власної гідності для всіх», – сказав Рассел.
Отже, чи повинні системи штучного інтелекту враховувати позиційні блага під час прийняття рішень від імені суспільства? «Якщо ми скажемо, що не повинні, це призведе до величезних змін у тому, як працює суспільство. Це набагато складніша проблема. Я думаю, що значна частина внутрішнього тертя в суспільстві насправді спричинена цими позиційними благами, які просто неможливо Досягнуто всім».
НЕБЕЗПЕЧНО, ЯК АЛГОРИТМ СОЦІАЛЬНИХ МЕДІА
Яо Ціджі запитав, чи можна буде в майбутньому розробити «білий список», який дозволить використовувати системи штучного інтелекту для того, щоб робити речі, які сприяють добробуту людей, наприклад, використовувати методи ШІ для розробки ліків і вирішення проблем раку.
Рассел сказав, що К. Ерік Дрекслер, один із засновників нанотехнологій, протягом останніх кількох років працював над безпекою ШІ, і він запропонував комплексні послуги ШІ (Comprehensive AI services). , CAIS, тобто системи штучного інтелекту є створено не для загальних цілей, а для вирішення конкретних вузьких проблем, таких як згортання білків, прогнозування трафіку тощо. Масштабні ризики, пов’язані з цими системами, відносно невеликі порівняно зі загальним штучним інтелектом.
Рассел сказав: «У короткостроковій перспективі це розумний підхід», але «я не думаю, що єдиний спосіб зрозуміти безпеку штучного інтелекту — це розгорнути сотні мільйонів копій системи в реальному світі та спостерігайте за результатами». Він сказав: «Люди не зроблять цього з вакциною, «Ми повинні перевірити її перед застосуванням, тому що ми вводитимемо її сотням мільйонів людей».
Тому наразі потрібно більше працювати, щоб забезпечити безпеку людей, які використовують ці системи. Рассел зазначив, що системи ШІ потенційно можуть змінити погляди та емоції сотень мільйонів людей за допомогою діалогу. Такі технічні компанії, як OpenAI, повинні припинити випускати нові системи штучного інтелекту для сотень мільйонів людей, не повідомляючи їм, що ці системи можуть маніпулювати та впливати на людське мислення та поведінку через діалог, що призводить до деяких катастрофічних наслідків, таких як ядерна війна чи кліматична катастрофа. «Якщо ви можете поговорити з сотнями мільйонів людей, ви можете переконати ці сотні мільйонів людей бути менш дружніми до інших країн, і ви можете переконати людей менше турбуватися про зміну клімату».
Рассел сказав: «Ця ситуація схожа на алгоритми соціальних мереж, і ми навіть не усвідомлюємо, що вона змінює суспільний дискурс, настрої та те, як ми бачимо інших людей і майбутнє, що дуже небезпечно». виявляти внутрішні об’єкти, завдяки чому ШІ штовхає нас у цьому напрямку».
Отже, як забезпечити безпеку та керованість технології штучного інтелекту?
«Якщо штучний інтелект настільки ж потужний або потужніший, ніж ядерна зброя, нам, можливо, доведеться керувати ним подібним чином». Рассел сказав: «До винаходу технології ядерної зброї були фізики, які вважали, що нам потрібна структура управління. переконатися, що технологія використовується лише для блага людини, а не у формі зброї. На жаль, ані фізична спільнота, ані уряд не прислухалися до їхньої думки». і країни повинні прагнути якнайшвидше почати цю співпрацю з безпеки ШІ.
Рассел вважає, що забезпечення потенційних переваг штучного інтелекту вимагає комплексних змін, не лише регулювання та встановлення суворих правил і стандартів безпеки, а й культурних змін у всій сфері штучного інтелекту.
Він дав пропозиції: по-перше, створіть систему штучного інтелекту, яку зрозуміють люди. «Ми не розуміємо великих мовних моделей і того, як вони працюють. Нам потрібно мати це розуміння, щоб мати впевненість у безпеці. Техніки, які люди використовують для створення систем штучного інтелекту, не повинні покладатися на величезні обсяги даних для навчання та чорні ящики. з невідомими нутрощами».
Крім того, запобігання розгортанню небезпечних систем штучного інтелекту, особливо зловмисниками, «вимагає змін у всій цифровій екосистемі, починаючи з того, як працює комп’ютер, тобто комп’ютер не запускає програмне забезпечення, яке він вважає небезпечним».
Наприкінці дискусії Рассел дійшов висновку, що штучний інтелект – це наука, тому перед тим, як ним користуватися, потрібно зрозуміти його внутрішню структуру та принцип роботи. «Так само, як ми створюємо літаки, ми можемо визначити, як вони залишаються в повітрі, виходячи з їхньої фізичної форми, двигунів і так далі», — сказав він, «наразі, особливо у сфері великих мовних моделей, штучний інтелект ще не досяг Ми не знаємо, як вони генерують ці властивості. Насправді ми навіть не знаємо, якими властивостями вони володіють, тому ми не можемо пов’язати ці явища з їхньою внутрішньою роботою». потребує подальшого розвитку Наука про розвідку.