Ця стаття надіслана в Пекіні Чжан Сяоцзюнем, автором Tencent News "Periscope"
Джерело зображення: створено інструментом Unbounded AI
Півмісяця тому сотні провідних діячів штучного інтелекту, включаючи генерального директора OpenAI Сема Альтмана та лауреата премії Тюрінга Джеффрі Хінтона, підписали коротку заяву про загрозу штучного інтелекту для зникнення людства.
Ця заява містить лише одне речення: «пом’якшення ризику зникнення штучного інтелекту має стати глобальним пріоритетом разом з іншими ризиками суспільного масштабу, такими як епідемії та ядерна війна».
Девід Крюгер, доцент кафедри досліджень штучного інтелекту в Кембриджському університеті, був одним з ініціаторів листа, а також його підписант.
9 червня Крюгер провів глибокий діалог із Tencent News «Periscope» під час участі в Пекінській конференції Чжіюань 2023 року. Він давно стурбований проблемами безпеки ШІ. З 2012 року він стурбований потенційним ризиком штучного інтелекту для вимирання людства, який індустрія називає «X-Risk» (екзистенціальний ризик).
У відповідь на ризики ШІ одна точка зору заперечує, що це сильне занепокоєння може бути схоже на надмірну паніку людей, коли з’явився паровий двигун сотні років тому. Але Крюгер сказав, що найбільша різниця між ними полягає в тому, що парова машина не змусить людей вимерти, а штучний інтелект.
Крюгер вважає, що штучний інтелект розумніший за людей, невпорядкована конкуренція та створення систем штучного інтелекту, які мають більш безпосередній вплив на світ, ці три фактори значно підвищать фактор ризику того, що системи штучного інтелекту вийдуть з-під контролю. «Чим більш відкрита система, чим більш автономна, тим більш розумна і чим більше вона розроблена для досягнення довгострокових цілей, тим більший ризик того, що система виходить з-під контролю», — сказав він.
На його думку, питання безпеки штучного інтелекту схоже на питання глобальної зміни клімату.У всіх сторін є власні інтереси, і буде багато конфліктів і розбіжностей, які в кінцевому підсумку зроблять це складним питанням глобальної координації. Тому необхідно почати якнайшвидше та за допомогою зусиль усіх сторін, щоб люди не потрапили під контроль ШІ.
Тільки так люди можуть вижити.
Девід Крюгер
Ось суть виступу Девіда Крюгера.
01 Спільний лист "Заява про ризики AI" складається лише з одного речення, воно ретельно розроблено
**Tencent News «Periscope»: Ви є одним із підписантів «Заяви про ризик штучного інтелекту». Чи можете ви розповісти нам, як з’явилася ця заява? **
Девід Крюгер: Я придумав цю ідею більше року тому, тому що люди все більше й більше стурбовані ризиками штучного інтелекту, особливо ризиком того, що штучний інтелект може спричинити вимирання людства. Водночас багато людей відкрито не обговорюють це питання.
Однією з основних причин є історія, коли ця ідея вважалася маргінальною і люди боялися, що її публічне обговорення негативно вплине на них самих або навіть на їхні кар’єрні перспективи.
Кілька місяців тому настав гарний час. З моменту випуску ChatGPT і GPT-4 увага людей до ШІ досягла безпрецедентного рівня. Довгий час було визнано, що це може бути гіпотетична проблема майбутнього, але про це говорити зарано.
Щодо того, як виникла ця заява, я звернувся до кількох колег, у тому числі до Дена Хендрікса, директора Центру безпеки штучного інтелекту. Я йому сказав, що ми повинні зробити таку заяву, і я маю намір зробити це якомога швидше. Але я не впевнений, що я достатньо хороший, щоб це зробити. Це терміново. Отже, Ден узяв тему та підштовхнув оголошення.
**Tencent News «Перископ»: які у вас коментарі щодо формулювання цього листа? **
Девід Крюгер: Я пропоную використовувати лише одне речення. Є кілька причин.
По-перше, коли у вас є довге твердження, є хороший шанс, що хтось не погодиться з деяким із нього.
Кілька місяців тому ми побачили, що Інститут майбутнього життя оприлюднив заклик до негайного мораторію на навчання всіх лабораторій штучного інтелекту системам ШІ, потужнішим за GPT-4, щонайменше на 6 місяців. Реакція багатьох людей на це звучить чудово, але я не думаю, що ми можемо призупинити розвиток штучного інтелекту.
Звичайно, вони зробили таку заяву, і вона досі актуальна, тому що коли люди говорять, що ми не можемо призупинити, це означає, що нам потрібно діяти. Нам дійсно потрібна здатність призупинити технологію, яка є надто небезпечною для розробки.
Я використовую цей приклад, щоб проілюструвати, що чим більше ви говорите, тим більше людей не погоджуються. У цьому випадку ми не згадали, як впоратися з цим ризиком, оскільки люди мають різні думки щодо правильного методу; ми також не сказали, чому це може призвести до вимирання людства, оскільки різні люди мають різні думки щодо цього – деякі Інші більше хвилюються про те, що технологія виходить з-під контролю, що не є навмисним результатом діяльності зловмисника.
У будь-якому випадку, поки багато людей погоджуються, що це величезний ризик і ми повинні діяти, тоді це нормально.
02AI ризик принципово відрізняється від парової машини
**Tencent News «Periscope»: Яка найбільша різниця між хвилюванням людей щодо загрози штучного інтелекту та страхом людей перед паровими двигунами двісті чи триста років тому? **
Девід Крюгер: Я мало знаю про цю історію. Я не впевнений, чи хтось тоді казав, що це призведе до вимирання людства. Якби хтось це сказав, я також не знаю, які б аргументи вони використали, мені це здається малоймовірним.
Ключова відмінність полягає в тому, що ми говоримо про вимирання. Ми говоримо про технологію, яка потенційно розумніша та потужніша за людину в усіх відповідних якостях.
Парова машина дозволяє нам створювати фізичні сили, сильніші та швидші за людські. Але паровий двигун не є розумним і ним відносно легко керувати. Навіть якщо хтось вийде з-під контролю, найгірший сценарій полягає в тому, що він вийде з ладу, і ті, хто на ньому, можуть загинути або отримати поранення. Але якщо інтелектуальна система або система, що самовідтворюється, вийде з-під контролю, багато людей можуть загинути, тому що вона може рости та набирати більше потужності, і це ключова відмінність.
**Tencent News «Перископ»: деякі люди вважають, що публічні заяви можуть зупинити лише хороших людей, намагаючись змусити хороших людей приділяти більше уваги питанням безпеки та уповільнити швидкість досліджень і розробок, але вони не можуть зупинити дії поганих людей . Як нам запобігти поганим хлопцям? **
Девід Крюгер: Регулювання поведінки через регулювання та міжнародну співпрацю.
Я не дуже люблю говорити про це в термінах «хороші хлопці» і «погані хлопці», тому що всі завжди думають, що вони хороші хлопці. Основний ризик, який мене хвилює, полягає не в зловмисному маніпулюванні системами штучного інтелекту з боку поганих хлопців чи зловмисників, а в чомусь на зразок зміни клімату: люди можуть отримати більше від спалювання викопного палива або створення потужніших систем, якими важче керувати. Є багато переваги, але кожен несе певні витрати. У разі зміни клімату це може завдати шкоди навколишньому середовищу. У випадку зі штучним інтелектом ризик полягає в тому, що система вийде з-під контролю і призведе до катастрофи.
Це більше мотиваційне питання. Насправді люди більше дбають про себе, своїх друзів, близьких і свою спільноту, ніж про незнайомців на іншому кінці світу. Тому не потрібні злі наміри, лише егоїстичні інстинкти. Ось чому потрібне регулювання, це спосіб вирішення подібних проблем, що становлять інтерес для людей.
Робота з вирівнювання 03AI має багато нерозгаданих таємниць
**Tencent News «Periscope»: ваші дослідницькі інтереси — глибоке навчання, узгодження ШІ та безпека. Чи можете ви пояснити, що таке вирівнювання мовою, зрозумілою звичайним людям? Ви сказали, що «вирівнювання буде одним із ключових рушійних сил розвитку ШІ», чому це так важливо? **
Девід Крюгер: Мені подобається говорити, що люди мають три різні інтерпретації цього. Одна полягає в тому, щоб змусити системи штучного інтелекту діяти за нашою волею. Але я не думаю, що це гарне визначення, воно занадто широке, і кожен інженер намагається змусити систему штучного інтелекту поводитися так, як йому хочеться.
Існує також більш конкретне визначення, яке є «узгодження за наміром». На мою думку, це правильне визначення, яке стосується того, щоб система намагалася робити те, що ми хочемо. Розробляючи систему, ви хочете, щоб вона мала правильні наміри, мотивацію та цілі. Воно все ще може бути не в змозі діяти так, як ви хочете, тому що воно може бути недостатньо здатним або розумним, щоб знати, як виконувати ваші бажання. Але якщо він має правильний намір, ви можете сказати, що він узгоджений.
Остаточним значенням, яке люди мають для вирівнювання, є будь-які технологічні зусилля, спрямовані на зменшення ризику вимирання людства. Іноді це також відноситься до спільноти людей, таких як я, які спеціалізуються в області вирівнювання та безпеки. Це теж не моє визначення. Це лише одна ідея людей щодо вирішення цієї проблеми. Однак, зрештою, необхідно більше працювати над управлінням, регулюванням і міжнародним співробітництвом, таким як укладення договорів, що необхідно для пом’якшення цього ризику.
**Tencent News «Periscope»: Яких нових досягнень технологічні компанії та науково-дослідні установи нещодавно досягли в технології вирівнювання? З якими викликами та проблемами ви стикаєтеся найгостріше? **
Девід Крюгер: Найважливішим є техніка точного налаштування великих мовних моделей. Вони зробили багато роботи, щоб змінити поведінку моделі. Наприклад, різниця між GPT-3 і GPT-4 полягає в тому, що система налаштована так, щоб діяти більше відповідно до задуму дизайнера. В основному за допомогою навчання з підкріпленням і зворотного зв’язку з людьми, хоча деталі не розголошуються. Це здебільшого вдалося, але не повністю усунуло проблеми з цими моделями.
Я хвилююся, що цього методу може бути недостатньо для більш надійних систем, оскільки зміни, які він вносить у поведінку, можуть бути відносно поверхневими. Ця проблема може стати більш серйозною, коли система стає потужнішою.
Це схоже на аналогію з дресируванням тварин, ніби ви привчаєте собаку не залазити на меблі. Можливо, він справді добре це робить, коли ви там, але якщо ви виходите з кімнати, він все одно підбирає меблі. Подібні ситуації можуть виникнути в цих моделях. Вони можуть виглядати налаштованими, але все одно можуть погано поводитися, якщо думають, що ми не помітимо їхньої поганої поведінки.
**Tencent News «Перископ»: якщо штучний інтелект набагато розумніший за людей, як люди можуть завершити роботу з вирівнювання надрозумного тіла? **
Девід Крюгер: Це питання відкритого дослідження. Тому важливо провести дослідження щодо вирівнювання ШІ, щоб знайти відповідь на це питання.
**Tencent News «Перископ»: як ми можемо змусити штучний інтелект любити людей, а не шкодити їм через вирівнювання? **
Девід Крюгер: Це те саме запитання, що й попереднє. Я хотів би мати відповідь, але ще не знаю.
04 Ці три основні стимули можуть збільшити ризик виходу ШІ з-під контролю
**Tencent News «Перископ»: на вашу думку, на який момент в історії ШІ припадає цей момент часу? **
Девід Крюгер: Ми досягли точки, коли світ починає усвідомлювати ризики. Я довго чекала цього моменту.
**Tencent News «Перископ»: відколи десять років тому ви прослухали курс глибокого навчання Джеффрі Гінтона, ви хвилювалися, що ШІ може призвести до вимирання людей. Чому ви почали хвилюватися на такому ранньому етапі? **
Девід Крюгер: Я в принципі хвилювався, що це трапиться в якийсь момент, тому що одного дня він стане розумнішим за людей, але коли я побачив клас Гінтона, мої побоювання змінилися. Глибоке навчання має потенціал для створення справжнього інтелекту, ніж будь-який інший метод, про який я чув раніше.
**Tencent News «Перископ»: за яких обставин система штучного інтелекту вийде з-під контролю? **
Девід Крюгер: По-перше, якщо вони розумніші за нас, ви починаєте хвилюватися, коли вони виходять з-під контролю в деталях, але важко точно передбачити, як це станеться.
Другим фактором, який підвищує ризик, є велика конкуренція за якнайшвидше розробку та розгортання потужних систем ШІ. Зараз ми бачимо, що ця конкуренція існує між Google і Microsoft. Є також занепокоєння щодо міжнародної конкуренції, яка може бути економічною, геополітичною, навіть військовою.
Третій фактор — якщо ви створюєте системи ШІ, які мають більш безпосередній вплив на світ. Системи, які ми бачимо досі, є просто мовними моделями, вони просто генерують текст. Але є також багато людей, які прагнуть об’єднати їх з іншими системами, наприклад, використовувати їх для написання коду, використовувати їх для керування різними речами, чи то онлайн, чи використовувати їх для керування речами в реальному світі. Надання цим системам більшого контролю та автономії підвищує ризик.
Знову ж таки порівнюючи це з системами, які ми маємо сьогодні, які здебільшого просто навчені передбачати текст, це відносно безпечний спосіб побудови систем — порівняно з тим, щоб просити систему досягти мети в певному середовищі, особливо порівняно з системою в і Це безпечніше, ніж досягати цілей у середовищі, де реальний світ, фізичний світ, часто взаємодіє. Коли системи намагаються досягти цілей у реальному світі, вони, природно, намагаються отримати більше ресурсів і влади, оскільки вони допомагають досягти довгострокових цілей.
Таким чином, чим більш відкритою, автономною та інтелектуальною є система та чим більше вона розроблена для досягнення довгострокових цілей, тим більший ризик того, що система вийде з-під контролю.
**Tencent News «Periscope»: якщо ви вважаєте, що рамки для глобальної співпраці повинні бути сформульовані, щоб забезпечити дотримання країнами загальних принципів і стандартів у розробці ШІ, то якими мають бути ці конкретні принципи та стандарти? **
Девід Крюгер: Нам абсолютно необхідно це зробити, і ми повинні почати робити це терміново. Тому що це буде важко і вимагатиме багато дискусій і переговорів, тому що існує багато конфліктів і розбіжностей між різними країнами.
Щодо конкретики, то я все ще думаю про це. Ми хочемо переконатися, що у нас є якийсь дуже легітимний керівний орган або система управління, яка може наполягати на мораторії, якщо в якийсь момент у майбутньому ми відчуємо в цьому потребу. Це його важлива частина.
Справи стають складнішими, коли мова заходить про системи, які ми розробляємо та розгортаємо. Ми хотіли б мати певні механізми тестування, оцінки та аудиту. Можливо, нам також знадобиться розглянути певну форму ліцензування, але є багато деталей, які потрібно опрацювати. Зараз у мене в голові немає повного сценарію. Ось чому я сподіваюся, що ми зможемо надихнути більше людей у розробці політики, які мають досвід у політиці та міжнародних відносинах, думати про це.
**Tencent News «Periscope»: Які аспекти в поточній системі штучного інтелекту потрібно вдосконалити якомога швидше, щоб впоратися з потенційними ризиками та загрозами? **
Девід Крюгер: Один із них — надійність (Примітка: надійність означає здатність системи виживати в ненормальних і небезпечних ситуаціях). Наші поточні системи мають значні проблеми з надійністю, особливо проблема конкурентної стійкості, коли невеликі зміни вхідних даних, навіть непомітні для людини, можуть мати великий вплив на поведінку системи. Ця проблема була відомою вже близько 10 років, але, здається, досі не має вирішення. Це дуже проблематично, якщо ми розглядаємо системи, які переслідують певну мету і намагаються оптимізувати своє розуміння цієї мети. Оскільки залежно від їхнього розуміння мети, оптимальний результат може сильно відрізнятися від того, що ми собі уявляємо або плануємо. І оцінки, які ми зараз проводимо, важко помітити.
Іншим є наше нерозуміння того, як ці системи працюють. Ми дійсно хочемо зрозуміти, як працюють ці системи, це один із найкращих способів передбачити їхню поведінку. Ми хочемо переконатися, що вони не поводитимуться несподівано та небезпечно в нових ситуаціях. Це пов’язано з проблемою міцності.
**05 Чи далеко до вимирання людства? **
**Tencent News «Перископ»: дивлячись на це зараз, чи далеко люди від вимирання? Скільки років очікується? **
Девід Крюгер: Джеффрі Хінтон постійно каже, що нам знадобиться 20 років або менше, щоб отримати штучний загальний інтелект (AGI), що є розумним терміном. Це дуже схоже на мою точку зору.
Я думаю, що люди можуть вимерти незабаром після цього, але це може зайняти більше часу, і я думаю, що саме це я намагаюся підкреслити, навіть якщо це пройде через десятиліття, ми повинні почати вирішувати це якомога швидше.
Знову повертаючись до аналогії зі зміною клімату. Нам знадобилися десятиліття, щоб почати вживати ефективних заходів, і все ще недостатньо робиться для запобігання жахливим наслідкам зміни клімату. Це тому, що це складна глобальна проблема координації. Штучний інтелект зіткнеться з подібною ситуацією. Ми повинні почати якомога раніше.
**Tencent News «Periscope»: чи може велика мовна модель забезпечити AGI? **
Девід Крюгер: Зараз багато людей задають це питання. Моя думка складніша. Я б сказав, що це можливо, але, швидше за все, це потрібно буде поєднати з іншими технологіями, і, можливо, навіть потрібно буде розробити нову технологію.
**Tencent News "Periscope": Як ви бачите відносини між людьми та штучним інтелектом? Чи будуть люди розумним переходом? **
Девід Крюгер: Тільки час покаже. Я сподіваюся, що не. Але зараз це питання, яким ми все ще маємо певну ініціативу та здатність керувати та вирішувати, як розвиватиметься майбутнє. Якщо ми можемо діяти розумно та злагоджено, якщо нам пощастить, ми, як люди, вирішуватимемо, чи захопить ШІ в якийсь момент.
**Tencent News «Перископ»: Хінтон має дуже цікаву точку зору. Він сказав: «Гусениці витягуватимуть поживні речовини, а потім перетворюватимуться на метеликів. Люди видобули мільярди когнітивних поживних речовин. GPT-4 — це людський метелик. Чи згодні ви з такою точкою зору? **
Девід Крюгер: Дуже поетично, і я не думаю, що це зовсім точно, але, можливо, воно торкається якоїсь важливої істини про те, що системі штучного інтелекту не обов’язково потрібно вивчати все з нуля, важким шляхом. Людям потрібно пройти довгий шлях еволюції, щоб досягти рівня людського інтелекту, але зараз люди створили всі ці культурні продукти, включаючи всі тексти в Інтернеті, що дуже надихає для систем ШІ. Таким чином, їм не обов’язково проходити всю свою еволюцію заново, щоб досягти аналогічного рівня інтелекту.
**Tencent News "Periscope": Ви вперше в Китаї? Які у вас враження від поїздки в Китай? Чи є у вас пропозиції щодо розвитку штучного інтелекту та великомасштабних моделей у Китаї? **
Девід Крюгер: Я вперше в Китаї. Я приїхав тільки вчора вранці. Весь візит полягав у зустрічах і розмовах з людьми, люди були доброзичливими, і я отримав тут гарний досвід. Але я не відчуваю, що я дійсно відчув Китай. Я просто зустрічаюся з дослідниками, на жаль, для мене це буде коротка поїздка, але я сподіваюся хоча б добре подивитися на Пекін у свій останній день перед від’їздом.
(Порада Китаю) Я вважаю, що важливо думати та розуміти безпеку та вирівнювання. З розмов, які я мав, видно, що люди вже працюють над цим, принаймні певною мірою.
**Tencent News «Перископ»: багато сцен у фільмі «Вона» поступово з’явилися в нашому реальному світі. Чи є у людей почуття до штучного інтелекту? Чи відчуваєте ви емоційну прихильність до моделі ШІ, яку ви розробляєте? **
Девід Крюгер: У мене його немає, але, наскільки я знаю, у деяких людей є.
Подібні чат-боти подружок зі штучним інтелектом існують, і хтось став емоційно залежним від стосунків. Це сумний наслідок цієї технології.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Діалог з ініціатором «Заяви про ризики штучного інтелекту»: Не парові двигуни змусять людей вимерти, а штучний інтелект!
Ця стаття надіслана в Пекіні Чжан Сяоцзюнем, автором Tencent News "Periscope"
Півмісяця тому сотні провідних діячів штучного інтелекту, включаючи генерального директора OpenAI Сема Альтмана та лауреата премії Тюрінга Джеффрі Хінтона, підписали коротку заяву про загрозу штучного інтелекту для зникнення людства.
Ця заява містить лише одне речення: «пом’якшення ризику зникнення штучного інтелекту має стати глобальним пріоритетом разом з іншими ризиками суспільного масштабу, такими як епідемії та ядерна війна».
Девід Крюгер, доцент кафедри досліджень штучного інтелекту в Кембриджському університеті, був одним з ініціаторів листа, а також його підписант.
9 червня Крюгер провів глибокий діалог із Tencent News «Periscope» під час участі в Пекінській конференції Чжіюань 2023 року. Він давно стурбований проблемами безпеки ШІ. З 2012 року він стурбований потенційним ризиком штучного інтелекту для вимирання людства, який індустрія називає «X-Risk» (екзистенціальний ризик).
У відповідь на ризики ШІ одна точка зору заперечує, що це сильне занепокоєння може бути схоже на надмірну паніку людей, коли з’явився паровий двигун сотні років тому. Але Крюгер сказав, що найбільша різниця між ними полягає в тому, що парова машина не змусить людей вимерти, а штучний інтелект.
Крюгер вважає, що штучний інтелект розумніший за людей, невпорядкована конкуренція та створення систем штучного інтелекту, які мають більш безпосередній вплив на світ, ці три фактори значно підвищать фактор ризику того, що системи штучного інтелекту вийдуть з-під контролю. «Чим більш відкрита система, чим більш автономна, тим більш розумна і чим більше вона розроблена для досягнення довгострокових цілей, тим більший ризик того, що система виходить з-під контролю», — сказав він.
На його думку, питання безпеки штучного інтелекту схоже на питання глобальної зміни клімату.У всіх сторін є власні інтереси, і буде багато конфліктів і розбіжностей, які в кінцевому підсумку зроблять це складним питанням глобальної координації. Тому необхідно почати якнайшвидше та за допомогою зусиль усіх сторін, щоб люди не потрапили під контроль ШІ.
Тільки так люди можуть вижити.
Ось суть виступу Девіда Крюгера.
01 Спільний лист "Заява про ризики AI" складається лише з одного речення, воно ретельно розроблено
**Tencent News «Periscope»: Ви є одним із підписантів «Заяви про ризик штучного інтелекту». Чи можете ви розповісти нам, як з’явилася ця заява? **
Девід Крюгер: Я придумав цю ідею більше року тому, тому що люди все більше й більше стурбовані ризиками штучного інтелекту, особливо ризиком того, що штучний інтелект може спричинити вимирання людства. Водночас багато людей відкрито не обговорюють це питання.
Однією з основних причин є історія, коли ця ідея вважалася маргінальною і люди боялися, що її публічне обговорення негативно вплине на них самих або навіть на їхні кар’єрні перспективи.
Кілька місяців тому настав гарний час. З моменту випуску ChatGPT і GPT-4 увага людей до ШІ досягла безпрецедентного рівня. Довгий час було визнано, що це може бути гіпотетична проблема майбутнього, але про це говорити зарано.
Щодо того, як виникла ця заява, я звернувся до кількох колег, у тому числі до Дена Хендрікса, директора Центру безпеки штучного інтелекту. Я йому сказав, що ми повинні зробити таку заяву, і я маю намір зробити це якомога швидше. Але я не впевнений, що я достатньо хороший, щоб це зробити. Це терміново. Отже, Ден узяв тему та підштовхнув оголошення.
**Tencent News «Перископ»: які у вас коментарі щодо формулювання цього листа? **
Девід Крюгер: Я пропоную використовувати лише одне речення. Є кілька причин.
По-перше, коли у вас є довге твердження, є хороший шанс, що хтось не погодиться з деяким із нього.
Кілька місяців тому ми побачили, що Інститут майбутнього життя оприлюднив заклик до негайного мораторію на навчання всіх лабораторій штучного інтелекту системам ШІ, потужнішим за GPT-4, щонайменше на 6 місяців. Реакція багатьох людей на це звучить чудово, але я не думаю, що ми можемо призупинити розвиток штучного інтелекту.
Звичайно, вони зробили таку заяву, і вона досі актуальна, тому що коли люди говорять, що ми не можемо призупинити, це означає, що нам потрібно діяти. Нам дійсно потрібна здатність призупинити технологію, яка є надто небезпечною для розробки.
Я використовую цей приклад, щоб проілюструвати, що чим більше ви говорите, тим більше людей не погоджуються. У цьому випадку ми не згадали, як впоратися з цим ризиком, оскільки люди мають різні думки щодо правильного методу; ми також не сказали, чому це може призвести до вимирання людства, оскільки різні люди мають різні думки щодо цього – деякі Інші більше хвилюються про те, що технологія виходить з-під контролю, що не є навмисним результатом діяльності зловмисника.
У будь-якому випадку, поки багато людей погоджуються, що це величезний ризик і ми повинні діяти, тоді це нормально.
02AI ризик принципово відрізняється від парової машини
**Tencent News «Periscope»: Яка найбільша різниця між хвилюванням людей щодо загрози штучного інтелекту та страхом людей перед паровими двигунами двісті чи триста років тому? **
Девід Крюгер: Я мало знаю про цю історію. Я не впевнений, чи хтось тоді казав, що це призведе до вимирання людства. Якби хтось це сказав, я також не знаю, які б аргументи вони використали, мені це здається малоймовірним.
Ключова відмінність полягає в тому, що ми говоримо про вимирання. Ми говоримо про технологію, яка потенційно розумніша та потужніша за людину в усіх відповідних якостях.
Парова машина дозволяє нам створювати фізичні сили, сильніші та швидші за людські. Але паровий двигун не є розумним і ним відносно легко керувати. Навіть якщо хтось вийде з-під контролю, найгірший сценарій полягає в тому, що він вийде з ладу, і ті, хто на ньому, можуть загинути або отримати поранення. Але якщо інтелектуальна система або система, що самовідтворюється, вийде з-під контролю, багато людей можуть загинути, тому що вона може рости та набирати більше потужності, і це ключова відмінність.
**Tencent News «Перископ»: деякі люди вважають, що публічні заяви можуть зупинити лише хороших людей, намагаючись змусити хороших людей приділяти більше уваги питанням безпеки та уповільнити швидкість досліджень і розробок, але вони не можуть зупинити дії поганих людей . Як нам запобігти поганим хлопцям? **
Девід Крюгер: Регулювання поведінки через регулювання та міжнародну співпрацю.
Я не дуже люблю говорити про це в термінах «хороші хлопці» і «погані хлопці», тому що всі завжди думають, що вони хороші хлопці. Основний ризик, який мене хвилює, полягає не в зловмисному маніпулюванні системами штучного інтелекту з боку поганих хлопців чи зловмисників, а в чомусь на зразок зміни клімату: люди можуть отримати більше від спалювання викопного палива або створення потужніших систем, якими важче керувати. Є багато переваги, але кожен несе певні витрати. У разі зміни клімату це може завдати шкоди навколишньому середовищу. У випадку зі штучним інтелектом ризик полягає в тому, що система вийде з-під контролю і призведе до катастрофи.
Це більше мотиваційне питання. Насправді люди більше дбають про себе, своїх друзів, близьких і свою спільноту, ніж про незнайомців на іншому кінці світу. Тому не потрібні злі наміри, лише егоїстичні інстинкти. Ось чому потрібне регулювання, це спосіб вирішення подібних проблем, що становлять інтерес для людей.
Робота з вирівнювання 03AI має багато нерозгаданих таємниць
**Tencent News «Periscope»: ваші дослідницькі інтереси — глибоке навчання, узгодження ШІ та безпека. Чи можете ви пояснити, що таке вирівнювання мовою, зрозумілою звичайним людям? Ви сказали, що «вирівнювання буде одним із ключових рушійних сил розвитку ШІ», чому це так важливо? **
Девід Крюгер: Мені подобається говорити, що люди мають три різні інтерпретації цього. Одна полягає в тому, щоб змусити системи штучного інтелекту діяти за нашою волею. Але я не думаю, що це гарне визначення, воно занадто широке, і кожен інженер намагається змусити систему штучного інтелекту поводитися так, як йому хочеться.
Існує також більш конкретне визначення, яке є «узгодження за наміром». На мою думку, це правильне визначення, яке стосується того, щоб система намагалася робити те, що ми хочемо. Розробляючи систему, ви хочете, щоб вона мала правильні наміри, мотивацію та цілі. Воно все ще може бути не в змозі діяти так, як ви хочете, тому що воно може бути недостатньо здатним або розумним, щоб знати, як виконувати ваші бажання. Але якщо він має правильний намір, ви можете сказати, що він узгоджений.
Остаточним значенням, яке люди мають для вирівнювання, є будь-які технологічні зусилля, спрямовані на зменшення ризику вимирання людства. Іноді це також відноситься до спільноти людей, таких як я, які спеціалізуються в області вирівнювання та безпеки. Це теж не моє визначення. Це лише одна ідея людей щодо вирішення цієї проблеми. Однак, зрештою, необхідно більше працювати над управлінням, регулюванням і міжнародним співробітництвом, таким як укладення договорів, що необхідно для пом’якшення цього ризику.
**Tencent News «Periscope»: Яких нових досягнень технологічні компанії та науково-дослідні установи нещодавно досягли в технології вирівнювання? З якими викликами та проблемами ви стикаєтеся найгостріше? **
Девід Крюгер: Найважливішим є техніка точного налаштування великих мовних моделей. Вони зробили багато роботи, щоб змінити поведінку моделі. Наприклад, різниця між GPT-3 і GPT-4 полягає в тому, що система налаштована так, щоб діяти більше відповідно до задуму дизайнера. В основному за допомогою навчання з підкріпленням і зворотного зв’язку з людьми, хоча деталі не розголошуються. Це здебільшого вдалося, але не повністю усунуло проблеми з цими моделями.
Я хвилююся, що цього методу може бути недостатньо для більш надійних систем, оскільки зміни, які він вносить у поведінку, можуть бути відносно поверхневими. Ця проблема може стати більш серйозною, коли система стає потужнішою.
Це схоже на аналогію з дресируванням тварин, ніби ви привчаєте собаку не залазити на меблі. Можливо, він справді добре це робить, коли ви там, але якщо ви виходите з кімнати, він все одно підбирає меблі. Подібні ситуації можуть виникнути в цих моделях. Вони можуть виглядати налаштованими, але все одно можуть погано поводитися, якщо думають, що ми не помітимо їхньої поганої поведінки.
**Tencent News «Перископ»: якщо штучний інтелект набагато розумніший за людей, як люди можуть завершити роботу з вирівнювання надрозумного тіла? **
Девід Крюгер: Це питання відкритого дослідження. Тому важливо провести дослідження щодо вирівнювання ШІ, щоб знайти відповідь на це питання.
**Tencent News «Перископ»: як ми можемо змусити штучний інтелект любити людей, а не шкодити їм через вирівнювання? **
Девід Крюгер: Це те саме запитання, що й попереднє. Я хотів би мати відповідь, але ще не знаю.
04 Ці три основні стимули можуть збільшити ризик виходу ШІ з-під контролю
**Tencent News «Перископ»: на вашу думку, на який момент в історії ШІ припадає цей момент часу? **
Девід Крюгер: Ми досягли точки, коли світ починає усвідомлювати ризики. Я довго чекала цього моменту.
**Tencent News «Перископ»: відколи десять років тому ви прослухали курс глибокого навчання Джеффрі Гінтона, ви хвилювалися, що ШІ може призвести до вимирання людей. Чому ви почали хвилюватися на такому ранньому етапі? **
Девід Крюгер: Я в принципі хвилювався, що це трапиться в якийсь момент, тому що одного дня він стане розумнішим за людей, але коли я побачив клас Гінтона, мої побоювання змінилися. Глибоке навчання має потенціал для створення справжнього інтелекту, ніж будь-який інший метод, про який я чув раніше.
**Tencent News «Перископ»: за яких обставин система штучного інтелекту вийде з-під контролю? **
Девід Крюгер: По-перше, якщо вони розумніші за нас, ви починаєте хвилюватися, коли вони виходять з-під контролю в деталях, але важко точно передбачити, як це станеться.
Другим фактором, який підвищує ризик, є велика конкуренція за якнайшвидше розробку та розгортання потужних систем ШІ. Зараз ми бачимо, що ця конкуренція існує між Google і Microsoft. Є також занепокоєння щодо міжнародної конкуренції, яка може бути економічною, геополітичною, навіть військовою.
Третій фактор — якщо ви створюєте системи ШІ, які мають більш безпосередній вплив на світ. Системи, які ми бачимо досі, є просто мовними моделями, вони просто генерують текст. Але є також багато людей, які прагнуть об’єднати їх з іншими системами, наприклад, використовувати їх для написання коду, використовувати їх для керування різними речами, чи то онлайн, чи використовувати їх для керування речами в реальному світі. Надання цим системам більшого контролю та автономії підвищує ризик.
Знову ж таки порівнюючи це з системами, які ми маємо сьогодні, які здебільшого просто навчені передбачати текст, це відносно безпечний спосіб побудови систем — порівняно з тим, щоб просити систему досягти мети в певному середовищі, особливо порівняно з системою в і Це безпечніше, ніж досягати цілей у середовищі, де реальний світ, фізичний світ, часто взаємодіє. Коли системи намагаються досягти цілей у реальному світі, вони, природно, намагаються отримати більше ресурсів і влади, оскільки вони допомагають досягти довгострокових цілей.
Таким чином, чим більш відкритою, автономною та інтелектуальною є система та чим більше вона розроблена для досягнення довгострокових цілей, тим більший ризик того, що система вийде з-під контролю.
**Tencent News «Periscope»: якщо ви вважаєте, що рамки для глобальної співпраці повинні бути сформульовані, щоб забезпечити дотримання країнами загальних принципів і стандартів у розробці ШІ, то якими мають бути ці конкретні принципи та стандарти? **
Девід Крюгер: Нам абсолютно необхідно це зробити, і ми повинні почати робити це терміново. Тому що це буде важко і вимагатиме багато дискусій і переговорів, тому що існує багато конфліктів і розбіжностей між різними країнами.
Щодо конкретики, то я все ще думаю про це. Ми хочемо переконатися, що у нас є якийсь дуже легітимний керівний орган або система управління, яка може наполягати на мораторії, якщо в якийсь момент у майбутньому ми відчуємо в цьому потребу. Це його важлива частина.
Справи стають складнішими, коли мова заходить про системи, які ми розробляємо та розгортаємо. Ми хотіли б мати певні механізми тестування, оцінки та аудиту. Можливо, нам також знадобиться розглянути певну форму ліцензування, але є багато деталей, які потрібно опрацювати. Зараз у мене в голові немає повного сценарію. Ось чому я сподіваюся, що ми зможемо надихнути більше людей у розробці політики, які мають досвід у політиці та міжнародних відносинах, думати про це.
**Tencent News «Periscope»: Які аспекти в поточній системі штучного інтелекту потрібно вдосконалити якомога швидше, щоб впоратися з потенційними ризиками та загрозами? **
Девід Крюгер: Один із них — надійність (Примітка: надійність означає здатність системи виживати в ненормальних і небезпечних ситуаціях). Наші поточні системи мають значні проблеми з надійністю, особливо проблема конкурентної стійкості, коли невеликі зміни вхідних даних, навіть непомітні для людини, можуть мати великий вплив на поведінку системи. Ця проблема була відомою вже близько 10 років, але, здається, досі не має вирішення. Це дуже проблематично, якщо ми розглядаємо системи, які переслідують певну мету і намагаються оптимізувати своє розуміння цієї мети. Оскільки залежно від їхнього розуміння мети, оптимальний результат може сильно відрізнятися від того, що ми собі уявляємо або плануємо. І оцінки, які ми зараз проводимо, важко помітити.
Іншим є наше нерозуміння того, як ці системи працюють. Ми дійсно хочемо зрозуміти, як працюють ці системи, це один із найкращих способів передбачити їхню поведінку. Ми хочемо переконатися, що вони не поводитимуться несподівано та небезпечно в нових ситуаціях. Це пов’язано з проблемою міцності.
**05 Чи далеко до вимирання людства? **
**Tencent News «Перископ»: дивлячись на це зараз, чи далеко люди від вимирання? Скільки років очікується? **
Девід Крюгер: Джеффрі Хінтон постійно каже, що нам знадобиться 20 років або менше, щоб отримати штучний загальний інтелект (AGI), що є розумним терміном. Це дуже схоже на мою точку зору.
Я думаю, що люди можуть вимерти незабаром після цього, але це може зайняти більше часу, і я думаю, що саме це я намагаюся підкреслити, навіть якщо це пройде через десятиліття, ми повинні почати вирішувати це якомога швидше.
Знову повертаючись до аналогії зі зміною клімату. Нам знадобилися десятиліття, щоб почати вживати ефективних заходів, і все ще недостатньо робиться для запобігання жахливим наслідкам зміни клімату. Це тому, що це складна глобальна проблема координації. Штучний інтелект зіткнеться з подібною ситуацією. Ми повинні почати якомога раніше.
**Tencent News «Periscope»: чи може велика мовна модель забезпечити AGI? **
Девід Крюгер: Зараз багато людей задають це питання. Моя думка складніша. Я б сказав, що це можливо, але, швидше за все, це потрібно буде поєднати з іншими технологіями, і, можливо, навіть потрібно буде розробити нову технологію.
**Tencent News "Periscope": Як ви бачите відносини між людьми та штучним інтелектом? Чи будуть люди розумним переходом? **
Девід Крюгер: Тільки час покаже. Я сподіваюся, що не. Але зараз це питання, яким ми все ще маємо певну ініціативу та здатність керувати та вирішувати, як розвиватиметься майбутнє. Якщо ми можемо діяти розумно та злагоджено, якщо нам пощастить, ми, як люди, вирішуватимемо, чи захопить ШІ в якийсь момент.
**Tencent News «Перископ»: Хінтон має дуже цікаву точку зору. Він сказав: «Гусениці витягуватимуть поживні речовини, а потім перетворюватимуться на метеликів. Люди видобули мільярди когнітивних поживних речовин. GPT-4 — це людський метелик. Чи згодні ви з такою точкою зору? **
Девід Крюгер: Дуже поетично, і я не думаю, що це зовсім точно, але, можливо, воно торкається якоїсь важливої істини про те, що системі штучного інтелекту не обов’язково потрібно вивчати все з нуля, важким шляхом. Людям потрібно пройти довгий шлях еволюції, щоб досягти рівня людського інтелекту, але зараз люди створили всі ці культурні продукти, включаючи всі тексти в Інтернеті, що дуже надихає для систем ШІ. Таким чином, їм не обов’язково проходити всю свою еволюцію заново, щоб досягти аналогічного рівня інтелекту.
**Tencent News "Periscope": Ви вперше в Китаї? Які у вас враження від поїздки в Китай? Чи є у вас пропозиції щодо розвитку штучного інтелекту та великомасштабних моделей у Китаї? **
Девід Крюгер: Я вперше в Китаї. Я приїхав тільки вчора вранці. Весь візит полягав у зустрічах і розмовах з людьми, люди були доброзичливими, і я отримав тут гарний досвід. Але я не відчуваю, що я дійсно відчув Китай. Я просто зустрічаюся з дослідниками, на жаль, для мене це буде коротка поїздка, але я сподіваюся хоча б добре подивитися на Пекін у свій останній день перед від’їздом.
(Порада Китаю) Я вважаю, що важливо думати та розуміти безпеку та вирівнювання. З розмов, які я мав, видно, що люди вже працюють над цим, принаймні певною мірою.
**Tencent News «Перископ»: багато сцен у фільмі «Вона» поступово з’явилися в нашому реальному світі. Чи є у людей почуття до штучного інтелекту? Чи відчуваєте ви емоційну прихильність до моделі ШІ, яку ви розробляєте? **
Девід Крюгер: У мене його немає, але, наскільки я знаю, у деяких людей є.
Подібні чат-боти подружок зі штучним інтелектом існують, і хтось став емоційно залежним від стосунків. Це сумний наслідок цієї технології.