Эта статья из Пекина написана Чжаном Сяоцзюнем, автором Tencent News «Periscope».
Источник изображения: сгенерировано инструментом Unbounded AI
Полмесяца назад сотни видных деятелей искусственного интеллекта, в том числе генеральный директор OpenAI Сэм Альтман и обладатель премии Тьюринга Джеффри Хинтон, подписали краткое заявление об угрозе вымирания человечества из-за ИИ.
В этом утверждении всего одно предложение: «снижение риска исчезновения искусственного интеллекта должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как эпидемии и ядерная война».
Дэвид Крюгер, доцент кафедры исследований искусственного интеллекта в Кембриджском университете, был одним из первых инициаторов письма, а также подписал его.
9 июня Крюгер провел подробный диалог с Tencent News «Periscope» во время участия в Пекинской конференции Чжиюань 2023 года. Его давно беспокоят проблемы выравнивания и безопасности ИИ, а с 2012 года его беспокоит потенциальный риск искусственного интеллекта для вымирания человечества, который в отрасли называют X-Risk (экзистенциальный риск).
В ответ на риски, связанные с ИИ, одна точка зрения возражает, что это сильное беспокойство может быть похоже на чрезмерную панику людей, когда сотни лет назад появился паровой двигатель. Но Крюгер сказал, что самая большая разница между ними заключается в том, что паровой двигатель не уничтожит людей, а ИИ.
Крюгер считает, что ИИ умнее людей, беспорядочная конкуренция и создание систем ИИ, оказывающих более непосредственное влияние на мир, — эти три фактора значительно увеличат фактор риска выхода систем ИИ из-под контроля. «Чем более открытая система, более автономная, более интеллектуальная и чем более она предназначена для достижения долгосрочных целей, тем выше риск выхода системы из-под контроля», — сказал он.
По его мнению, проблема безопасности искусственного интеллекта подобна проблеме глобального изменения климата: у всех сторон есть свои интересы, и будет много конфликтов и разногласий, что в конечном итоге превратит ее в сложный вопрос глобальной координации. Следовательно, необходимо начать как можно скорее и усилиями всех сторон, чтобы люди не были доведены до судьбы ИИ.
Только так люди могут выжить.
Дэвид Крюгер
Ниже приводится суть выступления Дэвида Крюгера.
01 Совместное письмо «Заявление о рисках ИИ» состоит только из одного предложения, оно тщательно разработано
**Tencent News "Periscope": Вы являетесь одной из сторон, подписавших "Заявление о риске ИИ". Можете ли вы рассказать нам, как появилось это заявление? **
Дэвид Крюгер: Я пришел к этой идее больше года назад, потому что людей все больше и больше беспокоят риски, связанные с ИИ, особенно риск того, что ИИ может привести к исчезновению человечества. В то же время многие люди не обсуждают этот вопрос открыто.
Одной из серьезных причин является история, когда идея когда-то считалась второстепенной, и люди боялись, что публичное обсуждение ее негативно повлияет на них или даже на их карьерные перспективы.
Несколько месяцев назад наступило хорошее время. С момента выпуска ChatGPT и GPT-4 внимание людей к ИИ достигло беспрецедентного уровня. Долгое время признавалось, что это может быть гипотетическая проблема будущего, но пока рано говорить об этом.
Что касается того, как появилось это заявление, я связался с рядом коллег, в том числе с Дэном Хендриксом, директором Центра безопасности искусственного интеллекта. Я сказал ему, что мы должны сделать такое заявление, и я намерен сделать это как можно скорее. Но я не уверен, что достаточно хорош для этого. Это срочно. Итак, Дэн взял тему и настоял на объявлении.
**Tencent News «Periscope»: Что вы можете сказать по поводу формулировки этого письма? **
Дэвид Крюгер: Я предлагаю использовать только одно предложение. Есть несколько причин.
Во-первых, когда у вас есть длинное утверждение, велика вероятность того, что кто-то с ним не согласится.
Несколько месяцев назад мы видели, что Институт будущего жизни призвал к немедленному введению моратория на все лаборатории ИИ, обучающие системы ИИ, более мощные, чем GPT-4, как минимум на 6 месяцев. Многие люди реагируют на это так: звучит здорово, но я не думаю, что мы можем приостановить развитие искусственного интеллекта.
Конечно, они сделали это заявление, и оно по-прежнему актуально, потому что когда люди говорят, что мы не можем делать паузу, это знак того, что нам нужно действовать. Нам очень нужна возможность приостановить работу технологии, которая слишком опасна для развития.
Я использую этот пример, чтобы проиллюстрировать, что чем больше вы говорите, тем больше людей не соглашаются. В данном случае мы не упомянули, как бороться с этим риском, потому что люди по-разному относятся к правильному методу; мы также не сказали, почему это может привести к вымиранию человечества, потому что разные люди имеют разные мнения на этот счет. люди больше беспокоятся о технологиях.Неправильное использование, другие больше беспокоятся о том, что технология выходит из-под контроля, что не является преднамеренным результатом действий злоумышленника.
В любом случае, пока многие люди согласны с тем, что это огромный риск и нам нужно действовать, все в порядке.
02Риск ИИ принципиально отличается от парового двигателя
**Tencent News «Periscope»: В чем самая большая разница между опасениями людей по поводу угрозы искусственного интеллекта и страхом людей перед паровыми двигателями двести или триста лет назад? **
Дэвид Крюгер: Я мало что знаю об этой истории. Я не уверен, говорил ли кто-нибудь, что это приведет к вымиранию человечества в то время. Если бы кто-то сказал это, я тоже не уверен, какие аргументы они бы использовали, мне кажется маловероятным.
Ключевое отличие в том, что мы говорим о вымирании. Мы говорим о технологии, которая потенциально умнее и мощнее людей во всех соответствующих возможностях.
Паровой двигатель позволяет нам создавать физические силы сильнее и быстрее, чем люди. Но паровая машина не интеллектуальна и относительно проста в управлении. Даже если один из них выйдет из-под контроля, в худшем случае он выйдет из строя, и находящиеся на нем люди могут погибнуть или получить травмы. Но если интеллектуальная система или самовоспроизводящаяся система выйдет из-под контроля, многие люди могут погибнуть, потому что она может расти и приобретать больше власти, и в этом ключевое отличие.
**Tencent News "Periscope": Некоторые думают, что публичные заявления могут только остановить хороших людей, пытаясь заставить хороших людей уделять больше внимания вопросам безопасности и замедлить скорость исследований и разработок, но они не могут остановить действия плохих людей. . Как нам предотвратить плохих парней? **
Дэвид Крюгер: Регулирование поведения посредством регулирования и международного сотрудничества.
Мне не очень нравится говорить об этом с точки зрения «хороших парней» и «плохих парней», потому что все всегда думают, что они хорошие парни. Главный риск, о котором я беспокоюсь, — это не злонамеренное манипулирование системами ИИ со стороны какого-то плохого парня или злоумышленника, а что-то вроде изменения климата: люди могут получить больше от сжигания большего количества ископаемого топлива или создания более мощных систем, которыми труднее управлять. выгоды, но каждый несет определенные издержки. В случае изменения климата это может нанести ущерб окружающей среде. В случае с искусственным интеллектом существует риск того, что система выйдет из-под контроля и приведет к катастрофе.
Это больше мотивационный вопрос. На самом деле люди больше заботятся о себе, своих друзьях, близких и своем сообществе, чем о каком-то незнакомце на другом конце света. Поэтому никаких злых намерений не требуется, только эгоистичные инстинкты. Вот почему регулирование необходимо, это способ решения такого рода проблем, представляющих общий человеческий интерес.
03Работа по выравниванию ИИ имеет много неразгаданных тайн
**Tencent News "Periscope": Ваши исследовательские интересы связаны с глубоким обучением, согласованием ИИ и безопасностью. Можете ли вы объяснить, что такое согласование, на языке, понятном обычным людям? Вы сказали, что «выравнивание будет одним из ключевых факторов развития ИИ», почему это так важно? **
Дэвид Крюгер: Мне нравится говорить, что у людей есть три разных интерпретации этого. Один из них — заставить системы ИИ действовать по нашей воле. Но я не думаю, что это хорошее определение, оно слишком широкое, и каждый инженер пытается заставить систему ИИ вести себя так, как ему хочется.
Существует также более конкретное определение — «выравнивание по намерению». На мой взгляд, это правильное определение, и оно означает, что система пытается делать то, что мы от нее хотим. При разработке системы вы хотите, чтобы у нее были правильные намерения, мотивы и цели. Он все еще может быть не в состоянии действовать так, как вы хотите, потому что он может быть недостаточно способным или умным, чтобы знать, как выполнять ваши желания. Но если у него правильное намерение, вы можете сказать, что оно выровнено.
Последнее значение, которое люди имеют для выравнивания, — это любые технологические усилия по снижению риска вымирания человечества. Иногда это также относится к сообществу таких людей, как я, которые специализируются в области выравнивания и безопасности. Это тоже не мое предпочтительное определение. Это всего лишь одно из представлений людей о том, как решить эту проблему. В конечном счете, однако, требуется дополнительная работа по управлению, регулированию и международному сотрудничеству, например, заключение договоров, необходимых для снижения этого риска.
**Tencent News «Periscope»: Каких новых успехов технологические компании и научно-исследовательские институты добились за последнее время в технологии выравнивания? Какие самые насущные задачи и проблемы стоят перед вами? **
Дэвид Крюгер: Самое главное — это отладка методов для больших языковых моделей, они проделали большую работу, чтобы изменить поведение модели. Например, разница между GPT-3 и GPT-4 заключается в том, что система настроена так, чтобы действовать в большей степени в соответствии с замыслом проектировщика. В основном за счет обучения с подкреплением и обратной связи с людьми, хотя подробности не разглашаются. По большей части это удалось, но не полностью устранило проблемы с этими моделями.
Я беспокоюсь, что этого метода может оказаться недостаточно для более надежных систем, поскольку изменения, которые он вносит в поведение, могут быть относительно поверхностными. Эта проблема может стать более серьезной по мере того, как система становится более мощной.
Это похоже на аналогию с дрессировкой животных, когда вы дрессируете собаку не залезать на мебель. Возможно, он делает это очень хорошо, когда вы там, но если вы выходите из комнаты, он все равно поднимает мебель. Подобные ситуации могут возникать и в этих моделях. Они могут казаться выровненными, но они все равно могут плохо себя вести, если думают, что мы не заметим их плохого поведения.
**Tencent News "Periscope": Если искусственный интеллект намного умнее людей, как люди могут завершить работу по выравниванию сверхразумного тела? **
Дэвид Крюгер: Это открытый исследовательский вопрос. Поэтому важно провести исследование выравнивания ИИ, чтобы найти ответ на этот вопрос.
**Tencent News "Periscope": Как мы можем заставить ИИ любить людей, а не причинять им вред через мировоззрение? **
Дэвид Крюгер: Это тот же вопрос, что и предыдущий. Хотел бы я получить ответ, но пока не знаю его.
04 Эти три основных стимула могут увеличить риск выхода ИИ из-под контроля
**Tencent News «Periscope»: Как вы думаете, к какому моменту в истории ИИ относится этот момент времени? **
Дэвид Крюгер: Мы достигли момента, когда мир начинает осознавать риски. Я долго ждал этого момента.
**Tencent News "Periscope": С тех пор, как десять лет назад вы прослушали курс глубокого обучения, который вел Джеффри Хинтон, вы обеспокоены тем, что ИИ может привести к вымиранию человечества. Почему вы начали беспокоиться на таком раннем этапе? **
Дэвид Крюгер: Я в принципе волновался, что в какой-то момент это произойдет, потому что однажды они станут умнее людей, но когда я увидел класс Хинтона, мои опасения изменились. Глубокое обучение имеет потенциал для получения настоящего интеллекта, больше, чем любой другой метод, о котором я слышал раньше.
**Tencent News "Periscope": При каких обстоятельствах система искусственного интеллекта выйдет из-под контроля? **
Дэвид Крюгер: Во-первых, если они умнее нас, вы начинаете беспокоиться о том, когда они выходят из-под контроля в деталях, но трудно точно предсказать, как это произойдет.
Второй фактор, увеличивающий риск, заключается в том, что существует большая конкуренция за разработку и развертывание мощных систем искусственного интеллекта как можно быстрее. В настоящее время мы видим, что эта конкуренция существует между Google и Microsoft. Есть также опасения по поводу международной конкуренции, которая может быть экономической, геополитической и даже военной.
Третий фактор — если вы создаете системы ИИ, которые оказывают более непосредственное влияние на мир. Системы, которые мы видим до сих пор, — это просто языковые модели, они просто генерируют текст. Но есть также много людей, которые хотят объединить их с другими системами, например, использовать их для написания кода, использовать их для управления различными вещами, будь то онлайн или использование их для управления вещами в реальном мире. Предоставление этим системам большего контроля и автономии увеличивает риск.
По сравнению с системами, которые у нас есть сегодня, которые в основном просто обучены предсказывать текст, это относительно безопасный способ построения систем — по сравнению с просьбой к системе достичь цели в определенной среде, особенно по сравнению с системой в и это безопаснее, чем достижение целей в среде, где реальный мир, физический мир, часто взаимодействует. Когда системы пытаются достичь целей в реальном мире, они, естественно, могут попытаться получить больше ресурсов и власти, потому что это полезно для достижения долгосрочных целей.
Таким образом, чем более открытой, автономной и интеллектуальной является система и чем больше она предназначена для достижения долгосрочных целей, тем выше риск того, что система выйдет из-под контроля.
**Tencent News "Periscope": Если вы считаете, что необходимо сформулировать основу для глобального сотрудничества, чтобы страны следовали общим принципам и стандартам в разработке ИИ, то какими должны быть эти конкретные принципы и стандарты? **
Дэвид Крюгер: Нам абсолютно необходимо это сделать, и нам нужно срочно начать это делать. Потому что это будет сложно и потребует много дискуссий и переговоров, потому что между разными странами много конфликтов и разногласий.
Что касается конкретики, то я все еще думаю об этом. Мы хотим убедиться, что у нас есть какой-то очень законный руководящий орган или система управления, которая может настаивать на моратории, если в какой-то момент в будущем мы почувствуем необходимость сделать это. Это важная часть.
Все становится сложнее, когда речь идет о системах, которые мы разрабатываем и внедряем. Мы хотели бы иметь некоторые механизмы тестирования, оценки и аудита. Возможно, нам также придется рассмотреть какую-либо форму лицензирования, но есть много деталей, которые нужно проработать. Сейчас у меня в голове нет полного сценария. Вот почему я надеюсь, что мы сможем вдохновить больше людей, занимающихся разработкой политики, обладающих опытом в области политики и международных отношений, задуматься об этом.
**Tencent News "Periscope": Какие аспекты существующей системы искусственного интеллекта необходимо улучшить как можно скорее, чтобы справиться с потенциальными рисками и угрозами? **
Дэвид Крюгер: Одним из них является надежность (Примечание: надежность относится к способности системы выживать в нештатных и опасных ситуациях). У наших текущих систем есть серьезные проблемы с надежностью, в первую очередь проблема устойчивости к состязательным действиям, когда небольшие изменения во входных данных, даже незаметные для человека, могут иметь большое влияние на поведение системы. Эта проблема известна уже около 10 лет, но, похоже, до сих пор не имеет решения. Это очень проблематично, если мы рассматриваем системы, которые преследуют какую-то цель, и пытаемся оптимизировать их понимание этой цели. Потому что в зависимости от их понимания цели оптимальный результат может сильно отличаться от того, что мы себе представляем или намереваемся. И оценки, которые мы делаем прямо сейчас, трудно заметить.
Другой причиной является наше непонимание того, как работают эти системы. Мы действительно хотим понять, как работают эти системы, это один из лучших способов предсказать их поведение. Мы хотим убедиться, что они не ведут себя неожиданным и опасным образом в новых ситуациях. Это связано с проблемой прочности.
**05 Далеко ли вымирание человечества? **
**Tencent News "Periscope": Глядя на это сейчас, люди далеки от вымирания? Сколько лет ожидается? **
Дэвид Крюгер: Джеффри Хинтон продолжает говорить, что нам потребуется 20 лет или меньше, чтобы получить искусственный общий интеллект (AGI), что является разумным сроком. Это очень похоже на мою точку зрения.
Я думаю, что люди могут вымереть вскоре после этого, но это может занять больше времени, и я думаю, это то, что я пытаюсь подчеркнуть, даже если это произойдет через десятилетия, нам нужно начать решать эту проблему как можно скорее.
Возвращаясь снова к аналогии с изменением климата. Нам потребовались десятилетия, чтобы начать реально действовать, и до сих пор делается недостаточно для предотвращения ужасных последствий изменения климата. Это потому, что это сложная глобальная проблема координации. Искусственный интеллект столкнется с похожей ситуацией. Мы должны начать как можно раньше.
**Tencent News "Periscope": Может ли большая языковая модель принести AGI? **
Дэвид Крюгер: Многие люди задают этот вопрос прямо сейчас. Моя точка зрения более сложная. Я бы сказал, что это возможно, но, скорее всего, это нужно будет сочетать с другими технологиями, а может быть, даже нужно будет разработать какую-то новую технологию.
**Tencent News "Periscope": Как вы оцениваете отношения между людьми и искусственным интеллектом? Будут ли люди разумным переходом? **
Дэвид Крюгер: Только время покажет. Надеюсь нет. Но сейчас вопрос в том, что у нас все еще есть некоторая инициатива и способность направлять и решать, как будет развиваться будущее. Если мы сможем действовать разумно и скоординировано, если нам повезет, мы, люди, будем решать, возьмет ли ИИ верх в какой-то момент.
**Tencent News "Periscope": У Хинтона очень интересная точка зрения. Он сказал: "Гусеницы извлекают питательные вещества, а затем превращаются в бабочек. Люди извлекли миллиарды когнитивных питательных веществ. GPT-4 — это человеческая бабочка". Вы согласны с этой точкой зрения? **
Дэвид Крюгер: Очень поэтично, и я не думаю, что это совершенно точно, но, возможно, оно наталкивается на какую-то существенную истину о том, что система ИИ не обязательно должна учиться всему с нуля на собственном горьком опыте. Людям нужно пройти долгую эволюцию, чтобы достичь уровня человеческого интеллекта, но теперь люди произвели все эти культурные продукты, включая все тексты в Интернете, что очень вдохновляет системы ИИ. Таким образом, им не обязательно проходить всю свою эволюцию снова и снова, чтобы достичь аналогичного уровня интеллекта.
**Tencent News "Periscope": Вы впервые в Китае? Каковы ваши впечатления от приезда в Китай? Есть ли у вас предложения по развитию искусственного интеллекта и масштабных моделей в Китае? **
Дэвид Крюгер: Я впервые в Китае. Я только вчера утром приехал. Весь визит состоял из встреч и разговоров с людьми, люди были дружелюбны, и у меня был хороший опыт здесь. Но я не чувствую, что действительно испытал Китай. Я просто встречаюсь с исследователями, к сожалению, это будет короткая поездка для меня, но я надеюсь хотя бы хорошенько взглянуть на Пекин в свой последний день перед отъездом.
(Совет Китаю) Я думаю, что важно думать и понимать безопасность и согласованность. Из разговоров, которые у меня были, видно, что люди уже работают над этим, по крайней мере, в какой-то степени.
**Tencent News "Periscope": Многие сцены из фильма "Она" постепенно появились в нашем реальном мире. Есть ли у людей эмоции к искусственному интеллекту? Чувствуете ли вы эмоциональную привязанность к разрабатываемой вами модели ИИ? **
Дэвид Крюгер: У меня его нет, но, насколько я знаю, у некоторых он есть.
Подобные чат-боты для девушек с искусственным интеллектом действительно существуют, и кто-то стал эмоционально зависимым от отношений. Это печальное следствие этой технологии.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Диалог с инициатором «Заявление о рисках ИИ»: не паровые двигатели вымрут людей, а ИИ!
Эта статья из Пекина написана Чжаном Сяоцзюнем, автором Tencent News «Periscope».
Полмесяца назад сотни видных деятелей искусственного интеллекта, в том числе генеральный директор OpenAI Сэм Альтман и обладатель премии Тьюринга Джеффри Хинтон, подписали краткое заявление об угрозе вымирания человечества из-за ИИ.
В этом утверждении всего одно предложение: «снижение риска исчезновения искусственного интеллекта должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как эпидемии и ядерная война».
Дэвид Крюгер, доцент кафедры исследований искусственного интеллекта в Кембриджском университете, был одним из первых инициаторов письма, а также подписал его.
9 июня Крюгер провел подробный диалог с Tencent News «Periscope» во время участия в Пекинской конференции Чжиюань 2023 года. Его давно беспокоят проблемы выравнивания и безопасности ИИ, а с 2012 года его беспокоит потенциальный риск искусственного интеллекта для вымирания человечества, который в отрасли называют X-Risk (экзистенциальный риск).
В ответ на риски, связанные с ИИ, одна точка зрения возражает, что это сильное беспокойство может быть похоже на чрезмерную панику людей, когда сотни лет назад появился паровой двигатель. Но Крюгер сказал, что самая большая разница между ними заключается в том, что паровой двигатель не уничтожит людей, а ИИ.
Крюгер считает, что ИИ умнее людей, беспорядочная конкуренция и создание систем ИИ, оказывающих более непосредственное влияние на мир, — эти три фактора значительно увеличат фактор риска выхода систем ИИ из-под контроля. «Чем более открытая система, более автономная, более интеллектуальная и чем более она предназначена для достижения долгосрочных целей, тем выше риск выхода системы из-под контроля», — сказал он.
По его мнению, проблема безопасности искусственного интеллекта подобна проблеме глобального изменения климата: у всех сторон есть свои интересы, и будет много конфликтов и разногласий, что в конечном итоге превратит ее в сложный вопрос глобальной координации. Следовательно, необходимо начать как можно скорее и усилиями всех сторон, чтобы люди не были доведены до судьбы ИИ.
Только так люди могут выжить.
Ниже приводится суть выступления Дэвида Крюгера.
01 Совместное письмо «Заявление о рисках ИИ» состоит только из одного предложения, оно тщательно разработано
**Tencent News "Periscope": Вы являетесь одной из сторон, подписавших "Заявление о риске ИИ". Можете ли вы рассказать нам, как появилось это заявление? **
Дэвид Крюгер: Я пришел к этой идее больше года назад, потому что людей все больше и больше беспокоят риски, связанные с ИИ, особенно риск того, что ИИ может привести к исчезновению человечества. В то же время многие люди не обсуждают этот вопрос открыто.
Одной из серьезных причин является история, когда идея когда-то считалась второстепенной, и люди боялись, что публичное обсуждение ее негативно повлияет на них или даже на их карьерные перспективы.
Несколько месяцев назад наступило хорошее время. С момента выпуска ChatGPT и GPT-4 внимание людей к ИИ достигло беспрецедентного уровня. Долгое время признавалось, что это может быть гипотетическая проблема будущего, но пока рано говорить об этом.
Что касается того, как появилось это заявление, я связался с рядом коллег, в том числе с Дэном Хендриксом, директором Центра безопасности искусственного интеллекта. Я сказал ему, что мы должны сделать такое заявление, и я намерен сделать это как можно скорее. Но я не уверен, что достаточно хорош для этого. Это срочно. Итак, Дэн взял тему и настоял на объявлении.
**Tencent News «Periscope»: Что вы можете сказать по поводу формулировки этого письма? **
Дэвид Крюгер: Я предлагаю использовать только одно предложение. Есть несколько причин.
Во-первых, когда у вас есть длинное утверждение, велика вероятность того, что кто-то с ним не согласится.
Несколько месяцев назад мы видели, что Институт будущего жизни призвал к немедленному введению моратория на все лаборатории ИИ, обучающие системы ИИ, более мощные, чем GPT-4, как минимум на 6 месяцев. Многие люди реагируют на это так: звучит здорово, но я не думаю, что мы можем приостановить развитие искусственного интеллекта.
Конечно, они сделали это заявление, и оно по-прежнему актуально, потому что когда люди говорят, что мы не можем делать паузу, это знак того, что нам нужно действовать. Нам очень нужна возможность приостановить работу технологии, которая слишком опасна для развития.
Я использую этот пример, чтобы проиллюстрировать, что чем больше вы говорите, тем больше людей не соглашаются. В данном случае мы не упомянули, как бороться с этим риском, потому что люди по-разному относятся к правильному методу; мы также не сказали, почему это может привести к вымиранию человечества, потому что разные люди имеют разные мнения на этот счет. люди больше беспокоятся о технологиях.Неправильное использование, другие больше беспокоятся о том, что технология выходит из-под контроля, что не является преднамеренным результатом действий злоумышленника.
В любом случае, пока многие люди согласны с тем, что это огромный риск и нам нужно действовать, все в порядке.
02Риск ИИ принципиально отличается от парового двигателя
**Tencent News «Periscope»: В чем самая большая разница между опасениями людей по поводу угрозы искусственного интеллекта и страхом людей перед паровыми двигателями двести или триста лет назад? **
Дэвид Крюгер: Я мало что знаю об этой истории. Я не уверен, говорил ли кто-нибудь, что это приведет к вымиранию человечества в то время. Если бы кто-то сказал это, я тоже не уверен, какие аргументы они бы использовали, мне кажется маловероятным.
Ключевое отличие в том, что мы говорим о вымирании. Мы говорим о технологии, которая потенциально умнее и мощнее людей во всех соответствующих возможностях.
Паровой двигатель позволяет нам создавать физические силы сильнее и быстрее, чем люди. Но паровая машина не интеллектуальна и относительно проста в управлении. Даже если один из них выйдет из-под контроля, в худшем случае он выйдет из строя, и находящиеся на нем люди могут погибнуть или получить травмы. Но если интеллектуальная система или самовоспроизводящаяся система выйдет из-под контроля, многие люди могут погибнуть, потому что она может расти и приобретать больше власти, и в этом ключевое отличие.
**Tencent News "Periscope": Некоторые думают, что публичные заявления могут только остановить хороших людей, пытаясь заставить хороших людей уделять больше внимания вопросам безопасности и замедлить скорость исследований и разработок, но они не могут остановить действия плохих людей. . Как нам предотвратить плохих парней? **
Дэвид Крюгер: Регулирование поведения посредством регулирования и международного сотрудничества.
Мне не очень нравится говорить об этом с точки зрения «хороших парней» и «плохих парней», потому что все всегда думают, что они хорошие парни. Главный риск, о котором я беспокоюсь, — это не злонамеренное манипулирование системами ИИ со стороны какого-то плохого парня или злоумышленника, а что-то вроде изменения климата: люди могут получить больше от сжигания большего количества ископаемого топлива или создания более мощных систем, которыми труднее управлять. выгоды, но каждый несет определенные издержки. В случае изменения климата это может нанести ущерб окружающей среде. В случае с искусственным интеллектом существует риск того, что система выйдет из-под контроля и приведет к катастрофе.
Это больше мотивационный вопрос. На самом деле люди больше заботятся о себе, своих друзьях, близких и своем сообществе, чем о каком-то незнакомце на другом конце света. Поэтому никаких злых намерений не требуется, только эгоистичные инстинкты. Вот почему регулирование необходимо, это способ решения такого рода проблем, представляющих общий человеческий интерес.
03Работа по выравниванию ИИ имеет много неразгаданных тайн
**Tencent News "Periscope": Ваши исследовательские интересы связаны с глубоким обучением, согласованием ИИ и безопасностью. Можете ли вы объяснить, что такое согласование, на языке, понятном обычным людям? Вы сказали, что «выравнивание будет одним из ключевых факторов развития ИИ», почему это так важно? **
Дэвид Крюгер: Мне нравится говорить, что у людей есть три разных интерпретации этого. Один из них — заставить системы ИИ действовать по нашей воле. Но я не думаю, что это хорошее определение, оно слишком широкое, и каждый инженер пытается заставить систему ИИ вести себя так, как ему хочется.
Существует также более конкретное определение — «выравнивание по намерению». На мой взгляд, это правильное определение, и оно означает, что система пытается делать то, что мы от нее хотим. При разработке системы вы хотите, чтобы у нее были правильные намерения, мотивы и цели. Он все еще может быть не в состоянии действовать так, как вы хотите, потому что он может быть недостаточно способным или умным, чтобы знать, как выполнять ваши желания. Но если у него правильное намерение, вы можете сказать, что оно выровнено.
Последнее значение, которое люди имеют для выравнивания, — это любые технологические усилия по снижению риска вымирания человечества. Иногда это также относится к сообществу таких людей, как я, которые специализируются в области выравнивания и безопасности. Это тоже не мое предпочтительное определение. Это всего лишь одно из представлений людей о том, как решить эту проблему. В конечном счете, однако, требуется дополнительная работа по управлению, регулированию и международному сотрудничеству, например, заключение договоров, необходимых для снижения этого риска.
**Tencent News «Periscope»: Каких новых успехов технологические компании и научно-исследовательские институты добились за последнее время в технологии выравнивания? Какие самые насущные задачи и проблемы стоят перед вами? **
Дэвид Крюгер: Самое главное — это отладка методов для больших языковых моделей, они проделали большую работу, чтобы изменить поведение модели. Например, разница между GPT-3 и GPT-4 заключается в том, что система настроена так, чтобы действовать в большей степени в соответствии с замыслом проектировщика. В основном за счет обучения с подкреплением и обратной связи с людьми, хотя подробности не разглашаются. По большей части это удалось, но не полностью устранило проблемы с этими моделями.
Я беспокоюсь, что этого метода может оказаться недостаточно для более надежных систем, поскольку изменения, которые он вносит в поведение, могут быть относительно поверхностными. Эта проблема может стать более серьезной по мере того, как система становится более мощной.
Это похоже на аналогию с дрессировкой животных, когда вы дрессируете собаку не залезать на мебель. Возможно, он делает это очень хорошо, когда вы там, но если вы выходите из комнаты, он все равно поднимает мебель. Подобные ситуации могут возникать и в этих моделях. Они могут казаться выровненными, но они все равно могут плохо себя вести, если думают, что мы не заметим их плохого поведения.
**Tencent News "Periscope": Если искусственный интеллект намного умнее людей, как люди могут завершить работу по выравниванию сверхразумного тела? **
Дэвид Крюгер: Это открытый исследовательский вопрос. Поэтому важно провести исследование выравнивания ИИ, чтобы найти ответ на этот вопрос.
**Tencent News "Periscope": Как мы можем заставить ИИ любить людей, а не причинять им вред через мировоззрение? **
Дэвид Крюгер: Это тот же вопрос, что и предыдущий. Хотел бы я получить ответ, но пока не знаю его.
04 Эти три основных стимула могут увеличить риск выхода ИИ из-под контроля
**Tencent News «Periscope»: Как вы думаете, к какому моменту в истории ИИ относится этот момент времени? **
Дэвид Крюгер: Мы достигли момента, когда мир начинает осознавать риски. Я долго ждал этого момента.
**Tencent News "Periscope": С тех пор, как десять лет назад вы прослушали курс глубокого обучения, который вел Джеффри Хинтон, вы обеспокоены тем, что ИИ может привести к вымиранию человечества. Почему вы начали беспокоиться на таком раннем этапе? **
Дэвид Крюгер: Я в принципе волновался, что в какой-то момент это произойдет, потому что однажды они станут умнее людей, но когда я увидел класс Хинтона, мои опасения изменились. Глубокое обучение имеет потенциал для получения настоящего интеллекта, больше, чем любой другой метод, о котором я слышал раньше.
**Tencent News "Periscope": При каких обстоятельствах система искусственного интеллекта выйдет из-под контроля? **
Дэвид Крюгер: Во-первых, если они умнее нас, вы начинаете беспокоиться о том, когда они выходят из-под контроля в деталях, но трудно точно предсказать, как это произойдет.
Второй фактор, увеличивающий риск, заключается в том, что существует большая конкуренция за разработку и развертывание мощных систем искусственного интеллекта как можно быстрее. В настоящее время мы видим, что эта конкуренция существует между Google и Microsoft. Есть также опасения по поводу международной конкуренции, которая может быть экономической, геополитической и даже военной.
Третий фактор — если вы создаете системы ИИ, которые оказывают более непосредственное влияние на мир. Системы, которые мы видим до сих пор, — это просто языковые модели, они просто генерируют текст. Но есть также много людей, которые хотят объединить их с другими системами, например, использовать их для написания кода, использовать их для управления различными вещами, будь то онлайн или использование их для управления вещами в реальном мире. Предоставление этим системам большего контроля и автономии увеличивает риск.
По сравнению с системами, которые у нас есть сегодня, которые в основном просто обучены предсказывать текст, это относительно безопасный способ построения систем — по сравнению с просьбой к системе достичь цели в определенной среде, особенно по сравнению с системой в и это безопаснее, чем достижение целей в среде, где реальный мир, физический мир, часто взаимодействует. Когда системы пытаются достичь целей в реальном мире, они, естественно, могут попытаться получить больше ресурсов и власти, потому что это полезно для достижения долгосрочных целей.
Таким образом, чем более открытой, автономной и интеллектуальной является система и чем больше она предназначена для достижения долгосрочных целей, тем выше риск того, что система выйдет из-под контроля.
**Tencent News "Periscope": Если вы считаете, что необходимо сформулировать основу для глобального сотрудничества, чтобы страны следовали общим принципам и стандартам в разработке ИИ, то какими должны быть эти конкретные принципы и стандарты? **
Дэвид Крюгер: Нам абсолютно необходимо это сделать, и нам нужно срочно начать это делать. Потому что это будет сложно и потребует много дискуссий и переговоров, потому что между разными странами много конфликтов и разногласий.
Что касается конкретики, то я все еще думаю об этом. Мы хотим убедиться, что у нас есть какой-то очень законный руководящий орган или система управления, которая может настаивать на моратории, если в какой-то момент в будущем мы почувствуем необходимость сделать это. Это важная часть.
Все становится сложнее, когда речь идет о системах, которые мы разрабатываем и внедряем. Мы хотели бы иметь некоторые механизмы тестирования, оценки и аудита. Возможно, нам также придется рассмотреть какую-либо форму лицензирования, но есть много деталей, которые нужно проработать. Сейчас у меня в голове нет полного сценария. Вот почему я надеюсь, что мы сможем вдохновить больше людей, занимающихся разработкой политики, обладающих опытом в области политики и международных отношений, задуматься об этом.
**Tencent News "Periscope": Какие аспекты существующей системы искусственного интеллекта необходимо улучшить как можно скорее, чтобы справиться с потенциальными рисками и угрозами? **
Дэвид Крюгер: Одним из них является надежность (Примечание: надежность относится к способности системы выживать в нештатных и опасных ситуациях). У наших текущих систем есть серьезные проблемы с надежностью, в первую очередь проблема устойчивости к состязательным действиям, когда небольшие изменения во входных данных, даже незаметные для человека, могут иметь большое влияние на поведение системы. Эта проблема известна уже около 10 лет, но, похоже, до сих пор не имеет решения. Это очень проблематично, если мы рассматриваем системы, которые преследуют какую-то цель, и пытаемся оптимизировать их понимание этой цели. Потому что в зависимости от их понимания цели оптимальный результат может сильно отличаться от того, что мы себе представляем или намереваемся. И оценки, которые мы делаем прямо сейчас, трудно заметить.
Другой причиной является наше непонимание того, как работают эти системы. Мы действительно хотим понять, как работают эти системы, это один из лучших способов предсказать их поведение. Мы хотим убедиться, что они не ведут себя неожиданным и опасным образом в новых ситуациях. Это связано с проблемой прочности.
**05 Далеко ли вымирание человечества? **
**Tencent News "Periscope": Глядя на это сейчас, люди далеки от вымирания? Сколько лет ожидается? **
Дэвид Крюгер: Джеффри Хинтон продолжает говорить, что нам потребуется 20 лет или меньше, чтобы получить искусственный общий интеллект (AGI), что является разумным сроком. Это очень похоже на мою точку зрения.
Я думаю, что люди могут вымереть вскоре после этого, но это может занять больше времени, и я думаю, это то, что я пытаюсь подчеркнуть, даже если это произойдет через десятилетия, нам нужно начать решать эту проблему как можно скорее.
Возвращаясь снова к аналогии с изменением климата. Нам потребовались десятилетия, чтобы начать реально действовать, и до сих пор делается недостаточно для предотвращения ужасных последствий изменения климата. Это потому, что это сложная глобальная проблема координации. Искусственный интеллект столкнется с похожей ситуацией. Мы должны начать как можно раньше.
**Tencent News "Periscope": Может ли большая языковая модель принести AGI? **
Дэвид Крюгер: Многие люди задают этот вопрос прямо сейчас. Моя точка зрения более сложная. Я бы сказал, что это возможно, но, скорее всего, это нужно будет сочетать с другими технологиями, а может быть, даже нужно будет разработать какую-то новую технологию.
**Tencent News "Periscope": Как вы оцениваете отношения между людьми и искусственным интеллектом? Будут ли люди разумным переходом? **
Дэвид Крюгер: Только время покажет. Надеюсь нет. Но сейчас вопрос в том, что у нас все еще есть некоторая инициатива и способность направлять и решать, как будет развиваться будущее. Если мы сможем действовать разумно и скоординировано, если нам повезет, мы, люди, будем решать, возьмет ли ИИ верх в какой-то момент.
**Tencent News "Periscope": У Хинтона очень интересная точка зрения. Он сказал: "Гусеницы извлекают питательные вещества, а затем превращаются в бабочек. Люди извлекли миллиарды когнитивных питательных веществ. GPT-4 — это человеческая бабочка". Вы согласны с этой точкой зрения? **
Дэвид Крюгер: Очень поэтично, и я не думаю, что это совершенно точно, но, возможно, оно наталкивается на какую-то существенную истину о том, что система ИИ не обязательно должна учиться всему с нуля на собственном горьком опыте. Людям нужно пройти долгую эволюцию, чтобы достичь уровня человеческого интеллекта, но теперь люди произвели все эти культурные продукты, включая все тексты в Интернете, что очень вдохновляет системы ИИ. Таким образом, им не обязательно проходить всю свою эволюцию снова и снова, чтобы достичь аналогичного уровня интеллекта.
**Tencent News "Periscope": Вы впервые в Китае? Каковы ваши впечатления от приезда в Китай? Есть ли у вас предложения по развитию искусственного интеллекта и масштабных моделей в Китае? **
Дэвид Крюгер: Я впервые в Китае. Я только вчера утром приехал. Весь визит состоял из встреч и разговоров с людьми, люди были дружелюбны, и у меня был хороший опыт здесь. Но я не чувствую, что действительно испытал Китай. Я просто встречаюсь с исследователями, к сожалению, это будет короткая поездка для меня, но я надеюсь хотя бы хорошенько взглянуть на Пекин в свой последний день перед отъездом.
(Совет Китаю) Я думаю, что важно думать и понимать безопасность и согласованность. Из разговоров, которые у меня были, видно, что люди уже работают над этим, по крайней мере, в какой-то степени.
**Tencent News "Periscope": Многие сцены из фильма "Она" постепенно появились в нашем реальном мире. Есть ли у людей эмоции к искусственному интеллекту? Чувствуете ли вы эмоциональную привязанность к разрабатываемой вами модели ИИ? **
Дэвид Крюгер: У меня его нет, но, насколько я знаю, у некоторых он есть.
Подобные чат-боты для девушек с искусственным интеллектом действительно существуют, и кто-то стал эмоционально зависимым от отношений. Это печальное следствие этой технологии.