«Я не думаю, что единственный способ понять безопасность ИИ — это развернуть сотни миллионов копий системы в реальном мире и увидеть результаты». прежде чем развернуть его, потому что мы собираемся внедрить его сотням миллионов людей».
"Мы не понимаем большие языковые модели и то, как они работают. Нам нужно иметь это понимание, чтобы быть уверенными в безопасности. Методы, которые люди используют для создания систем ИИ, не должны полагаться на огромные объемы данных для обучения и черные ящики с неизвестные внутренности».
Стюарт Рассел, профессор компьютерных наук Калифорнийского университета в Беркли, выступил с программной речью на Пекинской конференции Чжиюань 2023 года.
«Искусственный интеллект подобен огромному магниту из будущего, тянущему нас вперед, как гарантировать, что нами не будет управлять интеллект, выходящий за рамки человеческого?» 10 июня, профессор компьютерных наук Калифорнийского университета в Беркли, Центр искусственного интеллекта, совместимого с человеком. (Center for Human-Compatible AI) директор Стюарт Рассел (Stuart Russell) выступил с речью на Пекинской конференции Чжиюань 2023 года, заявив, что проектирование систем искусственного интеллекта должно следовать двум принципам. Во-первых, ИИ должен действовать в интересах человечества, во-вторых, сам ИИ не должен знать, что это за интересы.
В ходе диалога Рассел и Яо Цичжи, лауреат премии Тьюринга и академик Китайской академии наук, обсудили долгосрочное будущее искусственного интеллекта и его связь с людьми.Когда решения принимаются от имени общества, следует должным образом учитывать интересы каждого».
«Искусственный интеллект: современный подход», написанный Расселом в соавторстве, был признан самым популярным учебником в области искусственного интеллекта, принятым более чем в 1500 университетах в 135 странах. В 2022 году Международная объединенная конференция по искусственному интеллекту (IJCAI) присудит Расселу награду за выдающиеся достижения в области исследований. Ранее он выигрывал премию IJCAI Computing and Thought, став, таким образом, вторым ученым в мире, который может одновременно получить две крупные награды IJCAI. время.
Всеобщий искусственный интеллект еще далеко
На пекинской конференции Рассел дал определение общему искусственному интеллекту (AGI) в речи под названием «ИИ: некоторые мысли?» Системы искусственного интеллекта, которые превосходят человеческие возможности в задачах. Этот тип системы искусственного интеллекта может обучаться и выполнять любую задачу лучше и быстрее, чем люди, включая задачи, с которыми люди не могут справиться, и благодаря огромным преимуществам машин в скорости, памяти, связи и пропускной способности, в будущем общий искусственный интеллект будет использоваться почти во всех областях, намного превосходит возможности человека.
Итак, насколько далеки люди от общего искусственного интеллекта? Рассел сказал, что мы все еще далеки от общего искусственного интеллекта. «На самом деле, есть еще много важных вопросов без ответа».
Рассел указал в своем выступлении, что ChatGPT и GPT-4 не понимают мир и не «отвечают» на вопросы: «Если общий искусственный интеллект представляет собой законченную головоломку, то большая языковая модель — это только одна часть, но мы на самом деле не понимание того, как связать это с другими частями головоломки, чтобы действительно создать общий искусственный интеллект, — сказал он, — я считаю, что есть даже недостающие части головоломки, которые не были найдены».
По словам Рассела, фундаментальная слабость современных систем ИИ заключается в том, что они используют схемы для генерирования выходных данных. «Мы пытаемся добиться высокоинтеллектуального поведения схем, которые сами по себе представляют собой довольно ограниченную форму вычислений». данные для изучения некоторых функций, которые можно определить с помощью простых программ. Он считает, что будущим направлением развития искусственного интеллекта должно быть использование технологий, основанных на явном представлении знаний.
"Технические вопросы в сторону, если мы действительно создадим общий искусственный интеллект. Что произойдет дальше?" Рассел процитировал Алана Тьюринга, основателя современной компьютерной науки, который сказал: "Как только метод машинного мышления заработает, это не займет много времени Это кажется ужасным, что это настигнет наши слабые силы».
"Как мы можем постоянно гарантировать, что нас не контролирует искусственный интеллект? Это проблема, с которой мы сталкиваемся - если мы не сможем найти ответ на этот вопрос, то, я думаю, у нас нет другого выбора, кроме как прекратить разработку общего искусственного интеллекта". — сказал Рассел.
В марте этого года Рассел подписал открытое письмо с тысячами людей, в том числе генеральным директором Tesla Илоном Маском и «крестным отцом ИИ» Джеффри Хинтоном, призывая приостановить обучение систем ИИ, более мощных, чем GPT-4, как минимум на шесть месяцев.
Рассел подчеркнул на встрече, что решение проблемы существует. Дизайн системы ИИ должен следовать двум принципам. Во-первых, ИИ должен действовать в интересах человечества, во-вторых, сам ИИ не должен знать, что это за интересы. Таким образом, они не уверены в человеческих предпочтениях и будущем, и эта неопределенность дает людям контроль.
Рассел сказал, что людям нужно изменить свое мнение, не преследовать «машины должны быть разумными», а сосредоточиться на «полезности» машин, чтобы они соответствовали фундаментальным интересам человечества. «Пришельцы очень разумны, но мы не обязательно хотим, чтобы они прилетели на Землю».
Братские мысли ИИ и Мэн-цзы
Во время сеанса диалога Рассел и Яо Цичжи провели глубокую и содержательную дискуссию.
На вопрос Яо Цичжи о долгосрочном будущем отношений между искусственным интеллектом и людьми Рассел сказал, что явление, когда люди используют ИИ для удовлетворения своих собственных интересов, что делает ИИ неуправляемым, проистекает из утилитаризма. важный шаг в человеческом прогрессе, но это также приводит к некоторым проблемам.» Например, как принимаются решения, когда решение влияет на то, сколько людей существует физически? Люди хотят большую группу, которая не очень счастлива, или маленькую группу, которая очень счастлива? «У нас нет хороших ответов на такие вопросы, но мы должны ответить на эти основные вопросы моральной философии, потому что системы ИИ будут обладать огромной силой, и нам лучше убедиться, что они используют эту силу правильным образом. "
Рассел и Яо Цичжи (справа), лауреат премии Тьюринга и академик Китайской академии наук, обсудили долгосрочное будущее искусственного интеллекта и его связь с людьми.
В своем ответе Рассел процитировал древнекитайского философа Мэн-цзы: «Мэн-цзы говорил о концепции братства в Китае, что означает, что при принятии моральных решений следует учитывать интересы каждого. И к предпочтениям всех следует относиться одинаково». существует подход, основанный на сложных формах утилитаризма предпочтений, который мог бы позволить системам ИИ разумно учитывать интересы каждого при принятии решений от имени общества.
Рассел спросил, когда есть один человек и много машин, как вы гарантируете, что эти машины будут сотрудничать друг с другом, чтобы помогать людям? Это затрагивает фундаментальные вопросы моральной философии, когда у многих людей много машин. Он считает, что системы искусственного интеллекта должны работать на благо всех людей. «Если вы хотите, чтобы система ИИ соответствовала желаниям человека, вы должны продемонстрировать, что сфера действия системы ИИ ограничена интересами человека, что она не может причинить вред другим людям, преследуя свои цели. собственные интересы, потому что он не заботится о других людях. Поэтому я думаю, что по умолчанию системы ИИ должны работать от имени людей».
Кроме того, в ходе обсуждения Рассел упомянул экономический термин «позиционные товары», «позиционные товары» относятся к тому факту, что люди ценят не сами предметы, а их неявное значение превосходства над другими. «Почему Нобелевская премия ценна? Потому что ее нет больше ни у кого, и она доказывает, что вы умнее почти всех в мире», — сказал он.
«Природа позиционных товаров заключается в том, что это в некотором смысле игра с нулевой суммой. Проще говоря, не все попадают в верхний 1 процент. гордости и самоуважения для всех», — сказал Рассел.
Итак, должны ли системы ИИ учитывать позиционные блага при принятии решений от имени общества? «Если мы скажем, что не должны этого делать, это приведет к огромным изменениям в том, как работает общество. Это гораздо более сложная проблема. Я думаю, что многие внутренние трения в обществе на самом деле вызваны этими позиционными благами, которые просто не могут быть достигнуто всеми».
ОПАСНО, КАК АЛГОРИТМ СОЦИАЛЬНЫХ СЕТЕЙ
Яо Цичжи спросил, возможно ли в будущем разработать «белый список», который позволит использовать системы ИИ для выполнения задач, приносящих пользу человеческому благополучию, таких как использование методов ИИ для разработки лекарств и решения проблем рака.
Рассел рассказал, что К. Эрик Дрекслер, один из основоположников нанотехнологий, последние несколько лет работает над безопасностью ИИ, и он предложил комплексные услуги ИИ (Comprehensive AI services), CAIS), то есть системы искусственного интеллекта являются построен не для общих целей, а для решения конкретных, узких задач, таких как сворачивание белков, предсказание трафика и т. д. Масштабные риски, создаваемые этими системами, относительно невелики по сравнению с обычным искусственным интеллектом.
Рассел сказал: «В краткосрочной перспективе это разумный подход», но «я не думаю, что единственный способ понять безопасность искусственного интеллекта — это развернуть сотни миллионов копий системы в реальном мире и наблюдайте за результатами». Он сказал: «Люди не сделают этого с вакциной: «Мы должны протестировать ее, прежде чем развертывать, потому что мы будем вводить ее сотням миллионов людей».
Поэтому в настоящее время требуется дополнительная работа по обеспечению безопасности людей, использующих эти системы. Рассел отметил, что системы искусственного интеллекта потенциально могут изменить взгляды и эмоции сотен миллионов людей посредством диалога. Технологические компании, такие как OpenAI, должны прекратить выпускать новые системы искусственного интеллекта для сотен миллионов людей, не сообщая им, что эти системы могут манипулировать человеческим мышлением и поведением и влиять на них посредством диалога, что приводит к некоторым катастрофическим последствиям, таким как ядерная война или климатическая катастрофа. «Если вы сможете поговорить с сотнями миллионов людей, вы сможете убедить эти сотни миллионов людей быть менее дружелюбными по отношению к другим странам, и вы сможете убедить людей меньше беспокоиться об изменении климата».
Рассел сказал: «Эта ситуация похожа на алгоритмы социальных сетей, и мы даже не осознаем, что это меняет общественный дискурс, настроения и то, как мы видим других людей и будущее, что очень опасно». обнаруживать внутренние объекты, заставляя ИИ подталкивать нас в этом направлении».
Итак, как обеспечить безопасность и управляемость технологии искусственного интеллекта?
«Если ИИ такой же мощный или даже более мощный, чем ядерное оружие, нам, возможно, придется управлять им таким же образом», — сказал Рассел, — «До изобретения технологии ядерного оружия были физики, которые считали, что нам нужна структура управления. "Убедиться, что технологии используются только на благо человека, а не в виде оружия. К сожалению, ни физическое сообщество, ни правительство не прислушались к их мнению". и страны должны стремиться начать это сотрудничество в области безопасности ИИ как можно скорее.
Рассел считает, что обеспечение потенциальных преимуществ ИИ требует комплексных изменений, не только регулирования и установления строгих правил и стандартов безопасности, но и культурных изменений во всей области ИИ.
Он предложил: во-первых, создайте систему искусственного интеллекта, которую смогут понять люди. «Мы не понимаем большие языковые модели и то, как они работают. Нам нужно иметь это понимание, чтобы быть уверенными в безопасности. Методы, которые люди используют для создания систем ИИ, не должны полагаться на огромные объемы данных для обучения и черные ящики. с неизвестными внутренностями».
Кроме того, предотвращение развертывания небезопасных систем ИИ, особенно злоумышленниками, «требует изменений во всей цифровой экосистеме, начиная с того, как работает компьютер, то есть компьютер не запускает программное обеспечение, которое он считает небезопасным».
В конце обсуждения Рассел сделал вывод, что искусственный интеллект — это наука, поэтому, прежде чем его использовать, нужно понять его внутреннюю структуру и принцип работы. «Точно так же, как мы делаем самолеты, мы можем сказать, как они остаются в воздухе, основываясь на их физической форме, двигателях и так далее». такого уровня. Мы не знаем, как они порождают эти свойства. На самом деле, мы даже не знаем, какими свойствами они обладают, поэтому мы не можем связать эти явления с их внутренней работой». нуждается в дальнейшем развитии Наука геологоразведки.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Стюарт Рассел: Большая модель — это всего лишь изолированная часть головоломки AGI, и до сих пор есть головоломки, которые не найдены.
Источник: Бумага
Репортер Ву Тяньи Стажер Чен Сяоруй
«Я не думаю, что единственный способ понять безопасность ИИ — это развернуть сотни миллионов копий системы в реальном мире и увидеть результаты». прежде чем развернуть его, потому что мы собираемся внедрить его сотням миллионов людей».
"Мы не понимаем большие языковые модели и то, как они работают. Нам нужно иметь это понимание, чтобы быть уверенными в безопасности. Методы, которые люди используют для создания систем ИИ, не должны полагаться на огромные объемы данных для обучения и черные ящики с неизвестные внутренности».
«Искусственный интеллект подобен огромному магниту из будущего, тянущему нас вперед, как гарантировать, что нами не будет управлять интеллект, выходящий за рамки человеческого?» 10 июня, профессор компьютерных наук Калифорнийского университета в Беркли, Центр искусственного интеллекта, совместимого с человеком. (Center for Human-Compatible AI) директор Стюарт Рассел (Stuart Russell) выступил с речью на Пекинской конференции Чжиюань 2023 года, заявив, что проектирование систем искусственного интеллекта должно следовать двум принципам. Во-первых, ИИ должен действовать в интересах человечества, во-вторых, сам ИИ не должен знать, что это за интересы.
В ходе диалога Рассел и Яо Цичжи, лауреат премии Тьюринга и академик Китайской академии наук, обсудили долгосрочное будущее искусственного интеллекта и его связь с людьми.Когда решения принимаются от имени общества, следует должным образом учитывать интересы каждого».
«Искусственный интеллект: современный подход», написанный Расселом в соавторстве, был признан самым популярным учебником в области искусственного интеллекта, принятым более чем в 1500 университетах в 135 странах. В 2022 году Международная объединенная конференция по искусственному интеллекту (IJCAI) присудит Расселу награду за выдающиеся достижения в области исследований. Ранее он выигрывал премию IJCAI Computing and Thought, став, таким образом, вторым ученым в мире, который может одновременно получить две крупные награды IJCAI. время.
Всеобщий искусственный интеллект еще далеко
На пекинской конференции Рассел дал определение общему искусственному интеллекту (AGI) в речи под названием «ИИ: некоторые мысли?» Системы искусственного интеллекта, которые превосходят человеческие возможности в задачах. Этот тип системы искусственного интеллекта может обучаться и выполнять любую задачу лучше и быстрее, чем люди, включая задачи, с которыми люди не могут справиться, и благодаря огромным преимуществам машин в скорости, памяти, связи и пропускной способности, в будущем общий искусственный интеллект будет использоваться почти во всех областях, намного превосходит возможности человека.
Итак, насколько далеки люди от общего искусственного интеллекта? Рассел сказал, что мы все еще далеки от общего искусственного интеллекта. «На самом деле, есть еще много важных вопросов без ответа».
Рассел указал в своем выступлении, что ChatGPT и GPT-4 не понимают мир и не «отвечают» на вопросы: «Если общий искусственный интеллект представляет собой законченную головоломку, то большая языковая модель — это только одна часть, но мы на самом деле не понимание того, как связать это с другими частями головоломки, чтобы действительно создать общий искусственный интеллект, — сказал он, — я считаю, что есть даже недостающие части головоломки, которые не были найдены».
По словам Рассела, фундаментальная слабость современных систем ИИ заключается в том, что они используют схемы для генерирования выходных данных. «Мы пытаемся добиться высокоинтеллектуального поведения схем, которые сами по себе представляют собой довольно ограниченную форму вычислений». данные для изучения некоторых функций, которые можно определить с помощью простых программ. Он считает, что будущим направлением развития искусственного интеллекта должно быть использование технологий, основанных на явном представлении знаний.
"Технические вопросы в сторону, если мы действительно создадим общий искусственный интеллект. Что произойдет дальше?" Рассел процитировал Алана Тьюринга, основателя современной компьютерной науки, который сказал: "Как только метод машинного мышления заработает, это не займет много времени Это кажется ужасным, что это настигнет наши слабые силы».
"Как мы можем постоянно гарантировать, что нас не контролирует искусственный интеллект? Это проблема, с которой мы сталкиваемся - если мы не сможем найти ответ на этот вопрос, то, я думаю, у нас нет другого выбора, кроме как прекратить разработку общего искусственного интеллекта". — сказал Рассел.
В марте этого года Рассел подписал открытое письмо с тысячами людей, в том числе генеральным директором Tesla Илоном Маском и «крестным отцом ИИ» Джеффри Хинтоном, призывая приостановить обучение систем ИИ, более мощных, чем GPT-4, как минимум на шесть месяцев.
Рассел подчеркнул на встрече, что решение проблемы существует. Дизайн системы ИИ должен следовать двум принципам. Во-первых, ИИ должен действовать в интересах человечества, во-вторых, сам ИИ не должен знать, что это за интересы. Таким образом, они не уверены в человеческих предпочтениях и будущем, и эта неопределенность дает людям контроль.
Рассел сказал, что людям нужно изменить свое мнение, не преследовать «машины должны быть разумными», а сосредоточиться на «полезности» машин, чтобы они соответствовали фундаментальным интересам человечества. «Пришельцы очень разумны, но мы не обязательно хотим, чтобы они прилетели на Землю».
Братские мысли ИИ и Мэн-цзы
Во время сеанса диалога Рассел и Яо Цичжи провели глубокую и содержательную дискуссию.
На вопрос Яо Цичжи о долгосрочном будущем отношений между искусственным интеллектом и людьми Рассел сказал, что явление, когда люди используют ИИ для удовлетворения своих собственных интересов, что делает ИИ неуправляемым, проистекает из утилитаризма. важный шаг в человеческом прогрессе, но это также приводит к некоторым проблемам.» Например, как принимаются решения, когда решение влияет на то, сколько людей существует физически? Люди хотят большую группу, которая не очень счастлива, или маленькую группу, которая очень счастлива? «У нас нет хороших ответов на такие вопросы, но мы должны ответить на эти основные вопросы моральной философии, потому что системы ИИ будут обладать огромной силой, и нам лучше убедиться, что они используют эту силу правильным образом. "
В своем ответе Рассел процитировал древнекитайского философа Мэн-цзы: «Мэн-цзы говорил о концепции братства в Китае, что означает, что при принятии моральных решений следует учитывать интересы каждого. И к предпочтениям всех следует относиться одинаково». существует подход, основанный на сложных формах утилитаризма предпочтений, который мог бы позволить системам ИИ разумно учитывать интересы каждого при принятии решений от имени общества.
Рассел спросил, когда есть один человек и много машин, как вы гарантируете, что эти машины будут сотрудничать друг с другом, чтобы помогать людям? Это затрагивает фундаментальные вопросы моральной философии, когда у многих людей много машин. Он считает, что системы искусственного интеллекта должны работать на благо всех людей. «Если вы хотите, чтобы система ИИ соответствовала желаниям человека, вы должны продемонстрировать, что сфера действия системы ИИ ограничена интересами человека, что она не может причинить вред другим людям, преследуя свои цели. собственные интересы, потому что он не заботится о других людях. Поэтому я думаю, что по умолчанию системы ИИ должны работать от имени людей».
Кроме того, в ходе обсуждения Рассел упомянул экономический термин «позиционные товары», «позиционные товары» относятся к тому факту, что люди ценят не сами предметы, а их неявное значение превосходства над другими. «Почему Нобелевская премия ценна? Потому что ее нет больше ни у кого, и она доказывает, что вы умнее почти всех в мире», — сказал он.
«Природа позиционных товаров заключается в том, что это в некотором смысле игра с нулевой суммой. Проще говоря, не все попадают в верхний 1 процент. гордости и самоуважения для всех», — сказал Рассел.
Итак, должны ли системы ИИ учитывать позиционные блага при принятии решений от имени общества? «Если мы скажем, что не должны этого делать, это приведет к огромным изменениям в том, как работает общество. Это гораздо более сложная проблема. Я думаю, что многие внутренние трения в обществе на самом деле вызваны этими позиционными благами, которые просто не могут быть достигнуто всеми».
ОПАСНО, КАК АЛГОРИТМ СОЦИАЛЬНЫХ СЕТЕЙ
Яо Цичжи спросил, возможно ли в будущем разработать «белый список», который позволит использовать системы ИИ для выполнения задач, приносящих пользу человеческому благополучию, таких как использование методов ИИ для разработки лекарств и решения проблем рака.
Рассел рассказал, что К. Эрик Дрекслер, один из основоположников нанотехнологий, последние несколько лет работает над безопасностью ИИ, и он предложил комплексные услуги ИИ (Comprehensive AI services), CAIS), то есть системы искусственного интеллекта являются построен не для общих целей, а для решения конкретных, узких задач, таких как сворачивание белков, предсказание трафика и т. д. Масштабные риски, создаваемые этими системами, относительно невелики по сравнению с обычным искусственным интеллектом.
Рассел сказал: «В краткосрочной перспективе это разумный подход», но «я не думаю, что единственный способ понять безопасность искусственного интеллекта — это развернуть сотни миллионов копий системы в реальном мире и наблюдайте за результатами». Он сказал: «Люди не сделают этого с вакциной: «Мы должны протестировать ее, прежде чем развертывать, потому что мы будем вводить ее сотням миллионов людей».
Поэтому в настоящее время требуется дополнительная работа по обеспечению безопасности людей, использующих эти системы. Рассел отметил, что системы искусственного интеллекта потенциально могут изменить взгляды и эмоции сотен миллионов людей посредством диалога. Технологические компании, такие как OpenAI, должны прекратить выпускать новые системы искусственного интеллекта для сотен миллионов людей, не сообщая им, что эти системы могут манипулировать человеческим мышлением и поведением и влиять на них посредством диалога, что приводит к некоторым катастрофическим последствиям, таким как ядерная война или климатическая катастрофа. «Если вы сможете поговорить с сотнями миллионов людей, вы сможете убедить эти сотни миллионов людей быть менее дружелюбными по отношению к другим странам, и вы сможете убедить людей меньше беспокоиться об изменении климата».
Рассел сказал: «Эта ситуация похожа на алгоритмы социальных сетей, и мы даже не осознаем, что это меняет общественный дискурс, настроения и то, как мы видим других людей и будущее, что очень опасно». обнаруживать внутренние объекты, заставляя ИИ подталкивать нас в этом направлении».
Итак, как обеспечить безопасность и управляемость технологии искусственного интеллекта?
«Если ИИ такой же мощный или даже более мощный, чем ядерное оружие, нам, возможно, придется управлять им таким же образом», — сказал Рассел, — «До изобретения технологии ядерного оружия были физики, которые считали, что нам нужна структура управления. "Убедиться, что технологии используются только на благо человека, а не в виде оружия. К сожалению, ни физическое сообщество, ни правительство не прислушались к их мнению". и страны должны стремиться начать это сотрудничество в области безопасности ИИ как можно скорее.
Рассел считает, что обеспечение потенциальных преимуществ ИИ требует комплексных изменений, не только регулирования и установления строгих правил и стандартов безопасности, но и культурных изменений во всей области ИИ.
Он предложил: во-первых, создайте систему искусственного интеллекта, которую смогут понять люди. «Мы не понимаем большие языковые модели и то, как они работают. Нам нужно иметь это понимание, чтобы быть уверенными в безопасности. Методы, которые люди используют для создания систем ИИ, не должны полагаться на огромные объемы данных для обучения и черные ящики. с неизвестными внутренностями».
Кроме того, предотвращение развертывания небезопасных систем ИИ, особенно злоумышленниками, «требует изменений во всей цифровой экосистеме, начиная с того, как работает компьютер, то есть компьютер не запускает программное обеспечение, которое он считает небезопасным».
В конце обсуждения Рассел сделал вывод, что искусственный интеллект — это наука, поэтому, прежде чем его использовать, нужно понять его внутреннюю структуру и принцип работы. «Точно так же, как мы делаем самолеты, мы можем сказать, как они остаются в воздухе, основываясь на их физической форме, двигателях и так далее». такого уровня. Мы не знаем, как они порождают эти свойства. На самом деле, мы даже не знаем, какими свойствами они обладают, поэтому мы не можем связать эти явления с их внутренней работой». нуждается в дальнейшем развитии Наука геологоразведки.