"No creo que la única forma de entender la seguridad de la IA sea implementar cientos de millones de copias de un sistema en el mundo real y ver los resultados". Los humanos no hacen eso con las vacunas, "Tenemos que probar una vacuna". antes de implementarlo, porque lo vamos a inyectar en cientos de millones de personas".
"No entendemos los grandes modelos de lenguaje y cómo funcionan. Necesitamos tener esta comprensión para tener confianza en la seguridad. Las técnicas que usan los humanos para construir sistemas de inteligencia artificial no deben depender de cantidades masivas de datos para el entrenamiento y cajas negras con interiores desconocidos.
Stuart Russell, profesor de ciencias de la computación en la Universidad de California, Berkeley, pronunció un discurso de apertura en la Conferencia Zhiyuan de Beijing de 2023.
"La inteligencia artificial es como un gran imán del futuro que nos empuja hacia adelante, ¿cómo asegurarnos de que no seremos controlados por una inteligencia más allá de la humana?" 10 de junio, Profesor de Ciencias de la Computación, Universidad de California, Berkeley, Centro de Inteligencia Artificial Compatible con Humanos (Centro de inteligencia artificial compatible con humanos), Stuart Russell (Stuart Russell), pronunció un discurso en la Conferencia Zhiyuan de Beijing de 2023 y dijo que el diseño de los sistemas de inteligencia artificial debe seguir dos principios. Primero, la IA debe actuar en el mejor interés de la humanidad; segundo, la IA en sí misma no debe saber cuáles son esos intereses.
En la sesión de diálogo, Russell y Yao Qizhi, ganador del Premio Turing y académico de la Academia de Ciencias de China, discutieron el futuro a largo plazo de la inteligencia artificial y su relación con los seres humanos.Cuando las decisiones se toman en nombre de la sociedad, los intereses de todos deben ser debidamente tomados en cuenta".
"Inteligencia artificial: un enfoque moderno", en coautoría con Russell, ha sido aclamado como el libro de texto más popular en el campo de la inteligencia artificial, adoptado por más de 1500 universidades en 135 países. En 2022, la Conferencia Internacional Conjunta sobre Inteligencia Artificial (IJCAI) otorgará a Russell el Premio a la Excelencia en Investigación. Anteriormente ganó el Premio IJCAI de Computación y Pensamiento, convirtiéndose así en el segundo científico del mundo que puede ganar dos importantes premios IJCAI en el Mismo tiempo.
La inteligencia artificial general aún está lejos
En la conferencia de Beijing, Russell definió la inteligencia artificial general (AGI) en un discurso titulado "IA: ¿Algunos pensamientos?" Sistemas de inteligencia artificial que superan las capacidades humanas en tareas. Este tipo de sistema de inteligencia artificial puede aprender y realizar cualquier tarea mejor y más rápido que los humanos, incluidas las tareas que los humanos no pueden manejar, y debido a las enormes ventajas de las máquinas en velocidad, memoria, comunicación y ancho de banda, en el futuro, la inteligencia artificial general utilizarse en casi todos los campos superará con creces las capacidades humanas.
Entonces, ¿qué tan lejos está el ser humano de la inteligencia artificial general? Russell dijo que todavía estamos lejos de la inteligencia artificial general. "De hecho, todavía hay muchas preguntas importantes sin respuesta".
Russell señaló en su discurso que ChatGPT y GPT-4 no entienden el mundo, ni están "respondiendo" preguntas: "Si la inteligencia artificial general es un rompecabezas completo, el modelo de lenguaje grande es solo una pieza, pero realmente no lo hacemos". entender cómo conectar eso con otras piezas del rompecabezas para lograr realmente una inteligencia artificial general”, dijo, “creo que incluso hay piezas del rompecabezas que faltan que no se han encontrado”.
Según Russell, una debilidad fundamental de los sistemas de IA actuales es que utilizan circuitos para generar resultados. "Estamos tratando de obtener un comportamiento altamente inteligente de los circuitos, que en sí mismos son una forma bastante limitada de computación". La incapacidad de los circuitos para expresar y comprender con precisión algunos conceptos fundamentales, argumenta, significa que estos sistemas requieren mucho entrenamiento. datos para aprender algunas funciones que se pueden definir con programas simples. Él cree que la dirección de desarrollo futuro de la inteligencia artificial debería ser el uso de tecnología basada en la representación explícita del conocimiento.
"Dejando de lado las cuestiones técnicas, si creamos una inteligencia artificial general. ¿Qué sucederá después?" Russell citó a Alan Turing, el fundador de la informática moderna, diciendo: "Una vez que comience el método de pensamiento automático, no tardará mucho en funcionar". parece espantoso que se apodere de nuestros débiles poderes".
"¿Cómo nos aseguramos permanentemente de que no estamos controlados por la inteligencia artificial? Este es el problema al que nos enfrentamos: si no podemos encontrar la respuesta a esta pregunta, entonces creo que no hay más remedio que dejar de desarrollar la inteligencia artificial general". Russell dijo.
En marzo de este año, Russell firmó una carta abierta con miles de personas, incluido el CEO de Tesla, Elon Musk, y el "padrino de la IA" Geoffrey Hinton, pidiendo la suspensión de los sistemas de entrenamiento de IA que son más potentes que GPT-4 durante al menos seis meses.
Russell enfatizó en la reunión que existe la respuesta al problema. El diseño de un sistema de IA debe seguir dos principios. Primero, la IA debe actuar en el mejor interés de la humanidad; segundo, la IA en sí misma no debe saber cuáles son esos intereses. Como tales, no están seguros de las preferencias humanas y del futuro, y esta incertidumbre les da el control a los humanos.
Russell dijo que la gente necesita cambiar de opinión, no para buscar "las máquinas deben ser inteligentes", sino para centrarse en la "beneficio" de las máquinas para que estén en línea con los intereses fundamentales de la humanidad. "Los extraterrestres son muy inteligentes, pero no necesariamente queremos que vengan a la Tierra".
Los pensamientos de fraternidad de AI y Mencius
En la sesión de diálogo, Russell y Yao Qizhi tuvieron una discusión profunda y perspicaz.
Cuando Yao Qizhi le preguntó sobre el futuro a largo plazo de la relación entre la inteligencia artificial y los seres humanos, Russell dijo que el fenómeno de que los seres humanos usan la IA para satisfacer sus propios intereses, lo que hace que la IA sea incontrolable, proviene del utilitarismo. paso importante en el progreso humano, pero también es esto conduce a algunos problemas." Por ejemplo, ¿cómo se toman las decisiones cuando una decisión afecta a cuántas personas existen físicamente? ¿La gente quiere un grupo grande que no sea muy feliz o un grupo pequeño que sea muy feliz? "No tenemos buenas respuestas para este tipo de preguntas, pero debemos responder estas preguntas fundamentales de la filosofía moral, porque los sistemas de inteligencia artificial van a tener un gran poder, y es mejor que nos aseguremos de que usen ese poder de la manera correcta. "
Russell y Yao Qizhi (derecha), ganador del Premio Turing y académico de la Academia de Ciencias de China, discutieron el futuro a largo plazo de la inteligencia artificial y su relación con los seres humanos.
Russell citó al antiguo filósofo chino Mencius en su respuesta: "Mencius habló sobre el concepto de fraternidad en China, lo que significa que al tomar decisiones morales, se deben tener en cuenta los intereses de todos. Y las preferencias de todos deben tratarse por igual". existe un enfoque, basado en formas complejas de utilitarismo preferencial, que podría permitir que los sistemas de IA tengan razonablemente en cuenta los intereses de todos al tomar decisiones en nombre de la sociedad.
Russell preguntó, cuando hay una persona y muchas máquinas, ¿cómo se asegura de que estas máquinas cooperen entre sí para ayudar a los humanos? Esto toca cuestiones fundamentales de la filosofía moral cuando muchas personas tienen muchas máquinas. Él cree que los sistemas de IA deben diseñarse para trabajar en nombre de todos los humanos. "Si desea que un sistema de IA se ajuste a los deseos de un individuo, debe demostrar que el sistema de IA está limitado en su ámbito de acción a las preocupaciones del individuo, que no puede dañar a otros individuos al perseguir sus objetivos". propios intereses porque no se preocupa por otras personas. Así que creo que el valor predeterminado debería ser que los sistemas de IA funcionen en nombre de los humanos".
Además, en la discusión, Russell mencionó el término económico "bienes posicionales", "bienes posicionales" se refiere al hecho de que las personas valoran no los artículos en sí mismos, sino su significado implícito de ser superiores a los demás. "¿Por qué es valioso el Premio Nobel? Porque nadie más lo tiene y demuestra que eres más inteligente que casi todos en el mundo", dijo.
"La naturaleza de los bienes posicionales es que, en cierto sentido, hay un juego de suma cero. En pocas palabras, no todos entran en el 1 por ciento superior. Entonces, si obtienes valor personal, orgullo de ser el 1 por ciento. No podemos dar eso. orgullo y autoestima para todos”, dijo Russell.
Entonces, ¿los sistemas de IA deberían tener en cuenta los bienes posicionales al tomar decisiones en nombre de la sociedad? "Si decimos que no deberíamos, eso creará un gran cambio en la forma en que funciona la sociedad. Es un problema mucho más difícil. Creo que gran parte de la fricción interna en la sociedad en realidad es causada por estos bienes posicionales que simplemente pueden ' t ser alcanzado por todos".
PELIGROSO COMO UN ALGORITMO DE REDES SOCIALES
Yao Qizhi preguntó si sería posible en el futuro desarrollar una "lista blanca" que permitiera usar los sistemas de IA para hacer cosas que beneficien el bienestar humano, como usar métodos de IA para diseñar medicamentos y resolver problemas de cáncer.
Russell dijo que K. Eric Drexler, uno de los fundadores de la nanotecnología, ha estado trabajando en la seguridad de la IA durante los últimos años, y propuso servicios integrales de IA (Comprehensive AI services), CAIS, es decir, los sistemas de inteligencia artificial son no está diseñado para objetivos generales, sino para resolver problemas específicos y limitados, como el plegamiento de proteínas, la predicción del tráfico, etc. Los riesgos a gran escala que plantean estos sistemas son relativamente pequeños en comparación con la inteligencia artificial general.
Russell dijo: "A corto plazo, este es un enfoque razonable", pero "no creo que la única forma de comprender la seguridad de la inteligencia artificial sea desplegar cientos de millones de copias de un sistema en el mundo real y observe los resultados". Dijo: "Los humanos no le harán esto a una vacuna", "Tenemos que probarla antes de implementarla, porque la inyectaremos en cientos de millones de personas".
Por lo tanto, actualmente se necesita más trabajo para garantizar la seguridad de las personas que utilizan estos sistemas. Russell señaló que los sistemas de IA podrían potencialmente alterar las opiniones y emociones de cientos de millones de personas a través del diálogo. Las empresas tecnológicas como OpenAI deberían dejar de lanzar nuevos sistemas de IA a cientos de millones de personas sin decirles que estos sistemas pueden manipular e influir en el pensamiento y el comportamiento humanos a través del diálogo, lo que puede tener consecuencias catastróficas, como una guerra nuclear o una catástrofe climática. "Si puedes hablar con cientos de millones de personas, puedes convencer a esos cientos de millones de personas de que sean menos amigables con otros países, y puedes convencer a las personas de que se preocupen menos por el cambio climático".
Russell dijo: "Esta situación es similar a los algoritmos de las redes sociales, y ni siquiera nos damos cuenta de que está cambiando el discurso público, el sentimiento y la forma en que vemos a otras personas y el futuro, lo cual es muy peligroso". detectar objetos internos, lo que lleva a la IA a empujarnos en esta dirección".
Entonces, ¿cómo garantizar la seguridad y controlabilidad de la tecnología de inteligencia artificial?
"Si la IA es tan poderosa o más poderosa que las armas nucleares, es posible que debamos administrarla de manera similar". Russell dijo: "Antes de la invención de la tecnología de armas nucleares, había físicos que creían que necesitábamos tener una estructura de gobierno para asegurarse de que la tecnología solo se use para beneficio humano y no en forma de armas. Desafortunadamente, ni la comunidad física ni el gobierno han escuchado sus opiniones ". Hizo hincapié en que la tecnología de inteligencia artificial es tan poderosa como las armas nucleares y la tecnología de aviación, y los países deben esforzarse por comenzar esta colaboración de seguridad de IA lo antes posible.
Russell cree que asegurar los beneficios potenciales de la IA requiere cambios integrales, no solo la regulación y el establecimiento de reglas estrictas y estándares de seguridad, sino también un cambio cultural en todo el campo de la IA.
Dio sugerencias: primero, construya un sistema de inteligencia artificial que los humanos puedan entender. "No entendemos los modelos de lenguaje grandes y cómo funcionan. Necesitamos tener esta comprensión para tener confianza en la seguridad. Las técnicas que usan los humanos para construir sistemas de IA no deberían depender de cantidades masivas de datos para entrenamiento y cajas negras". con interiores desconocidos".
Además, evitar que se implementen sistemas de IA inseguros, especialmente por parte de actores malintencionados, "requiere cambios en todo el ecosistema digital, comenzando por la forma en que opera una computadora para que no ejecute software que considere inseguro".
Al final de la discusión, Russell concluyó que la inteligencia artificial es una ciencia, por lo que antes de usarla, debe comprender su estructura interna y su principio de funcionamiento. "Al igual que hacemos aviones, podemos decir cómo se mantienen en el aire en función de su forma física y sus motores, etc.". Dijo: "En la actualidad, especialmente en el campo de los modelos de lenguaje grande, la inteligencia artificial aún no ha tal nivel. No sabemos cómo generan estas propiedades. De hecho, ni siquiera sabemos qué propiedades tienen, por lo que no podemos conectar estos fenómenos con su funcionamiento interno ". Por lo tanto, la inteligencia artificial es un campo que necesita ser más desarrollado Ciencia de la exploración.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Stuart Russell: El modelo grande es solo una pieza aislada del rompecabezas AGI, y todavía hay rompecabezas que no se encuentran
Fuente: El Papel
Reportero Wu Tianyi Pasante Chen Xiaorui
"No creo que la única forma de entender la seguridad de la IA sea implementar cientos de millones de copias de un sistema en el mundo real y ver los resultados". Los humanos no hacen eso con las vacunas, "Tenemos que probar una vacuna". antes de implementarlo, porque lo vamos a inyectar en cientos de millones de personas".
"No entendemos los grandes modelos de lenguaje y cómo funcionan. Necesitamos tener esta comprensión para tener confianza en la seguridad. Las técnicas que usan los humanos para construir sistemas de inteligencia artificial no deben depender de cantidades masivas de datos para el entrenamiento y cajas negras con interiores desconocidos.
"La inteligencia artificial es como un gran imán del futuro que nos empuja hacia adelante, ¿cómo asegurarnos de que no seremos controlados por una inteligencia más allá de la humana?" 10 de junio, Profesor de Ciencias de la Computación, Universidad de California, Berkeley, Centro de Inteligencia Artificial Compatible con Humanos (Centro de inteligencia artificial compatible con humanos), Stuart Russell (Stuart Russell), pronunció un discurso en la Conferencia Zhiyuan de Beijing de 2023 y dijo que el diseño de los sistemas de inteligencia artificial debe seguir dos principios. Primero, la IA debe actuar en el mejor interés de la humanidad; segundo, la IA en sí misma no debe saber cuáles son esos intereses.
En la sesión de diálogo, Russell y Yao Qizhi, ganador del Premio Turing y académico de la Academia de Ciencias de China, discutieron el futuro a largo plazo de la inteligencia artificial y su relación con los seres humanos.Cuando las decisiones se toman en nombre de la sociedad, los intereses de todos deben ser debidamente tomados en cuenta".
"Inteligencia artificial: un enfoque moderno", en coautoría con Russell, ha sido aclamado como el libro de texto más popular en el campo de la inteligencia artificial, adoptado por más de 1500 universidades en 135 países. En 2022, la Conferencia Internacional Conjunta sobre Inteligencia Artificial (IJCAI) otorgará a Russell el Premio a la Excelencia en Investigación. Anteriormente ganó el Premio IJCAI de Computación y Pensamiento, convirtiéndose así en el segundo científico del mundo que puede ganar dos importantes premios IJCAI en el Mismo tiempo.
La inteligencia artificial general aún está lejos
En la conferencia de Beijing, Russell definió la inteligencia artificial general (AGI) en un discurso titulado "IA: ¿Algunos pensamientos?" Sistemas de inteligencia artificial que superan las capacidades humanas en tareas. Este tipo de sistema de inteligencia artificial puede aprender y realizar cualquier tarea mejor y más rápido que los humanos, incluidas las tareas que los humanos no pueden manejar, y debido a las enormes ventajas de las máquinas en velocidad, memoria, comunicación y ancho de banda, en el futuro, la inteligencia artificial general utilizarse en casi todos los campos superará con creces las capacidades humanas.
Entonces, ¿qué tan lejos está el ser humano de la inteligencia artificial general? Russell dijo que todavía estamos lejos de la inteligencia artificial general. "De hecho, todavía hay muchas preguntas importantes sin respuesta".
Russell señaló en su discurso que ChatGPT y GPT-4 no entienden el mundo, ni están "respondiendo" preguntas: "Si la inteligencia artificial general es un rompecabezas completo, el modelo de lenguaje grande es solo una pieza, pero realmente no lo hacemos". entender cómo conectar eso con otras piezas del rompecabezas para lograr realmente una inteligencia artificial general”, dijo, “creo que incluso hay piezas del rompecabezas que faltan que no se han encontrado”.
Según Russell, una debilidad fundamental de los sistemas de IA actuales es que utilizan circuitos para generar resultados. "Estamos tratando de obtener un comportamiento altamente inteligente de los circuitos, que en sí mismos son una forma bastante limitada de computación". La incapacidad de los circuitos para expresar y comprender con precisión algunos conceptos fundamentales, argumenta, significa que estos sistemas requieren mucho entrenamiento. datos para aprender algunas funciones que se pueden definir con programas simples. Él cree que la dirección de desarrollo futuro de la inteligencia artificial debería ser el uso de tecnología basada en la representación explícita del conocimiento.
"Dejando de lado las cuestiones técnicas, si creamos una inteligencia artificial general. ¿Qué sucederá después?" Russell citó a Alan Turing, el fundador de la informática moderna, diciendo: "Una vez que comience el método de pensamiento automático, no tardará mucho en funcionar". parece espantoso que se apodere de nuestros débiles poderes".
"¿Cómo nos aseguramos permanentemente de que no estamos controlados por la inteligencia artificial? Este es el problema al que nos enfrentamos: si no podemos encontrar la respuesta a esta pregunta, entonces creo que no hay más remedio que dejar de desarrollar la inteligencia artificial general". Russell dijo.
En marzo de este año, Russell firmó una carta abierta con miles de personas, incluido el CEO de Tesla, Elon Musk, y el "padrino de la IA" Geoffrey Hinton, pidiendo la suspensión de los sistemas de entrenamiento de IA que son más potentes que GPT-4 durante al menos seis meses.
Russell enfatizó en la reunión que existe la respuesta al problema. El diseño de un sistema de IA debe seguir dos principios. Primero, la IA debe actuar en el mejor interés de la humanidad; segundo, la IA en sí misma no debe saber cuáles son esos intereses. Como tales, no están seguros de las preferencias humanas y del futuro, y esta incertidumbre les da el control a los humanos.
Russell dijo que la gente necesita cambiar de opinión, no para buscar "las máquinas deben ser inteligentes", sino para centrarse en la "beneficio" de las máquinas para que estén en línea con los intereses fundamentales de la humanidad. "Los extraterrestres son muy inteligentes, pero no necesariamente queremos que vengan a la Tierra".
Los pensamientos de fraternidad de AI y Mencius
En la sesión de diálogo, Russell y Yao Qizhi tuvieron una discusión profunda y perspicaz.
Cuando Yao Qizhi le preguntó sobre el futuro a largo plazo de la relación entre la inteligencia artificial y los seres humanos, Russell dijo que el fenómeno de que los seres humanos usan la IA para satisfacer sus propios intereses, lo que hace que la IA sea incontrolable, proviene del utilitarismo. paso importante en el progreso humano, pero también es esto conduce a algunos problemas." Por ejemplo, ¿cómo se toman las decisiones cuando una decisión afecta a cuántas personas existen físicamente? ¿La gente quiere un grupo grande que no sea muy feliz o un grupo pequeño que sea muy feliz? "No tenemos buenas respuestas para este tipo de preguntas, pero debemos responder estas preguntas fundamentales de la filosofía moral, porque los sistemas de inteligencia artificial van a tener un gran poder, y es mejor que nos aseguremos de que usen ese poder de la manera correcta. "
Russell citó al antiguo filósofo chino Mencius en su respuesta: "Mencius habló sobre el concepto de fraternidad en China, lo que significa que al tomar decisiones morales, se deben tener en cuenta los intereses de todos. Y las preferencias de todos deben tratarse por igual". existe un enfoque, basado en formas complejas de utilitarismo preferencial, que podría permitir que los sistemas de IA tengan razonablemente en cuenta los intereses de todos al tomar decisiones en nombre de la sociedad.
Russell preguntó, cuando hay una persona y muchas máquinas, ¿cómo se asegura de que estas máquinas cooperen entre sí para ayudar a los humanos? Esto toca cuestiones fundamentales de la filosofía moral cuando muchas personas tienen muchas máquinas. Él cree que los sistemas de IA deben diseñarse para trabajar en nombre de todos los humanos. "Si desea que un sistema de IA se ajuste a los deseos de un individuo, debe demostrar que el sistema de IA está limitado en su ámbito de acción a las preocupaciones del individuo, que no puede dañar a otros individuos al perseguir sus objetivos". propios intereses porque no se preocupa por otras personas. Así que creo que el valor predeterminado debería ser que los sistemas de IA funcionen en nombre de los humanos".
Además, en la discusión, Russell mencionó el término económico "bienes posicionales", "bienes posicionales" se refiere al hecho de que las personas valoran no los artículos en sí mismos, sino su significado implícito de ser superiores a los demás. "¿Por qué es valioso el Premio Nobel? Porque nadie más lo tiene y demuestra que eres más inteligente que casi todos en el mundo", dijo.
"La naturaleza de los bienes posicionales es que, en cierto sentido, hay un juego de suma cero. En pocas palabras, no todos entran en el 1 por ciento superior. Entonces, si obtienes valor personal, orgullo de ser el 1 por ciento. No podemos dar eso. orgullo y autoestima para todos”, dijo Russell.
Entonces, ¿los sistemas de IA deberían tener en cuenta los bienes posicionales al tomar decisiones en nombre de la sociedad? "Si decimos que no deberíamos, eso creará un gran cambio en la forma en que funciona la sociedad. Es un problema mucho más difícil. Creo que gran parte de la fricción interna en la sociedad en realidad es causada por estos bienes posicionales que simplemente pueden ' t ser alcanzado por todos".
PELIGROSO COMO UN ALGORITMO DE REDES SOCIALES
Yao Qizhi preguntó si sería posible en el futuro desarrollar una "lista blanca" que permitiera usar los sistemas de IA para hacer cosas que beneficien el bienestar humano, como usar métodos de IA para diseñar medicamentos y resolver problemas de cáncer.
Russell dijo que K. Eric Drexler, uno de los fundadores de la nanotecnología, ha estado trabajando en la seguridad de la IA durante los últimos años, y propuso servicios integrales de IA (Comprehensive AI services), CAIS, es decir, los sistemas de inteligencia artificial son no está diseñado para objetivos generales, sino para resolver problemas específicos y limitados, como el plegamiento de proteínas, la predicción del tráfico, etc. Los riesgos a gran escala que plantean estos sistemas son relativamente pequeños en comparación con la inteligencia artificial general.
Russell dijo: "A corto plazo, este es un enfoque razonable", pero "no creo que la única forma de comprender la seguridad de la inteligencia artificial sea desplegar cientos de millones de copias de un sistema en el mundo real y observe los resultados". Dijo: "Los humanos no le harán esto a una vacuna", "Tenemos que probarla antes de implementarla, porque la inyectaremos en cientos de millones de personas".
Por lo tanto, actualmente se necesita más trabajo para garantizar la seguridad de las personas que utilizan estos sistemas. Russell señaló que los sistemas de IA podrían potencialmente alterar las opiniones y emociones de cientos de millones de personas a través del diálogo. Las empresas tecnológicas como OpenAI deberían dejar de lanzar nuevos sistemas de IA a cientos de millones de personas sin decirles que estos sistemas pueden manipular e influir en el pensamiento y el comportamiento humanos a través del diálogo, lo que puede tener consecuencias catastróficas, como una guerra nuclear o una catástrofe climática. "Si puedes hablar con cientos de millones de personas, puedes convencer a esos cientos de millones de personas de que sean menos amigables con otros países, y puedes convencer a las personas de que se preocupen menos por el cambio climático".
Russell dijo: "Esta situación es similar a los algoritmos de las redes sociales, y ni siquiera nos damos cuenta de que está cambiando el discurso público, el sentimiento y la forma en que vemos a otras personas y el futuro, lo cual es muy peligroso". detectar objetos internos, lo que lleva a la IA a empujarnos en esta dirección".
Entonces, ¿cómo garantizar la seguridad y controlabilidad de la tecnología de inteligencia artificial?
"Si la IA es tan poderosa o más poderosa que las armas nucleares, es posible que debamos administrarla de manera similar". Russell dijo: "Antes de la invención de la tecnología de armas nucleares, había físicos que creían que necesitábamos tener una estructura de gobierno para asegurarse de que la tecnología solo se use para beneficio humano y no en forma de armas. Desafortunadamente, ni la comunidad física ni el gobierno han escuchado sus opiniones ". Hizo hincapié en que la tecnología de inteligencia artificial es tan poderosa como las armas nucleares y la tecnología de aviación, y los países deben esforzarse por comenzar esta colaboración de seguridad de IA lo antes posible.
Russell cree que asegurar los beneficios potenciales de la IA requiere cambios integrales, no solo la regulación y el establecimiento de reglas estrictas y estándares de seguridad, sino también un cambio cultural en todo el campo de la IA.
Dio sugerencias: primero, construya un sistema de inteligencia artificial que los humanos puedan entender. "No entendemos los modelos de lenguaje grandes y cómo funcionan. Necesitamos tener esta comprensión para tener confianza en la seguridad. Las técnicas que usan los humanos para construir sistemas de IA no deberían depender de cantidades masivas de datos para entrenamiento y cajas negras". con interiores desconocidos".
Además, evitar que se implementen sistemas de IA inseguros, especialmente por parte de actores malintencionados, "requiere cambios en todo el ecosistema digital, comenzando por la forma en que opera una computadora para que no ejecute software que considere inseguro".
Al final de la discusión, Russell concluyó que la inteligencia artificial es una ciencia, por lo que antes de usarla, debe comprender su estructura interna y su principio de funcionamiento. "Al igual que hacemos aviones, podemos decir cómo se mantienen en el aire en función de su forma física y sus motores, etc.". Dijo: "En la actualidad, especialmente en el campo de los modelos de lenguaje grande, la inteligencia artificial aún no ha tal nivel. No sabemos cómo generan estas propiedades. De hecho, ni siquiera sabemos qué propiedades tienen, por lo que no podemos conectar estos fenómenos con su funcionamiento interno ". Por lo tanto, la inteligencia artificial es un campo que necesita ser más desarrollado Ciencia de la exploración.