Este artículo es de Beijing por Zhang Xiaojun, autor de Tencent News "Periscope"
Fuente de la imagen: Generada por la herramienta de IA Unbounded
Hace medio mes, cientos de importantes figuras de la inteligencia artificial, incluido el CEO de OpenAI, Sam Altman, y el ganador del premio Turing, Geoffrey Hinton, firmaron una breve declaración sobre la amenaza de la IA a la extinción humana.
Esta declaración tiene solo una oración: "mitigar el riesgo de extinción de la inteligencia artificial debe convertirse en una prioridad mundial junto con otros riesgos a escala social, como las epidemias y la guerra nuclear".
David Krueger, profesor asistente de investigación de inteligencia artificial en la Universidad de Cambridge, fue uno de los iniciadores originales de la carta y también es uno de los firmantes.
El 9 de junio, Krueger mantuvo un diálogo en profundidad con "Periscope" de Tencent News mientras asistía a la Conferencia Zhiyuan de Beijing de 2023. Durante mucho tiempo ha estado preocupado por la alineación de la IA y los problemas de seguridad. Desde 2012, ha estado preocupado por el riesgo potencial de la inteligencia artificial para la extinción humana. La industria llama a esto "X-Risk" (un riesgo existencial).
En respuesta a los riesgos de la IA, una opinión responde que esta intensa preocupación puede ser similar al pánico excesivo de los humanos cuando apareció la máquina de vapor hace cientos de años. Pero Krueger dijo que la mayor diferencia entre los dos es que la máquina de vapor no extinguirá a los humanos, pero la IA sí.
Krueger cree que la IA es más inteligente que los humanos, la competencia desordenada y la construcción de sistemas de IA que tienen un impacto más directo en el mundo: estos tres factores aumentarán en gran medida el factor de riesgo de que los sistemas de IA se salgan de control. “Cuanto más abierto sea el sistema, más autónomo, más inteligente y más diseñado para lograr objetivos a largo plazo, mayor será el riesgo de que el sistema se salga de control”, dijo.
En su opinión, el tema de la seguridad de la inteligencia artificial es como el tema del cambio climático global. Todas las partes tienen sus propios intereses y habrá muchos conflictos y diferencias, lo que eventualmente lo convierte en un tema complejo de coordinación global. Por lo tanto, es necesario comenzar lo antes posible y con el esfuerzo de todas las partes, para que los seres humanos no se vean reducidos al destino de ser tomados por la IA.
Sólo de esta manera los seres humanos pueden sobrevivir.
david krueger
Lo siguiente es la esencia de la charla de David Krueger.
01 La carta conjunta "Declaración de riesgo de AI" es solo una oración, está cuidadosamente diseñada
**Tencent News "Periscope": usted es uno de los firmantes de la "Declaración sobre el riesgo de la IA". ¿Puede decirnos cómo surgió esta declaración? **
David Krueger: Se me ocurrió esta idea hace más de un año, porque la gente está cada vez más preocupada por los riesgos de la IA, especialmente el riesgo de que la IA pueda causar la extinción humana. Al mismo tiempo, muchas personas no están discutiendo este tema abiertamente.
Una gran razón es la historia, donde la idea alguna vez se consideró una idea marginal y la gente temía que discutirla públicamente los afectaría negativamente, o incluso sus perspectivas de carrera.
Hace unos meses llegó un buen momento. Desde el lanzamiento de ChatGPT y GPT-4, la atención de las personas hacia la IA ha alcanzado niveles sin precedentes. Durante mucho tiempo, se reconoció que esto podría ser un problema futuro hipotético, pero es demasiado pronto para saberlo.
En cuanto a cómo surgió esta declaración, contacté a varios colegas, incluido Dan Hendrycks, director del Centro para la Seguridad de la Inteligencia Artificial. Le dije que deberíamos hacer tal declaración, y tengo la intención de hacerlo lo antes posible. Pero no estoy seguro de ser lo suficientemente bueno para hacerlo. Es urgente. Entonces, Dan tomó el tema y presionó para el anuncio.
**Tencent News "Periscope": ¿Qué comentarios tiene sobre la redacción de esta carta? **
David Krueger: Propongo usar solo una oración. Hay varias razones.
En primer lugar, cuando tiene una declaración larga, es muy probable que alguien no esté de acuerdo con algo de ella.
Vimos hace unos meses que el Future of Life Institute emitió un llamado para una moratoria inmediata en todos los laboratorios de IA que entrenan sistemas de IA más potentes que GPT-4 durante al menos 6 meses. La reacción de mucha gente a esto es que suena genial, pero no creo que podamos detener el desarrollo de la inteligencia artificial.
Por supuesto que hicieron esa declaración y sigue siendo válida porque una vez que la gente dice que no podemos hacer una pausa, es una señal de que debemos actuar. Realmente necesitamos la capacidad de suspender una tecnología que es demasiado peligrosa para ser desarrollada.
Uso este ejemplo para ilustrar que cuanto más hablas, más personas están en desacuerdo. En este caso, no mencionamos cómo lidiar con este riesgo, porque las personas tienen diferentes opiniones sobre el método correcto; tampoco dijimos por qué podría conducir a la extinción humana, porque diferentes personas tienen opiniones diferentes sobre esto, algunos la gente está más preocupada por la tecnología mal utilizada, otros están más preocupados por la tecnología que se sale de control, que no es el resultado intencional de un actor malicioso.
De cualquier manera, mientras mucha gente esté de acuerdo en que esto es un gran riesgo y que debemos actuar, entonces está bien.
02El riesgo de la IA es fundamentalmente diferente al de la máquina de vapor
**Tencent News "Periscope": ¿Cuál es la mayor diferencia entre las preocupaciones de la gente sobre la amenaza de la inteligencia artificial y el miedo de la gente a las máquinas de vapor hace doscientos o trescientos años? **
David Krueger: No sé mucho sobre esa historia. No estoy seguro si alguien dijo que conduciría a la extinción de la humanidad en ese momento. Si alguien hubiera dicho eso, tampoco estoy seguro de qué tipo de argumentos usaría, me parece poco probable.
La diferencia clave es que estamos hablando de extinción. Estamos hablando de una tecnología que es potencialmente más inteligente y poderosa que los humanos en todas las capacidades relevantes.
La máquina de vapor nos permite crear fuerzas físicas más fuertes y rápidas que los humanos. Pero la máquina de vapor no es inteligente y relativamente fácil de controlar. Incluso si uno se sale de control, el peor de los casos es que funcione mal y los que estén en él podrían morir o resultar heridos. Pero si un sistema inteligente o un sistema autorreplicante se sale de control, mucha gente puede morir porque puede crecer y ganar más poder, y esa es la diferencia clave.
**Tencent News "Periscope": algunas personas piensan que las declaraciones públicas solo pueden detener a las buenas personas, tratando de hacer que las buenas personas presten más atención a los problemas de seguridad y ralenticen la velocidad de la investigación y el desarrollo, pero no pueden detener las acciones de las malas personas. . ¿Cómo prevenimos a los malos? **
David Krueger: Regulación del comportamiento a través de la regulación y la cooperación internacional.
Realmente no me gusta hablar de eso en términos de "chicos buenos" y "chicos malos" porque todos siempre piensan que son buenos. El principal riesgo que me preocupa no es la manipulación maliciosa de los sistemas de IA por parte de algún tipo malo o actor malintencionado, sino algo como el cambio climático: las personas pueden ganar más quemando más combustibles fósiles o creando sistemas más potentes que son más difíciles de controlar. beneficios, pero cada uno tiene un costo. En el caso del cambio climático, este puede causar daños al medio ambiente. En el caso de la inteligencia artificial, el riesgo es que el sistema se salga de control y conduzca a una catástrofe.
Esta es más una pregunta de motivación. De hecho, los humanos se preocupan más por sí mismos, sus amigos, sus seres queridos y su comunidad que por algún extraño del otro lado del mundo. Por lo tanto, no se requieren intenciones maliciosas, solo instintos egoístas. Por eso es necesaria la regulación, es la forma de resolver este tipo de problemas de interés humano común.
03El trabajo de alineación de IA tiene muchos misterios sin resolver
**Tencent News "Periscope": Sus intereses de investigación son el aprendizaje profundo, la alineación de IA y la seguridad. ¿Puede explicar qué es la alineación en un lenguaje que la gente común pueda entender? Dijiste que "la alineación será uno de los impulsores clave del desarrollo de la IA", ¿por qué es tan importante? **
David Krueger: Me gusta decir que la gente tiene tres interpretaciones diferentes de esto. Una es hacer que los sistemas de IA actúen según nuestra voluntad. Pero no creo que esa sea una buena definición, es demasiado amplia y cada ingeniero está tratando de hacer que el sistema de IA se comporte como quiere.
También hay una definición más específica, que es "alineación por intención". En mi opinión, esta es la definición correcta y se refiere a hacer que el sistema intente hacer lo que queremos que haga. Al diseñar un sistema, desea que tenga las intenciones, motivaciones y objetivos correctos. Es posible que aún no pueda actuar como usted desea, porque es posible que no sea lo suficientemente capaz o inteligente para saber cómo llevar a cabo sus deseos. Pero si tiene la intención correcta, puedes decir que está alineado.
El significado final que la gente tiene para la alineación es cualquier esfuerzo tecnológico para reducir el riesgo de extinción humana. A veces, también se refiere a la comunidad de personas como yo que se especializan en el campo de la alineación y la seguridad. Esa tampoco es mi definición preferida. Esta es solo una idea que la gente tiene de cómo resolver este problema. Sin embargo, en última instancia, se necesita más trabajo en gobernanza, regulación y cooperación internacional, como la celebración de tratados, que es necesario para mitigar este riesgo.
**Tencent News "Periscope": ¿Qué nuevos avances han logrado recientemente las empresas de tecnología y las instituciones de investigación científica en tecnología de alineación? ¿Cuáles son los desafíos y problemas más apremiantes que enfrenta? **
David Krueger: Lo más importante son las técnicas de ajuste fino para modelos de lenguaje grandes, han trabajado mucho para cambiar el comportamiento del modelo. Por ejemplo, la diferencia entre GPT-3 y GPT-4 es que el sistema está alineado para actuar más de acuerdo con la intención del diseñador. Principalmente a través del aprendizaje por refuerzo y la retroalimentación humana, aunque los detalles no son públicos. Esto funcionó en su mayor parte, pero no eliminó por completo los problemas con estos modelos.
Me preocupa que esta técnica no sea suficiente para sistemas más robustos, ya que los cambios que realiza en el comportamiento pueden ser relativamente superficiales. Este problema puede volverse más serio a medida que el sistema se vuelve más poderoso.
Es como la analogía del entrenamiento de animales, como si entrenaras a un perro para que no se suba a los muebles. Tal vez hace esto muy bien cuando estás allí, pero si sales de la habitación, todavía recoge los muebles. Situaciones similares pueden ocurrir en estos modelos. Pueden parecer alineados, pero aun así pueden comportarse mal si creen que no notaremos su mal comportamiento.
**Tencent News "Periscope": cuando la inteligencia de la IA es mucho más inteligente que los humanos, ¿cómo pueden los humanos completar el trabajo de alineación en un cuerpo superinteligente? **
David Krueger: Esta es una pregunta de investigación abierta. Por lo tanto, es importante realizar investigaciones sobre la alineación de la IA para encontrar la respuesta a esta pregunta.
**Tencent News "Periscope": ¿Cómo podemos hacer que la IA ame a los seres humanos en lugar de dañarlos a través de la alineación? **
David Krueger: Esta es la misma pregunta que la anterior. Desearía tener una respuesta, pero aún no la sé.
04 Estos tres incentivos principales pueden aumentar el riesgo de que la IA esté fuera de control
**Tencent News "Periscope": en su opinión, ¿en qué momento de la historia de la IA se encuentra este momento? **
David Krueger: Hemos llegado a un punto en el que el mundo se está dando cuenta de los riesgos. He estado esperando este momento durante mucho tiempo.
**Tencent News "Periscope": desde que escuchó el curso de aprendizaje profundo impartido por Geoffrey Hinton hace diez años, ha estado preocupado de que la IA pueda conducir a la extinción de los seres humanos. ¿Por qué empezaste a preocuparte en una etapa tan temprana? **
David Krueger: En principio, me preocupaba que esto sucediera en algún momento porque algún día sería más inteligente que los humanos, pero cuando vi la clase de Hinton, mis preocupaciones cambiaron. El aprendizaje profundo tiene el potencial de producir inteligencia real más que cualquier otro método que haya escuchado antes.
**Tencent News "Periscope": ¿En qué circunstancias se descontrolará el sistema de inteligencia artificial? **
David Krueger: Primero, si son más inteligentes que nosotros, empiezas a preocuparte cuando se descontrolan en los detalles, pero es difícil predecir exactamente cómo sucederá eso.
Un segundo factor que aumenta el riesgo es que existe mucha competencia para desarrollar e implementar potentes sistemas de IA lo más rápido posible. Actualmente vemos que existe esta competencia entre Google y Microsoft. También hay preocupaciones sobre la competencia internacional, que podría ser económica, podría ser geopolítica, incluso podría ser militar.
El tercer factor es si está construyendo sistemas de IA que tengan un impacto más inmediato en el mundo. Los sistemas que vemos hasta ahora son solo modelos de lenguaje, solo generan texto. Pero también hay muchas personas que buscan combinarlos con otros sistemas, como usarlos para escribir código, usarlos para controlar diferentes cosas, ya sea en línea o usarlos para controlar cosas en el mundo real. Dar a estos sistemas más control y autonomía aumenta el riesgo.
Comparando eso con los sistemas que tenemos hoy, que en su mayoría solo están capacitados para predecir texto, esta es una forma relativamente segura de construir sistemas, en comparación con pedirle al sistema que logre un objetivo en un entorno determinado, especialmente en comparación con el sistema en y Este es más seguro que lograr metas en un ambiente donde el mundo real, el mundo físico, interactúa frecuentemente. Cuando los sistemas intentan alcanzar objetivos en el mundo real, naturalmente pueden intentar adquirir más recursos y poder, porque estos son útiles para lograr objetivos a largo plazo.
Por lo tanto, cuanto más abierto, autónomo e inteligente sea un sistema, y cuanto más esté diseñado para lograr objetivos a largo plazo, mayor será el riesgo de que el sistema se salga de control.
**Tencent News "Periscope": si cree que se debe formular un marco para la colaboración global para garantizar que los países sigan principios y estándares comunes en el desarrollo de IA, ¿cuáles deberían ser estos principios y estándares específicos? **
David Krueger: Necesitamos absolutamente hacer esto, y debemos comenzar a hacerlo con urgencia. Porque será difícil y requerirá muchas discusiones y negociaciones porque hay muchos conflictos y diferencias entre diferentes países.
En cuanto a los detalles, eso es algo en lo que todavía estoy pensando. Queremos asegurarnos de tener algún órgano de gobierno o sistema de gobierno muy legítimo que pueda impulsar una moratoria si en algún momento en el futuro sentimos la necesidad de hacerlo. Esta es una parte importante de esto.
Las cosas se complican más cuando se trata de los sistemas que estamos desarrollando e implementando. Nos gustaría tener algunos mecanismos de prueba, evaluación y auditoría. Es posible que también debamos considerar algún tipo de licencia, pero hay muchos detalles que resolver. En este momento, no tengo un escenario completo en mi cabeza. Es por eso que espero que podamos inspirar a más personas en la formulación de políticas, con experiencia en políticas y relaciones internacionales, para que piensen al respecto.
**Tencent News "Periscope": en el sistema de inteligencia artificial actual, ¿qué aspectos deben mejorarse lo antes posible para hacer frente a los riesgos y amenazas potenciales? **
David Krueger: Uno es la robustez (Nota: la robustez se refiere a la capacidad del sistema para sobrevivir en situaciones anormales y peligrosas). Nuestros sistemas actuales tienen problemas significativos con la robustez, sobre todo el problema de la robustez contradictoria, donde pequeños cambios en una entrada, incluso imperceptibles para los humanos, pueden tener un gran impacto en el comportamiento del sistema. Este problema ha sido un problema conocido durante unos 10 años, pero todavía parece no tener solución. Esto es muy problemático si consideramos sistemas que persiguen algún objetivo y tratamos de optimizar su comprensión de ese objetivo. Porque dependiendo de su comprensión del objetivo, el resultado óptimo puede ser muy diferente de lo que imaginamos o pretendemos. Y las evaluaciones que estamos haciendo en este momento son difíciles de detectar.
Otro es nuestra falta de comprensión de cómo funcionan estos sistemas. Realmente queremos poder entender cómo funcionan estos sistemas, es una de las mejores formas en que podemos predecir su comportamiento. Queremos asegurarnos de que no se comporten de manera inesperada y peligrosa en situaciones nuevas. Esto está relacionado con el problema de la robustez.
**05 ¿Está muy lejos la extinción humana? **
**Tencent News "Periscope": Mirándolo ahora, ¿los seres humanos están lejos de la extinción? ¿Cuántos años se espera que sea? **
David Krueger: Jeffrey Hinton sigue diciendo que nos llevará 20 años o menos obtener inteligencia artificial general (AGI), que es un período de tiempo razonable. Esto es bastante similar a mi punto de vista.
Creo que los humanos podrían extinguirse poco después de eso, pero podría tomar más tiempo, y supongo que eso es lo que estoy tratando de enfatizar, incluso si faltan décadas, debemos comenzar a abordarlo lo antes posible.
Volviendo de nuevo a la analogía del cambio climático. Nos tomó décadas comenzar a tomar medidas efectivas, y todavía no se está haciendo lo suficiente para prevenir las terribles consecuencias del cambio climático. Esto se debe a que es un problema complejo de coordinación global. La inteligencia artificial se enfrentará a una situación similar. Deberíamos empezar lo antes posible.
**Tencent News "Periscope": ¿Puede un modelo de lenguaje grande traer AGI? **
David Krueger: Mucha gente se está haciendo esta pregunta en este momento. Mi punto es más complicado. Diría que es posible, pero lo más probable es que deba combinarse con otras tecnologías, y tal vez incluso sea necesario desarrollar alguna tecnología nueva.
**Tencent News "Periscope": ¿Cómo ve la relación entre los humanos y la inteligencia artificial? ¿Serán los humanos una transición inteligente? **
David Krueger: Solo el tiempo lo dirá. Espero que no. Pero ahora, esta es una pregunta en la que todavía tenemos cierta iniciativa y capacidad para guiar y decidir cómo se desarrollará el futuro. Si podemos actuar de manera inteligente y coordinada, si tenemos suerte, depende de nosotros como humanos decidir si la IA se hará cargo en algún momento.
**Tencent News "Periscope": Hinton tiene un punto de vista muy interesante. Él dijo: "Las orugas extraerán nutrientes y luego se transformarán en mariposas. La gente ha extraído miles de millones de nutrientes cognitivos. GPT-4 es la mariposa humana". ¿Estás de acuerdo con este punto de vista? **
David Krueger: Muy poético, y no creo que sea del todo exacto, pero tal vez da con una verdad esencial de que un sistema de IA no necesariamente necesita aprender todo de la manera difícil desde cero. Los humanos necesitan pasar por una larga evolución para alcanzar el nivel de inteligencia humana, pero ahora los humanos han producido todos estos productos culturales, incluidos todos los textos en Internet, lo cual es muy inspirador para los sistemas de IA. Como tal, no necesariamente necesitan pasar por toda su evolución nuevamente para lograr un nivel similar de inteligencia.
**Tencent News "Periscope": ¿Es esta su primera vez en China? ¿Cuál es su impresión de venir a China? ¿Tiene alguna sugerencia para el desarrollo de inteligencia artificial y modelos a gran escala en China? **
David Krueger: Esta es mi primera vez en China. Acabo de llegar ayer por la mañana. Toda la visita fue conocer y hablar con la gente, la gente era amable y tuve una buena experiencia aquí. Pero no siento que realmente haya experimentado China. Solo me estoy reuniendo con investigadores, desafortunadamente será un viaje corto para mí, pero espero tener al menos una buena vista de Beijing en mi último día antes de partir.
(Consejo para China) Creo que es importante pensar y comprender la seguridad y la alineación. De las conversaciones que he tenido, está claro que la gente ya está trabajando en esto, al menos hasta cierto punto.
**Tencent News "Periscope": muchas escenas de la película "Her" han aparecido gradualmente en nuestro mundo real. ¿Los humanos tienen emociones para la inteligencia artificial? ¿Sientes un apego emocional al modelo de IA que desarrollas? **
David Krueger: No tengo uno, pero que yo sepa, algunas personas sí.
Existen chatbots de novia de inteligencia artificial similares, y alguien se ha vuelto emocionalmente dependiente de la relación. Esta es una triste consecuencia de esta tecnología.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Diálogo con el iniciador de la "Declaración de riesgo de la IA": ¡Las máquinas de vapor no extinguirán a los humanos, pero la IA sí!
Este artículo es de Beijing por Zhang Xiaojun, autor de Tencent News "Periscope"
Hace medio mes, cientos de importantes figuras de la inteligencia artificial, incluido el CEO de OpenAI, Sam Altman, y el ganador del premio Turing, Geoffrey Hinton, firmaron una breve declaración sobre la amenaza de la IA a la extinción humana.
Esta declaración tiene solo una oración: "mitigar el riesgo de extinción de la inteligencia artificial debe convertirse en una prioridad mundial junto con otros riesgos a escala social, como las epidemias y la guerra nuclear".
David Krueger, profesor asistente de investigación de inteligencia artificial en la Universidad de Cambridge, fue uno de los iniciadores originales de la carta y también es uno de los firmantes.
El 9 de junio, Krueger mantuvo un diálogo en profundidad con "Periscope" de Tencent News mientras asistía a la Conferencia Zhiyuan de Beijing de 2023. Durante mucho tiempo ha estado preocupado por la alineación de la IA y los problemas de seguridad. Desde 2012, ha estado preocupado por el riesgo potencial de la inteligencia artificial para la extinción humana. La industria llama a esto "X-Risk" (un riesgo existencial).
En respuesta a los riesgos de la IA, una opinión responde que esta intensa preocupación puede ser similar al pánico excesivo de los humanos cuando apareció la máquina de vapor hace cientos de años. Pero Krueger dijo que la mayor diferencia entre los dos es que la máquina de vapor no extinguirá a los humanos, pero la IA sí.
Krueger cree que la IA es más inteligente que los humanos, la competencia desordenada y la construcción de sistemas de IA que tienen un impacto más directo en el mundo: estos tres factores aumentarán en gran medida el factor de riesgo de que los sistemas de IA se salgan de control. “Cuanto más abierto sea el sistema, más autónomo, más inteligente y más diseñado para lograr objetivos a largo plazo, mayor será el riesgo de que el sistema se salga de control”, dijo.
En su opinión, el tema de la seguridad de la inteligencia artificial es como el tema del cambio climático global. Todas las partes tienen sus propios intereses y habrá muchos conflictos y diferencias, lo que eventualmente lo convierte en un tema complejo de coordinación global. Por lo tanto, es necesario comenzar lo antes posible y con el esfuerzo de todas las partes, para que los seres humanos no se vean reducidos al destino de ser tomados por la IA.
Sólo de esta manera los seres humanos pueden sobrevivir.
Lo siguiente es la esencia de la charla de David Krueger.
01 La carta conjunta "Declaración de riesgo de AI" es solo una oración, está cuidadosamente diseñada
**Tencent News "Periscope": usted es uno de los firmantes de la "Declaración sobre el riesgo de la IA". ¿Puede decirnos cómo surgió esta declaración? **
David Krueger: Se me ocurrió esta idea hace más de un año, porque la gente está cada vez más preocupada por los riesgos de la IA, especialmente el riesgo de que la IA pueda causar la extinción humana. Al mismo tiempo, muchas personas no están discutiendo este tema abiertamente.
Una gran razón es la historia, donde la idea alguna vez se consideró una idea marginal y la gente temía que discutirla públicamente los afectaría negativamente, o incluso sus perspectivas de carrera.
Hace unos meses llegó un buen momento. Desde el lanzamiento de ChatGPT y GPT-4, la atención de las personas hacia la IA ha alcanzado niveles sin precedentes. Durante mucho tiempo, se reconoció que esto podría ser un problema futuro hipotético, pero es demasiado pronto para saberlo.
En cuanto a cómo surgió esta declaración, contacté a varios colegas, incluido Dan Hendrycks, director del Centro para la Seguridad de la Inteligencia Artificial. Le dije que deberíamos hacer tal declaración, y tengo la intención de hacerlo lo antes posible. Pero no estoy seguro de ser lo suficientemente bueno para hacerlo. Es urgente. Entonces, Dan tomó el tema y presionó para el anuncio.
**Tencent News "Periscope": ¿Qué comentarios tiene sobre la redacción de esta carta? **
David Krueger: Propongo usar solo una oración. Hay varias razones.
En primer lugar, cuando tiene una declaración larga, es muy probable que alguien no esté de acuerdo con algo de ella.
Vimos hace unos meses que el Future of Life Institute emitió un llamado para una moratoria inmediata en todos los laboratorios de IA que entrenan sistemas de IA más potentes que GPT-4 durante al menos 6 meses. La reacción de mucha gente a esto es que suena genial, pero no creo que podamos detener el desarrollo de la inteligencia artificial.
Por supuesto que hicieron esa declaración y sigue siendo válida porque una vez que la gente dice que no podemos hacer una pausa, es una señal de que debemos actuar. Realmente necesitamos la capacidad de suspender una tecnología que es demasiado peligrosa para ser desarrollada.
Uso este ejemplo para ilustrar que cuanto más hablas, más personas están en desacuerdo. En este caso, no mencionamos cómo lidiar con este riesgo, porque las personas tienen diferentes opiniones sobre el método correcto; tampoco dijimos por qué podría conducir a la extinción humana, porque diferentes personas tienen opiniones diferentes sobre esto, algunos la gente está más preocupada por la tecnología mal utilizada, otros están más preocupados por la tecnología que se sale de control, que no es el resultado intencional de un actor malicioso.
De cualquier manera, mientras mucha gente esté de acuerdo en que esto es un gran riesgo y que debemos actuar, entonces está bien.
02El riesgo de la IA es fundamentalmente diferente al de la máquina de vapor
**Tencent News "Periscope": ¿Cuál es la mayor diferencia entre las preocupaciones de la gente sobre la amenaza de la inteligencia artificial y el miedo de la gente a las máquinas de vapor hace doscientos o trescientos años? **
David Krueger: No sé mucho sobre esa historia. No estoy seguro si alguien dijo que conduciría a la extinción de la humanidad en ese momento. Si alguien hubiera dicho eso, tampoco estoy seguro de qué tipo de argumentos usaría, me parece poco probable.
La diferencia clave es que estamos hablando de extinción. Estamos hablando de una tecnología que es potencialmente más inteligente y poderosa que los humanos en todas las capacidades relevantes.
La máquina de vapor nos permite crear fuerzas físicas más fuertes y rápidas que los humanos. Pero la máquina de vapor no es inteligente y relativamente fácil de controlar. Incluso si uno se sale de control, el peor de los casos es que funcione mal y los que estén en él podrían morir o resultar heridos. Pero si un sistema inteligente o un sistema autorreplicante se sale de control, mucha gente puede morir porque puede crecer y ganar más poder, y esa es la diferencia clave.
**Tencent News "Periscope": algunas personas piensan que las declaraciones públicas solo pueden detener a las buenas personas, tratando de hacer que las buenas personas presten más atención a los problemas de seguridad y ralenticen la velocidad de la investigación y el desarrollo, pero no pueden detener las acciones de las malas personas. . ¿Cómo prevenimos a los malos? **
David Krueger: Regulación del comportamiento a través de la regulación y la cooperación internacional.
Realmente no me gusta hablar de eso en términos de "chicos buenos" y "chicos malos" porque todos siempre piensan que son buenos. El principal riesgo que me preocupa no es la manipulación maliciosa de los sistemas de IA por parte de algún tipo malo o actor malintencionado, sino algo como el cambio climático: las personas pueden ganar más quemando más combustibles fósiles o creando sistemas más potentes que son más difíciles de controlar. beneficios, pero cada uno tiene un costo. En el caso del cambio climático, este puede causar daños al medio ambiente. En el caso de la inteligencia artificial, el riesgo es que el sistema se salga de control y conduzca a una catástrofe.
Esta es más una pregunta de motivación. De hecho, los humanos se preocupan más por sí mismos, sus amigos, sus seres queridos y su comunidad que por algún extraño del otro lado del mundo. Por lo tanto, no se requieren intenciones maliciosas, solo instintos egoístas. Por eso es necesaria la regulación, es la forma de resolver este tipo de problemas de interés humano común.
03El trabajo de alineación de IA tiene muchos misterios sin resolver
**Tencent News "Periscope": Sus intereses de investigación son el aprendizaje profundo, la alineación de IA y la seguridad. ¿Puede explicar qué es la alineación en un lenguaje que la gente común pueda entender? Dijiste que "la alineación será uno de los impulsores clave del desarrollo de la IA", ¿por qué es tan importante? **
David Krueger: Me gusta decir que la gente tiene tres interpretaciones diferentes de esto. Una es hacer que los sistemas de IA actúen según nuestra voluntad. Pero no creo que esa sea una buena definición, es demasiado amplia y cada ingeniero está tratando de hacer que el sistema de IA se comporte como quiere.
También hay una definición más específica, que es "alineación por intención". En mi opinión, esta es la definición correcta y se refiere a hacer que el sistema intente hacer lo que queremos que haga. Al diseñar un sistema, desea que tenga las intenciones, motivaciones y objetivos correctos. Es posible que aún no pueda actuar como usted desea, porque es posible que no sea lo suficientemente capaz o inteligente para saber cómo llevar a cabo sus deseos. Pero si tiene la intención correcta, puedes decir que está alineado.
El significado final que la gente tiene para la alineación es cualquier esfuerzo tecnológico para reducir el riesgo de extinción humana. A veces, también se refiere a la comunidad de personas como yo que se especializan en el campo de la alineación y la seguridad. Esa tampoco es mi definición preferida. Esta es solo una idea que la gente tiene de cómo resolver este problema. Sin embargo, en última instancia, se necesita más trabajo en gobernanza, regulación y cooperación internacional, como la celebración de tratados, que es necesario para mitigar este riesgo.
**Tencent News "Periscope": ¿Qué nuevos avances han logrado recientemente las empresas de tecnología y las instituciones de investigación científica en tecnología de alineación? ¿Cuáles son los desafíos y problemas más apremiantes que enfrenta? **
David Krueger: Lo más importante son las técnicas de ajuste fino para modelos de lenguaje grandes, han trabajado mucho para cambiar el comportamiento del modelo. Por ejemplo, la diferencia entre GPT-3 y GPT-4 es que el sistema está alineado para actuar más de acuerdo con la intención del diseñador. Principalmente a través del aprendizaje por refuerzo y la retroalimentación humana, aunque los detalles no son públicos. Esto funcionó en su mayor parte, pero no eliminó por completo los problemas con estos modelos.
Me preocupa que esta técnica no sea suficiente para sistemas más robustos, ya que los cambios que realiza en el comportamiento pueden ser relativamente superficiales. Este problema puede volverse más serio a medida que el sistema se vuelve más poderoso.
Es como la analogía del entrenamiento de animales, como si entrenaras a un perro para que no se suba a los muebles. Tal vez hace esto muy bien cuando estás allí, pero si sales de la habitación, todavía recoge los muebles. Situaciones similares pueden ocurrir en estos modelos. Pueden parecer alineados, pero aun así pueden comportarse mal si creen que no notaremos su mal comportamiento.
**Tencent News "Periscope": cuando la inteligencia de la IA es mucho más inteligente que los humanos, ¿cómo pueden los humanos completar el trabajo de alineación en un cuerpo superinteligente? **
David Krueger: Esta es una pregunta de investigación abierta. Por lo tanto, es importante realizar investigaciones sobre la alineación de la IA para encontrar la respuesta a esta pregunta.
**Tencent News "Periscope": ¿Cómo podemos hacer que la IA ame a los seres humanos en lugar de dañarlos a través de la alineación? **
David Krueger: Esta es la misma pregunta que la anterior. Desearía tener una respuesta, pero aún no la sé.
04 Estos tres incentivos principales pueden aumentar el riesgo de que la IA esté fuera de control
**Tencent News "Periscope": en su opinión, ¿en qué momento de la historia de la IA se encuentra este momento? **
David Krueger: Hemos llegado a un punto en el que el mundo se está dando cuenta de los riesgos. He estado esperando este momento durante mucho tiempo.
**Tencent News "Periscope": desde que escuchó el curso de aprendizaje profundo impartido por Geoffrey Hinton hace diez años, ha estado preocupado de que la IA pueda conducir a la extinción de los seres humanos. ¿Por qué empezaste a preocuparte en una etapa tan temprana? **
David Krueger: En principio, me preocupaba que esto sucediera en algún momento porque algún día sería más inteligente que los humanos, pero cuando vi la clase de Hinton, mis preocupaciones cambiaron. El aprendizaje profundo tiene el potencial de producir inteligencia real más que cualquier otro método que haya escuchado antes.
**Tencent News "Periscope": ¿En qué circunstancias se descontrolará el sistema de inteligencia artificial? **
David Krueger: Primero, si son más inteligentes que nosotros, empiezas a preocuparte cuando se descontrolan en los detalles, pero es difícil predecir exactamente cómo sucederá eso.
Un segundo factor que aumenta el riesgo es que existe mucha competencia para desarrollar e implementar potentes sistemas de IA lo más rápido posible. Actualmente vemos que existe esta competencia entre Google y Microsoft. También hay preocupaciones sobre la competencia internacional, que podría ser económica, podría ser geopolítica, incluso podría ser militar.
El tercer factor es si está construyendo sistemas de IA que tengan un impacto más inmediato en el mundo. Los sistemas que vemos hasta ahora son solo modelos de lenguaje, solo generan texto. Pero también hay muchas personas que buscan combinarlos con otros sistemas, como usarlos para escribir código, usarlos para controlar diferentes cosas, ya sea en línea o usarlos para controlar cosas en el mundo real. Dar a estos sistemas más control y autonomía aumenta el riesgo.
Comparando eso con los sistemas que tenemos hoy, que en su mayoría solo están capacitados para predecir texto, esta es una forma relativamente segura de construir sistemas, en comparación con pedirle al sistema que logre un objetivo en un entorno determinado, especialmente en comparación con el sistema en y Este es más seguro que lograr metas en un ambiente donde el mundo real, el mundo físico, interactúa frecuentemente. Cuando los sistemas intentan alcanzar objetivos en el mundo real, naturalmente pueden intentar adquirir más recursos y poder, porque estos son útiles para lograr objetivos a largo plazo.
Por lo tanto, cuanto más abierto, autónomo e inteligente sea un sistema, y cuanto más esté diseñado para lograr objetivos a largo plazo, mayor será el riesgo de que el sistema se salga de control.
**Tencent News "Periscope": si cree que se debe formular un marco para la colaboración global para garantizar que los países sigan principios y estándares comunes en el desarrollo de IA, ¿cuáles deberían ser estos principios y estándares específicos? **
David Krueger: Necesitamos absolutamente hacer esto, y debemos comenzar a hacerlo con urgencia. Porque será difícil y requerirá muchas discusiones y negociaciones porque hay muchos conflictos y diferencias entre diferentes países.
En cuanto a los detalles, eso es algo en lo que todavía estoy pensando. Queremos asegurarnos de tener algún órgano de gobierno o sistema de gobierno muy legítimo que pueda impulsar una moratoria si en algún momento en el futuro sentimos la necesidad de hacerlo. Esta es una parte importante de esto.
Las cosas se complican más cuando se trata de los sistemas que estamos desarrollando e implementando. Nos gustaría tener algunos mecanismos de prueba, evaluación y auditoría. Es posible que también debamos considerar algún tipo de licencia, pero hay muchos detalles que resolver. En este momento, no tengo un escenario completo en mi cabeza. Es por eso que espero que podamos inspirar a más personas en la formulación de políticas, con experiencia en políticas y relaciones internacionales, para que piensen al respecto.
**Tencent News "Periscope": en el sistema de inteligencia artificial actual, ¿qué aspectos deben mejorarse lo antes posible para hacer frente a los riesgos y amenazas potenciales? **
David Krueger: Uno es la robustez (Nota: la robustez se refiere a la capacidad del sistema para sobrevivir en situaciones anormales y peligrosas). Nuestros sistemas actuales tienen problemas significativos con la robustez, sobre todo el problema de la robustez contradictoria, donde pequeños cambios en una entrada, incluso imperceptibles para los humanos, pueden tener un gran impacto en el comportamiento del sistema. Este problema ha sido un problema conocido durante unos 10 años, pero todavía parece no tener solución. Esto es muy problemático si consideramos sistemas que persiguen algún objetivo y tratamos de optimizar su comprensión de ese objetivo. Porque dependiendo de su comprensión del objetivo, el resultado óptimo puede ser muy diferente de lo que imaginamos o pretendemos. Y las evaluaciones que estamos haciendo en este momento son difíciles de detectar.
Otro es nuestra falta de comprensión de cómo funcionan estos sistemas. Realmente queremos poder entender cómo funcionan estos sistemas, es una de las mejores formas en que podemos predecir su comportamiento. Queremos asegurarnos de que no se comporten de manera inesperada y peligrosa en situaciones nuevas. Esto está relacionado con el problema de la robustez.
**05 ¿Está muy lejos la extinción humana? **
**Tencent News "Periscope": Mirándolo ahora, ¿los seres humanos están lejos de la extinción? ¿Cuántos años se espera que sea? **
David Krueger: Jeffrey Hinton sigue diciendo que nos llevará 20 años o menos obtener inteligencia artificial general (AGI), que es un período de tiempo razonable. Esto es bastante similar a mi punto de vista.
Creo que los humanos podrían extinguirse poco después de eso, pero podría tomar más tiempo, y supongo que eso es lo que estoy tratando de enfatizar, incluso si faltan décadas, debemos comenzar a abordarlo lo antes posible.
Volviendo de nuevo a la analogía del cambio climático. Nos tomó décadas comenzar a tomar medidas efectivas, y todavía no se está haciendo lo suficiente para prevenir las terribles consecuencias del cambio climático. Esto se debe a que es un problema complejo de coordinación global. La inteligencia artificial se enfrentará a una situación similar. Deberíamos empezar lo antes posible.
**Tencent News "Periscope": ¿Puede un modelo de lenguaje grande traer AGI? **
David Krueger: Mucha gente se está haciendo esta pregunta en este momento. Mi punto es más complicado. Diría que es posible, pero lo más probable es que deba combinarse con otras tecnologías, y tal vez incluso sea necesario desarrollar alguna tecnología nueva.
**Tencent News "Periscope": ¿Cómo ve la relación entre los humanos y la inteligencia artificial? ¿Serán los humanos una transición inteligente? **
David Krueger: Solo el tiempo lo dirá. Espero que no. Pero ahora, esta es una pregunta en la que todavía tenemos cierta iniciativa y capacidad para guiar y decidir cómo se desarrollará el futuro. Si podemos actuar de manera inteligente y coordinada, si tenemos suerte, depende de nosotros como humanos decidir si la IA se hará cargo en algún momento.
**Tencent News "Periscope": Hinton tiene un punto de vista muy interesante. Él dijo: "Las orugas extraerán nutrientes y luego se transformarán en mariposas. La gente ha extraído miles de millones de nutrientes cognitivos. GPT-4 es la mariposa humana". ¿Estás de acuerdo con este punto de vista? **
David Krueger: Muy poético, y no creo que sea del todo exacto, pero tal vez da con una verdad esencial de que un sistema de IA no necesariamente necesita aprender todo de la manera difícil desde cero. Los humanos necesitan pasar por una larga evolución para alcanzar el nivel de inteligencia humana, pero ahora los humanos han producido todos estos productos culturales, incluidos todos los textos en Internet, lo cual es muy inspirador para los sistemas de IA. Como tal, no necesariamente necesitan pasar por toda su evolución nuevamente para lograr un nivel similar de inteligencia.
**Tencent News "Periscope": ¿Es esta su primera vez en China? ¿Cuál es su impresión de venir a China? ¿Tiene alguna sugerencia para el desarrollo de inteligencia artificial y modelos a gran escala en China? **
David Krueger: Esta es mi primera vez en China. Acabo de llegar ayer por la mañana. Toda la visita fue conocer y hablar con la gente, la gente era amable y tuve una buena experiencia aquí. Pero no siento que realmente haya experimentado China. Solo me estoy reuniendo con investigadores, desafortunadamente será un viaje corto para mí, pero espero tener al menos una buena vista de Beijing en mi último día antes de partir.
(Consejo para China) Creo que es importante pensar y comprender la seguridad y la alineación. De las conversaciones que he tenido, está claro que la gente ya está trabajando en esto, al menos hasta cierto punto.
**Tencent News "Periscope": muchas escenas de la película "Her" han aparecido gradualmente en nuestro mundo real. ¿Los humanos tienen emociones para la inteligencia artificial? ¿Sientes un apego emocional al modelo de IA que desarrollas? **
David Krueger: No tengo uno, pero que yo sepa, algunas personas sí.
Existen chatbots de novia de inteligencia artificial similares, y alguien se ha vuelto emocionalmente dependiente de la relación. Esta es una triste consecuencia de esta tecnología.