"Je ne pense pas que la seule façon de comprendre la sécurité de l'IA soit de déployer des centaines de millions de copies d'un système dans le monde réel et de voir les résultats." Les humains ne font pas cela avec les vaccins, "Nous devons tester un vaccin avant de le déployer, car nous allons l'injecter dans des centaines de millions de personnes."
"Nous ne comprenons pas les grands modèles de langage et leur fonctionnement. Nous devons avoir cette compréhension pour avoir confiance en la sécurité. Les techniques que les humains utilisent pour construire des systèmes d'IA ne doivent pas reposer sur des quantités massives de données pour la formation et des boîtes noires avec internes inconnus.
Stuart Russell, professeur d'informatique à l'Université de Californie à Berkeley, a prononcé un discours liminaire lors de la Conférence Zhiyuan de Beijing 2023.
"L'intelligence artificielle est comme un énorme aimant du futur qui nous tire vers l'avant, comment s'assurer que nous ne serons pas contrôlés par une intelligence au-delà de l'humain?" 10 juin, professeur d'informatique, Université de Californie, Berkeley, Center for Human Compatible Artificial Intelligence Le directeur du (Center for Human-Compatible AI), Stuart Russell (Stuart Russell), a prononcé un discours lors de la conférence 2023 de Beijing Zhiyuan, affirmant que la conception des systèmes d'intelligence artificielle doit suivre deux principes. Premièrement, l'IA doit agir dans le meilleur intérêt de l'humanité ; deuxièmement, l'IA elle-même ne devrait pas savoir quels sont ces intérêts.
Au cours de la séance de dialogue, Russell et Yao Qizhi, lauréat du prix Turing et académicien de l'Académie chinoise des sciences, ont discuté de l'avenir à long terme de l'intelligence artificielle et de sa relation avec les êtres humains. Lorsque les décisions sont prises au nom de la société, les intérêts de chacun doivent être dûment pris en compte."
"Artificial Intelligence: A Modern Approach", co-écrit par Russell, a été salué comme le manuel le plus populaire dans le domaine de l'intelligence artificielle, adopté par plus de 1 500 universités dans 135 pays. En 2022, la Conférence internationale conjointe sur l'intelligence artificielle (IJCAI) décernera à Russell le prix d'excellence en recherche. Il a déjà remporté le prix IJCAI Computer and Thought, devenant ainsi le deuxième scientifique au monde à pouvoir remporter deux prix IJCAI majeurs au en même temps.
L'intelligence artificielle générale est encore loin
Lors de la conférence de Pékin, Russell a défini l'intelligence artificielle générale (IAG) dans un discours intitulé "AI : quelques réflexions ?" Les systèmes d'intelligence artificielle qui dépassent les capacités humaines dans les tâches. Ce type de système d'intelligence artificielle peut apprendre et exécuter n'importe quelle tâche mieux et plus rapidement que les humains, y compris les tâches que les humains ne peuvent pas gérer, et en raison des énormes avantages des machines en termes de vitesse, de mémoire, de communication et de bande passante, à l'avenir, l'intelligence artificielle générale être utilisé dans presque tous les domaines dépassera de loin les capacités humaines.
Alors, à quelle distance les êtres humains sont-ils de l'intelligence artificielle générale ? Russell a déclaré que nous sommes encore loin de l'intelligence artificielle générale. "En fait, il reste encore de nombreuses questions importantes sans réponse."
Russell a souligné dans son discours que ChatGPT et GPT-4 ne comprennent pas le monde et ne "répondent" pas non plus aux questions : "Si l'intelligence artificielle générale est un puzzle complet, le grand modèle de langage n'est qu'une pièce, mais nous ne le faisons pas vraiment. comprendre comment connecter cela avec d'autres pièces du puzzle pour vraiment atteindre l'intelligence artificielle générale », a-t-il déclaré,« je crois qu'il y a même des pièces du puzzle manquantes qui n'ont pas été trouvées.
Selon Russell, une faiblesse fondamentale des systèmes d'IA actuels est qu'ils utilisent des circuits pour générer une sortie. "Nous essayons d'obtenir un comportement hautement intelligent des circuits, qui sont eux-mêmes une forme de calcul assez limitée." L'incapacité des circuits à exprimer et à comprendre avec précision certains concepts fondamentaux, explique-t-il, signifie que ces systèmes nécessitent beaucoup de formation. données pour apprendre certaines fonctions qui peuvent être définies avec des programmes simples. Il pense que l'orientation future du développement de l'intelligence artificielle devrait être d'utiliser une technologie basée sur la représentation explicite des connaissances.
"Problèmes techniques mis à part, si nous créons une intelligence artificielle générale. Que se passera-t-il ensuite ?" Russell a cité Alan Turing, le fondateur de l'informatique moderne, disant : "Une fois que la méthode de pensée automatique aura commencé, il ne faudra pas longtemps pour Il semble affreux qu'il dépasse nos faibles pouvoirs."
"Comment s'assurer en permanence que nous ne sommes pas contrôlés par l'intelligence artificielle ? C'est le problème auquel nous sommes confrontés - si nous ne pouvons pas trouver la réponse à cette question, alors je pense qu'il n'y a pas d'autre choix que d'arrêter de développer l'intelligence artificielle générale." dit Russel.
En mars de cette année, Russell a signé une lettre ouverte avec des milliers de personnes, dont le PDG de Tesla, Elon Musk, et le "parrain de l'IA" Geoffrey Hinton, appelant à la suspension des systèmes d'IA de formation plus puissants que GPT-4 pendant au moins six mois.
Russell a souligné lors de la réunion que la réponse au problème existe. La conception d'un système d'IA doit suivre deux principes. Premièrement, l'IA doit agir dans le meilleur intérêt de l'humanité ; deuxièmement, l'IA elle-même ne devrait pas savoir quels sont ces intérêts. En tant que tels, ils sont incertains des préférences humaines et de l'avenir, et cette incertitude donne le contrôle aux humains.
Russell a déclaré que les gens doivent changer d'avis, non pas pour rechercher "les machines doivent être intelligentes", mais pour se concentrer sur le "bénéfice" des machines afin qu'elles soient conformes aux intérêts fondamentaux de l'humanité. "Les extraterrestres sont très intelligents, mais nous ne voulons pas nécessairement qu'ils viennent sur Terre."
Pensées de fraternité entre AI et Mencius
Lors de la séance de dialogue, Russell et Yao Qizhi ont eu une discussion profonde et perspicace.
Interrogé par Yao Qizhi sur l'avenir à long terme de la relation entre l'intelligence artificielle et les êtres humains, Russell a déclaré que le phénomène selon lequel les êtres humains utilisent l'IA pour satisfaire leurs propres intérêts, ce qui rend l'IA incontrôlable, découle de l'utilitarisme. étape importante dans le progrès humain, mais c'est aussi Cela entraîne certains problèmes." Par exemple, comment les décisions sont-elles prises lorsqu'une décision affecte le nombre de personnes physiquement existantes ? Les gens veulent-ils un grand groupe qui n'est pas très heureux ou un petit groupe qui est très heureux ? "Nous n'avons pas de bonnes réponses à ce genre de questions, mais nous devons répondre à ces questions fondamentales de philosophie morale, car les systèmes d'IA vont avoir un grand pouvoir, et nous ferions mieux de nous assurer qu'ils utilisent ce pouvoir de la bonne manière. "
Russell et Yao Qizhi (à droite), lauréat du prix Turing et académicien de l'Académie chinoise des sciences, ont discuté de l'avenir à long terme de l'intelligence artificielle et de sa relation avec les êtres humains.
Russell a cité l'ancien philosophe chinois Mencius dans sa réponse : « Mencius a parlé du concept de fraternité en Chine, ce qui signifie que lors de la prise de décisions morales, les intérêts de chacun doivent être pris en compte. Et les préférences de chacun doivent être traitées de la même manière. il existe une approche, basée sur des formes complexes d'utilitarisme des préférences, qui pourrait permettre aux systèmes d'IA de prendre raisonnablement en compte les intérêts de chacun lors de la prise de décisions au nom de la société.
Russell a demandé, lorsqu'il y a une personne et plusieurs machines, comment s'assurer que ces machines coopèrent entre elles pour aider les humains ? Cela touche à des questions fondamentales de philosophie morale alors que beaucoup de gens ont beaucoup de machines. Il pense que les systèmes d'IA devraient être conçus pour fonctionner au nom de tous les humains. "Si vous voulez qu'un système d'IA se conforme aux souhaits d'un individu, alors vous devez démontrer que le système d'IA est limité dans son champ d'action à ceux des préoccupations de l'individu, qu'il ne peut pas nuire à d'autres individus en poursuivant son propres intérêts parce qu'il ne se soucie pas des autres individus. Je pense donc que la valeur par défaut devrait être que les systèmes d'IA fonctionnent au nom des humains.
De plus, dans la discussion, Russell a mentionné le terme économique "biens de position", "biens de position" fait référence au fait que les gens n'apprécient pas les articles eux-mêmes, mais leur signification implicite d'être supérieurs aux autres. "Pourquoi le prix Nobel est-il précieux ? Parce que personne d'autre ne l'a, et cela prouve que vous êtes plus intelligent que presque tout le monde dans le monde", a-t-il déclaré.
"La nature des biens positionnels est qu'il y a en quelque sorte un jeu à somme nulle. En termes simples, tout le monde n'entre pas dans le top 1 pour cent. Donc, si vous gagnez en valeur personnelle, la fierté d'être le 1 pour cent Nous ne pouvons pas donner ça fierté et estime de soi à tous », a déclaré Russell.
Alors, les systèmes d'IA devraient-ils tenir compte des biens positionnels lorsqu'ils prennent des décisions au nom de la société ? "Si nous disons que nous ne devrions pas, cela va créer un énorme changement dans la façon dont la société fonctionne. C'est un problème beaucoup plus difficile. Je pense qu'une grande partie des frictions internes dans la société est en fait causée par ces biens de position qui peuvent tout simplement ' pas être atteint par tout le monde. »
** DANGEREUX COMME UN ALGORITHME DE MÉDIAS SOCIAUX **
Yao Qizhi a demandé s'il serait possible à l'avenir de développer une "liste blanche" qui permettrait aux systèmes d'IA d'être utilisés pour faire des choses qui profitent au bien-être humain, comme l'utilisation de méthodes d'IA pour concevoir des médicaments et résoudre des problèmes de cancer.
Russell a déclaré que K. Eric Drexler, l'un des fondateurs de la nanotechnologie, travaillait sur la sécurité de l'IA depuis quelques années, et il a proposé des services complets d'IA (services d'IA complets, CAIS), c'est-à-dire que les systèmes d'intelligence artificielle sont pas conçu pour des objectifs généraux, mais pour résoudre des problèmes spécifiques et étroits, tels que le repliement des protéines, la prévision du trafic, etc. Les risques à grande échelle posés par ces systèmes sont relativement faibles par rapport à l'intelligence artificielle générale.
Russell a déclaré : « À court terme, c'est une approche raisonnable », mais « je ne pense pas que la seule façon de comprendre la sécurité de l'intelligence artificielle soit de déployer des centaines de millions de copies d'un système dans le monde réel et observez les résultats. » Il a dit : « Les humains ne feront pas ça à un vaccin, « Nous devons le tester avant de le déployer, car nous allons l'injecter à des centaines de millions de personnes.
Par conséquent, davantage de travail est actuellement nécessaire pour assurer la sécurité des personnes utilisant ces systèmes. Russell a noté que les systèmes d'IA pourraient potentiellement modifier les opinions et les émotions de centaines de millions de personnes par le dialogue. Les entreprises technologiques telles qu'OpenAI devraient cesser de diffuser de nouveaux systèmes d'IA à des centaines de millions de personnes sans leur dire que ces systèmes peuvent manipuler et influencer la pensée et le comportement humains par le dialogue, entraînant des conséquences catastrophiques, telles qu'une guerre nucléaire ou une catastrophe climatique. "Si vous pouvez parler à des centaines de millions de personnes, vous pouvez convaincre ces centaines de millions de personnes d'être moins amicales envers les autres pays, et vous pouvez convaincre les gens d'être moins préoccupés par le changement climatique."
Russell a déclaré: "Cette situation est similaire aux algorithmes des médias sociaux, et nous ne réalisons même pas que cela change le discours public, le sentiment et la façon dont nous voyons les autres et l'avenir, ce qui est très dangereux." Il n'y a aucun moyen de détecter les objets internes, ce qui conduit l'IA à nous pousser dans cette direction."
Alors, comment assurer la sécurité et la contrôlabilité de la technologie de l'intelligence artificielle ?
"Si l'IA est aussi puissante ou plus puissante que les armes nucléaires, nous devrons peut-être la gérer de la même manière." Russell a déclaré: "Avant l'invention de la technologie des armes nucléaires, il y avait des physiciens qui pensaient que nous avions besoin d'une structure de gouvernance. pour s'assurer que la technologie n'est utilisée qu'au profit de l'homme et non sous la forme d'armes. Malheureusement, ni la communauté des physiciens ni le gouvernement n'ont écouté leurs opinions." Il a souligné que la technologie de l'IA est aussi puissante que les armes nucléaires et la technologie de l'aviation, et les pays doivent s'efforcer de démarrer cette collaboration sur la sécurité de l'IA dès que possible.
Russell estime que garantir les avantages potentiels de l'IA nécessite des changements complets, non seulement une réglementation et l'établissement de règles et de normes de sécurité strictes, mais également un changement culturel dans l'ensemble du domaine de l'IA.
Il a fait des suggestions : Tout d'abord, construisez un système d'IA que les humains peuvent comprendre. "Nous ne comprenons pas les grands modèles de langage et leur fonctionnement. Nous devons avoir cette compréhension afin d'avoir confiance en la sécurité. Les techniques que les humains utilisent pour construire des systèmes d'IA ne doivent pas s'appuyer sur des quantités massives de données pour la formation et les boîtes noires. avec des composants internes inconnus."
De plus, empêcher le déploiement de systèmes d'IA non sûrs, en particulier par des acteurs malveillants, "nécessite des changements dans l'ensemble de l'écosystème numérique, à commencer par le fonctionnement d'un ordinateur, c'est-à-dire que l'ordinateur n'exécute pas de logiciel qu'il juge dangereux".
À la fin de la discussion, Russell a conclu que l'intelligence artificielle est une science, donc avant de l'utiliser, vous devez comprendre sa structure interne et son principe de fonctionnement. "Tout comme nous fabriquons des avions, nous pouvons dire comment ils restent en l'air en fonction de leur forme physique et de leurs moteurs, etc." Il a déclaré : "À l'heure actuelle, en particulier dans le domaine des grands modèles de langage, l'intelligence artificielle n'a pas encore atteint Nous ne savons pas comment ils génèrent ces propriétés. En fait, nous ne savons même pas quelles propriétés ils ont, nous ne pouvons donc pas relier ces phénomènes à leur fonctionnement interne. " Par conséquent, l'intelligence artificielle est un domaine qui doit être développé davantage Science de l'exploration.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Stuart Russell: Le grand modèle n'est qu'une pièce isolée du puzzle AGI, et il reste encore des puzzles introuvables
Source: Le papier
Journaliste Wu Tianyi Stagiaire Chen Xiaorui
"Je ne pense pas que la seule façon de comprendre la sécurité de l'IA soit de déployer des centaines de millions de copies d'un système dans le monde réel et de voir les résultats." Les humains ne font pas cela avec les vaccins, "Nous devons tester un vaccin avant de le déployer, car nous allons l'injecter dans des centaines de millions de personnes."
"Nous ne comprenons pas les grands modèles de langage et leur fonctionnement. Nous devons avoir cette compréhension pour avoir confiance en la sécurité. Les techniques que les humains utilisent pour construire des systèmes d'IA ne doivent pas reposer sur des quantités massives de données pour la formation et des boîtes noires avec internes inconnus.
"L'intelligence artificielle est comme un énorme aimant du futur qui nous tire vers l'avant, comment s'assurer que nous ne serons pas contrôlés par une intelligence au-delà de l'humain?" 10 juin, professeur d'informatique, Université de Californie, Berkeley, Center for Human Compatible Artificial Intelligence Le directeur du (Center for Human-Compatible AI), Stuart Russell (Stuart Russell), a prononcé un discours lors de la conférence 2023 de Beijing Zhiyuan, affirmant que la conception des systèmes d'intelligence artificielle doit suivre deux principes. Premièrement, l'IA doit agir dans le meilleur intérêt de l'humanité ; deuxièmement, l'IA elle-même ne devrait pas savoir quels sont ces intérêts.
Au cours de la séance de dialogue, Russell et Yao Qizhi, lauréat du prix Turing et académicien de l'Académie chinoise des sciences, ont discuté de l'avenir à long terme de l'intelligence artificielle et de sa relation avec les êtres humains. Lorsque les décisions sont prises au nom de la société, les intérêts de chacun doivent être dûment pris en compte."
"Artificial Intelligence: A Modern Approach", co-écrit par Russell, a été salué comme le manuel le plus populaire dans le domaine de l'intelligence artificielle, adopté par plus de 1 500 universités dans 135 pays. En 2022, la Conférence internationale conjointe sur l'intelligence artificielle (IJCAI) décernera à Russell le prix d'excellence en recherche. Il a déjà remporté le prix IJCAI Computer and Thought, devenant ainsi le deuxième scientifique au monde à pouvoir remporter deux prix IJCAI majeurs au en même temps.
L'intelligence artificielle générale est encore loin
Lors de la conférence de Pékin, Russell a défini l'intelligence artificielle générale (IAG) dans un discours intitulé "AI : quelques réflexions ?" Les systèmes d'intelligence artificielle qui dépassent les capacités humaines dans les tâches. Ce type de système d'intelligence artificielle peut apprendre et exécuter n'importe quelle tâche mieux et plus rapidement que les humains, y compris les tâches que les humains ne peuvent pas gérer, et en raison des énormes avantages des machines en termes de vitesse, de mémoire, de communication et de bande passante, à l'avenir, l'intelligence artificielle générale être utilisé dans presque tous les domaines dépassera de loin les capacités humaines.
Alors, à quelle distance les êtres humains sont-ils de l'intelligence artificielle générale ? Russell a déclaré que nous sommes encore loin de l'intelligence artificielle générale. "En fait, il reste encore de nombreuses questions importantes sans réponse."
Russell a souligné dans son discours que ChatGPT et GPT-4 ne comprennent pas le monde et ne "répondent" pas non plus aux questions : "Si l'intelligence artificielle générale est un puzzle complet, le grand modèle de langage n'est qu'une pièce, mais nous ne le faisons pas vraiment. comprendre comment connecter cela avec d'autres pièces du puzzle pour vraiment atteindre l'intelligence artificielle générale », a-t-il déclaré,« je crois qu'il y a même des pièces du puzzle manquantes qui n'ont pas été trouvées.
Selon Russell, une faiblesse fondamentale des systèmes d'IA actuels est qu'ils utilisent des circuits pour générer une sortie. "Nous essayons d'obtenir un comportement hautement intelligent des circuits, qui sont eux-mêmes une forme de calcul assez limitée." L'incapacité des circuits à exprimer et à comprendre avec précision certains concepts fondamentaux, explique-t-il, signifie que ces systèmes nécessitent beaucoup de formation. données pour apprendre certaines fonctions qui peuvent être définies avec des programmes simples. Il pense que l'orientation future du développement de l'intelligence artificielle devrait être d'utiliser une technologie basée sur la représentation explicite des connaissances.
"Problèmes techniques mis à part, si nous créons une intelligence artificielle générale. Que se passera-t-il ensuite ?" Russell a cité Alan Turing, le fondateur de l'informatique moderne, disant : "Une fois que la méthode de pensée automatique aura commencé, il ne faudra pas longtemps pour Il semble affreux qu'il dépasse nos faibles pouvoirs."
"Comment s'assurer en permanence que nous ne sommes pas contrôlés par l'intelligence artificielle ? C'est le problème auquel nous sommes confrontés - si nous ne pouvons pas trouver la réponse à cette question, alors je pense qu'il n'y a pas d'autre choix que d'arrêter de développer l'intelligence artificielle générale." dit Russel.
En mars de cette année, Russell a signé une lettre ouverte avec des milliers de personnes, dont le PDG de Tesla, Elon Musk, et le "parrain de l'IA" Geoffrey Hinton, appelant à la suspension des systèmes d'IA de formation plus puissants que GPT-4 pendant au moins six mois.
Russell a souligné lors de la réunion que la réponse au problème existe. La conception d'un système d'IA doit suivre deux principes. Premièrement, l'IA doit agir dans le meilleur intérêt de l'humanité ; deuxièmement, l'IA elle-même ne devrait pas savoir quels sont ces intérêts. En tant que tels, ils sont incertains des préférences humaines et de l'avenir, et cette incertitude donne le contrôle aux humains.
Russell a déclaré que les gens doivent changer d'avis, non pas pour rechercher "les machines doivent être intelligentes", mais pour se concentrer sur le "bénéfice" des machines afin qu'elles soient conformes aux intérêts fondamentaux de l'humanité. "Les extraterrestres sont très intelligents, mais nous ne voulons pas nécessairement qu'ils viennent sur Terre."
Pensées de fraternité entre AI et Mencius
Lors de la séance de dialogue, Russell et Yao Qizhi ont eu une discussion profonde et perspicace.
Interrogé par Yao Qizhi sur l'avenir à long terme de la relation entre l'intelligence artificielle et les êtres humains, Russell a déclaré que le phénomène selon lequel les êtres humains utilisent l'IA pour satisfaire leurs propres intérêts, ce qui rend l'IA incontrôlable, découle de l'utilitarisme. étape importante dans le progrès humain, mais c'est aussi Cela entraîne certains problèmes." Par exemple, comment les décisions sont-elles prises lorsqu'une décision affecte le nombre de personnes physiquement existantes ? Les gens veulent-ils un grand groupe qui n'est pas très heureux ou un petit groupe qui est très heureux ? "Nous n'avons pas de bonnes réponses à ce genre de questions, mais nous devons répondre à ces questions fondamentales de philosophie morale, car les systèmes d'IA vont avoir un grand pouvoir, et nous ferions mieux de nous assurer qu'ils utilisent ce pouvoir de la bonne manière. "
Russell a cité l'ancien philosophe chinois Mencius dans sa réponse : « Mencius a parlé du concept de fraternité en Chine, ce qui signifie que lors de la prise de décisions morales, les intérêts de chacun doivent être pris en compte. Et les préférences de chacun doivent être traitées de la même manière. il existe une approche, basée sur des formes complexes d'utilitarisme des préférences, qui pourrait permettre aux systèmes d'IA de prendre raisonnablement en compte les intérêts de chacun lors de la prise de décisions au nom de la société.
Russell a demandé, lorsqu'il y a une personne et plusieurs machines, comment s'assurer que ces machines coopèrent entre elles pour aider les humains ? Cela touche à des questions fondamentales de philosophie morale alors que beaucoup de gens ont beaucoup de machines. Il pense que les systèmes d'IA devraient être conçus pour fonctionner au nom de tous les humains. "Si vous voulez qu'un système d'IA se conforme aux souhaits d'un individu, alors vous devez démontrer que le système d'IA est limité dans son champ d'action à ceux des préoccupations de l'individu, qu'il ne peut pas nuire à d'autres individus en poursuivant son propres intérêts parce qu'il ne se soucie pas des autres individus. Je pense donc que la valeur par défaut devrait être que les systèmes d'IA fonctionnent au nom des humains.
De plus, dans la discussion, Russell a mentionné le terme économique "biens de position", "biens de position" fait référence au fait que les gens n'apprécient pas les articles eux-mêmes, mais leur signification implicite d'être supérieurs aux autres. "Pourquoi le prix Nobel est-il précieux ? Parce que personne d'autre ne l'a, et cela prouve que vous êtes plus intelligent que presque tout le monde dans le monde", a-t-il déclaré.
"La nature des biens positionnels est qu'il y a en quelque sorte un jeu à somme nulle. En termes simples, tout le monde n'entre pas dans le top 1 pour cent. Donc, si vous gagnez en valeur personnelle, la fierté d'être le 1 pour cent Nous ne pouvons pas donner ça fierté et estime de soi à tous », a déclaré Russell.
Alors, les systèmes d'IA devraient-ils tenir compte des biens positionnels lorsqu'ils prennent des décisions au nom de la société ? "Si nous disons que nous ne devrions pas, cela va créer un énorme changement dans la façon dont la société fonctionne. C'est un problème beaucoup plus difficile. Je pense qu'une grande partie des frictions internes dans la société est en fait causée par ces biens de position qui peuvent tout simplement ' pas être atteint par tout le monde. »
** DANGEREUX COMME UN ALGORITHME DE MÉDIAS SOCIAUX **
Yao Qizhi a demandé s'il serait possible à l'avenir de développer une "liste blanche" qui permettrait aux systèmes d'IA d'être utilisés pour faire des choses qui profitent au bien-être humain, comme l'utilisation de méthodes d'IA pour concevoir des médicaments et résoudre des problèmes de cancer.
Russell a déclaré que K. Eric Drexler, l'un des fondateurs de la nanotechnologie, travaillait sur la sécurité de l'IA depuis quelques années, et il a proposé des services complets d'IA (services d'IA complets, CAIS), c'est-à-dire que les systèmes d'intelligence artificielle sont pas conçu pour des objectifs généraux, mais pour résoudre des problèmes spécifiques et étroits, tels que le repliement des protéines, la prévision du trafic, etc. Les risques à grande échelle posés par ces systèmes sont relativement faibles par rapport à l'intelligence artificielle générale.
Russell a déclaré : « À court terme, c'est une approche raisonnable », mais « je ne pense pas que la seule façon de comprendre la sécurité de l'intelligence artificielle soit de déployer des centaines de millions de copies d'un système dans le monde réel et observez les résultats. » Il a dit : « Les humains ne feront pas ça à un vaccin, « Nous devons le tester avant de le déployer, car nous allons l'injecter à des centaines de millions de personnes.
Par conséquent, davantage de travail est actuellement nécessaire pour assurer la sécurité des personnes utilisant ces systèmes. Russell a noté que les systèmes d'IA pourraient potentiellement modifier les opinions et les émotions de centaines de millions de personnes par le dialogue. Les entreprises technologiques telles qu'OpenAI devraient cesser de diffuser de nouveaux systèmes d'IA à des centaines de millions de personnes sans leur dire que ces systèmes peuvent manipuler et influencer la pensée et le comportement humains par le dialogue, entraînant des conséquences catastrophiques, telles qu'une guerre nucléaire ou une catastrophe climatique. "Si vous pouvez parler à des centaines de millions de personnes, vous pouvez convaincre ces centaines de millions de personnes d'être moins amicales envers les autres pays, et vous pouvez convaincre les gens d'être moins préoccupés par le changement climatique."
Russell a déclaré: "Cette situation est similaire aux algorithmes des médias sociaux, et nous ne réalisons même pas que cela change le discours public, le sentiment et la façon dont nous voyons les autres et l'avenir, ce qui est très dangereux." Il n'y a aucun moyen de détecter les objets internes, ce qui conduit l'IA à nous pousser dans cette direction."
Alors, comment assurer la sécurité et la contrôlabilité de la technologie de l'intelligence artificielle ?
"Si l'IA est aussi puissante ou plus puissante que les armes nucléaires, nous devrons peut-être la gérer de la même manière." Russell a déclaré: "Avant l'invention de la technologie des armes nucléaires, il y avait des physiciens qui pensaient que nous avions besoin d'une structure de gouvernance. pour s'assurer que la technologie n'est utilisée qu'au profit de l'homme et non sous la forme d'armes. Malheureusement, ni la communauté des physiciens ni le gouvernement n'ont écouté leurs opinions." Il a souligné que la technologie de l'IA est aussi puissante que les armes nucléaires et la technologie de l'aviation, et les pays doivent s'efforcer de démarrer cette collaboration sur la sécurité de l'IA dès que possible.
Russell estime que garantir les avantages potentiels de l'IA nécessite des changements complets, non seulement une réglementation et l'établissement de règles et de normes de sécurité strictes, mais également un changement culturel dans l'ensemble du domaine de l'IA.
Il a fait des suggestions : Tout d'abord, construisez un système d'IA que les humains peuvent comprendre. "Nous ne comprenons pas les grands modèles de langage et leur fonctionnement. Nous devons avoir cette compréhension afin d'avoir confiance en la sécurité. Les techniques que les humains utilisent pour construire des systèmes d'IA ne doivent pas s'appuyer sur des quantités massives de données pour la formation et les boîtes noires. avec des composants internes inconnus."
De plus, empêcher le déploiement de systèmes d'IA non sûrs, en particulier par des acteurs malveillants, "nécessite des changements dans l'ensemble de l'écosystème numérique, à commencer par le fonctionnement d'un ordinateur, c'est-à-dire que l'ordinateur n'exécute pas de logiciel qu'il juge dangereux".
À la fin de la discussion, Russell a conclu que l'intelligence artificielle est une science, donc avant de l'utiliser, vous devez comprendre sa structure interne et son principe de fonctionnement. "Tout comme nous fabriquons des avions, nous pouvons dire comment ils restent en l'air en fonction de leur forme physique et de leurs moteurs, etc." Il a déclaré : "À l'heure actuelle, en particulier dans le domaine des grands modèles de langage, l'intelligence artificielle n'a pas encore atteint Nous ne savons pas comment ils génèrent ces propriétés. En fait, nous ne savons même pas quelles propriétés ils ont, nous ne pouvons donc pas relier ces phénomènes à leur fonctionnement interne. " Par conséquent, l'intelligence artificielle est un domaine qui doit être développé davantage Science de l'exploration.