Este artigo é de Pequim por Zhang Xiaojun, autor do Tencent News "Periscope"
Fonte da imagem: Gerada pela ferramenta Unbounded AI
Há meio mês, centenas das principais figuras da inteligência artificial, incluindo o CEO da OpenAI, Sam Altman, e o vencedor do Turing Award, Geoffrey Hinton, assinaram uma breve declaração sobre a ameaça da IA à extinção humana.
Esta declaração tem apenas uma frase - "mitigar o risco de extinção da inteligência artificial deve se tornar uma prioridade global junto com outros riscos em escala social, como epidemias e guerra nuclear".
David Krueger, professor assistente de pesquisa em inteligência artificial da Universidade de Cambridge, foi um dos iniciadores originais da carta e também é signatário.
Em 9 de junho, Krueger teve um diálogo aprofundado com Tencent News "Periscope" enquanto participava da Conferência Zhiyuan de Pequim de 2023. Há muito tempo ele se preocupa com o alinhamento da IA e questões de segurança. Desde 2012, ele se preocupa com o risco potencial da inteligência artificial para a extinção humana. A indústria chama isso de "X-Risk" (um risco existencial).
Em resposta aos riscos da IA, uma visão contesta que essa intensa preocupação pode ser semelhante ao pânico excessivo dos humanos quando a máquina a vapor apareceu centenas de anos atrás. Mas Krueger disse que a maior diferença entre os dois é que a máquina a vapor não extinguirá os humanos, mas a IA, sim.
Krueger acredita que a IA é mais inteligente que os humanos, a competição desordenada e a construção de sistemas de IA que têm um impacto mais direto no mundo - esses três fatores aumentarão muito o fator de risco dos sistemas de IA ficarem fora de controle. “Quanto mais aberto o sistema, mais autônomo, mais inteligente e mais projetado para atingir objetivos de longo prazo, maior o risco de o sistema sair do controle”, disse ele.
Para ele, a questão da segurança da inteligência artificial é como a questão da mudança climática global: todas as partes têm seus próprios interesses, e haverá muitos conflitos e diferenças, o que acaba tornando-a uma questão complexa de coordenação global. Portanto, é necessário começar o mais rápido possível e com o esforço de todas as partes, para que os seres humanos não sejam reduzidos ao destino de serem dominados pela IA.
Só assim os seres humanos podem sobreviver.
David Krueger
O que se segue é a essência da palestra de David Krueger.
01 Carta conjunta "AI Risk Statement" é apenas uma frase, foi cuidadosamente elaborada
**Tencent News "Periscope": Você é um dos signatários da "Declaração sobre o risco de IA" Você pode nos contar como essa declaração surgiu? **
David Krueger: Tive essa ideia há mais de um ano, porque as pessoas estão cada vez mais preocupadas com os riscos da IA, especialmente com o risco de a IA causar a extinção humana. Ao mesmo tempo, muitas pessoas não estão discutindo esse assunto abertamente.
Um grande motivo é a história, onde a ideia já foi considerada uma ideia marginal e as pessoas temiam que discuti-la publicamente os afetasse negativamente, ou mesmo suas perspectivas de carreira.
Há alguns meses, chegou um bom momento. Desde o lançamento do ChatGPT e do GPT-4, a atenção das pessoas à IA atingiu níveis sem precedentes. Por muito tempo, reconheceu-se que esse poderia ser um hipotético problema futuro, mas é muito cedo para dizer.
Quanto a como essa declaração surgiu, entrei em contato com vários colegas, incluindo Dan Hendrycks, diretor do Center for Artificial Intelligence Safety. Eu disse a ele que deveríamos fazer tal declaração e pretendo fazê-lo o mais rápido possível. Mas não tenho certeza se sou bom o suficiente para fazer isso. É urgente. Então, Dan pegou o assunto e pressionou pelo anúncio.
**Tencent News "Periscope": Que comentários você tem sobre o texto desta carta? **
David Krueger: Proponho usar apenas uma frase. Existem várias razões.
Primeiro, quando você tem uma declaração longa, há uma boa chance de que alguém discorde dela.
Vimos há alguns meses que o Future of Life Institute emitiu um pedido de moratória imediata em todos os laboratórios de IA que treinam sistemas de IA mais poderosos que o GPT-4 por pelo menos 6 meses. A reação de muitas pessoas a isso é que parece ótimo, mas não acho que podemos interromper o desenvolvimento da inteligência artificial.
Claro que eles fizeram essa afirmação e ainda é válida porque quando as pessoas dizem que não podemos pausar é um sinal de que precisamos agir. Nós realmente precisamos da capacidade de suspender uma tecnologia que é muito perigosa para ser desenvolvida.
Eu uso este exemplo para ilustrar que quanto mais você fala, mais as pessoas discordam. Nesse caso, não mencionamos como lidar com esse risco, porque as pessoas têm opiniões diferentes sobre o método correto; também não dissemos por que isso pode levar à extinção humana, porque pessoas diferentes têm opiniões diferentes sobre isso - alguns as pessoas estão mais preocupadas com a tecnologia. Mal utilizada, outras estão mais preocupadas com a tecnologia ficando fora de controle, o que não é o resultado intencional de um ator mal-intencionado.
De qualquer forma, desde que muitas pessoas concordem que isso é um grande risco e que precisamos agir, tudo bem.
O risco 02AI é fundamentalmente diferente do motor a vapor
**Tencent News "Periscope": Qual é a maior diferença entre as preocupações das pessoas sobre a ameaça da inteligência artificial e o medo das pessoas de motores a vapor há duzentos ou trezentos anos? **
David Krueger: Não sei muito sobre essa história. Não tenho certeza se alguém disse que isso levaria à extinção da humanidade na época. Se alguém tivesse dito isso, também não tenho certeza de que tipo de argumentos eles usariam, me parece improvável.
A principal diferença é que estamos falando de extinção. Estamos falando de uma tecnologia que é potencialmente mais inteligente e mais poderosa que os humanos em todas as capacidades relevantes.
A máquina a vapor nos permite criar forças físicas mais fortes e mais rápidas que os humanos. Mas a máquina a vapor não é inteligente e relativamente fácil de controlar. Mesmo que alguém fique fora de controle, o pior cenário é que ele funcione mal e os que estiverem nele possam morrer ou se ferir. Mas se um sistema inteligente ou um sistema autorreplicante sai do controle, muitas pessoas podem morrer porque ele pode crescer e ganhar mais poder, e essa é a principal diferença.
**Tencent News "Periscope": Algumas pessoas pensam que as declarações públicas só podem parar as pessoas boas, tentando fazer com que as pessoas boas prestem mais atenção às questões de segurança e diminuam a velocidade da pesquisa e desenvolvimento, mas não podem parar as ações das pessoas más . Como prevenir os bandidos? **
David Krueger: Regulando o comportamento por meio da regulamentação e da cooperação internacional.
Eu realmente não gosto de falar sobre isso em termos de "mocinhos" e "bandidos" porque todo mundo sempre pensa que eles são mocinhos. O principal risco que me preocupa não é a manipulação maliciosa de sistemas de IA por algum bandido ou ator malicioso, mas algo como a mudança climática – os indivíduos podem ganhar mais queimando mais combustíveis fósseis ou fazendo sistemas mais poderosos que são mais difíceis de controlar. benefícios, mas cada um carrega algum custo. No caso das mudanças climáticas, isso pode causar danos ao meio ambiente. No caso da inteligência artificial, o risco é que o sistema saia do controle e leve à catástrofe.
Esta é mais uma questão motivacional. Na verdade, os humanos se preocupam mais consigo mesmos, com seus amigos, entes queridos e com sua comunidade do que com algum estranho do outro lado do mundo. Portanto, não são necessárias intenções maliciosas, apenas instintos egoístas. É por isso que a regulamentação é necessária, é a forma de resolver esses tipos de problemas de interesse humano comum.
O trabalho de alinhamento 03AI tem muitos mistérios não resolvidos
** Tencent News "Periscope": Seus interesses de pesquisa são aprendizado profundo, alinhamento de IA e segurança. Você pode explicar o que é alinhamento em uma linguagem que as pessoas comuns possam entender? Você disse que "o alinhamento será um dos principais impulsionadores do desenvolvimento da IA", por que isso é tão importante? **
David Krueger: Gosto de dizer que as pessoas têm três interpretações diferentes disso. Uma delas é fazer com que os sistemas de IA atuem de acordo com nossa vontade. Mas não acho que seja uma boa definição, é muito ampla e cada engenheiro está tentando fazer o sistema de IA se comportar como quiser.
Existe também uma definição mais específica, que é "alinhamento por intenção". Na minha opinião, esta é a definição correta e se refere a fazer o sistema tentar fazer o que queremos que ele faça. Ao projetar um sistema, você deseja que ele tenha as intenções, motivações e objetivos corretos. Ainda pode não ser capaz de agir como você deseja, porque pode não ser capaz ou inteligente o suficiente para saber como realizar seus desejos. Mas se tiver a intenção certa, pode-se dizer que está alinhado.
O significado final que as pessoas têm para alinhamento é qualquer esforço tecnológico para reduzir o risco de extinção humana. Às vezes, também se refere à comunidade de pessoas como eu, especializadas na área de alinhamento e segurança. Essa também não é minha definição preferida. Esta é apenas uma ideia que as pessoas têm de como resolver este problema. Em última análise, porém, é necessário mais trabalho em governança, regulamentação e cooperação internacional, como a conclusão de tratados, necessários para mitigar esse risco.
** Tencent News "Periscope": Que novos progressos as empresas de tecnologia e as instituições de pesquisa científica fizeram recentemente na tecnologia de alinhamento? Quais são os desafios e problemas mais prementes que você enfrenta? **
David Krueger: O mais importante é ajustar as técnicas para grandes modelos de linguagem.Eles fizeram muito trabalho para mudar o comportamento do modelo. Por exemplo, a diferença entre GPT-3 e GPT-4 é que o sistema está alinhado para atuar mais de acordo com a intenção do projetista. Principalmente por meio de aprendizado por reforço e feedback humano, embora os detalhes não sejam públicos. Isso funcionou na maior parte, mas não eliminou completamente os problemas com esses modelos.
Eu me preocupo que esta técnica possa não ser suficiente para sistemas mais robustos, já que as mudanças que ela faz no comportamento podem ser relativamente superficiais. Esse problema pode se tornar mais sério à medida que o sistema se torna mais poderoso.
É como a analogia do treinamento de animais, como se você treinasse um cachorro para não subir nos móveis. Talvez ele faça isso muito bem quando você está lá, mas se você sair da sala, ele ainda pega os móveis. Situações semelhantes podem ocorrer nesses modelos. Eles podem parecer alinhados, mas ainda podem se comportar mal se acharem que não perceberemos seu mau comportamento.
**Tencent News "Periscope": Quando a inteligência da IA é muito mais inteligente do que os humanos, como os humanos podem concluir o trabalho de alinhamento em um corpo superinteligente? **
David Krueger: Esta é uma questão de pesquisa em aberto. Portanto, é importante realizar pesquisas sobre o alinhamento da IA para encontrar a resposta para essa pergunta.
**Tencent News "Periscope": Como podemos fazer a IA amar os seres humanos em vez de prejudicá-los por meio do alinhamento? **
David Krueger: Essa é a mesma pergunta da anterior. Eu gostaria de ter uma resposta, mas ainda não sei.
04 Esses três principais incentivos podem aumentar o risco de IA fora de controle
**Tencent News "Periscope": Na sua opinião, em que ponto da história da IA é esse ponto no tempo? **
David Krueger: Chegamos a um ponto em que o mundo está acordando para os riscos. Há muito tempo que espero por este momento.
**Tencent News "Periscope": Desde que você ouviu o curso de aprendizado profundo ministrado por Geoffrey Hinton há dez anos, você teme que a IA possa levar à extinção dos seres humanos. Por que você começou a se preocupar tão cedo? **
David Krueger: Eu estava preocupado em princípio que isso aconteceria em algum momento porque um dia seria mais inteligente que os humanos, mas quando vi a aula de Hinton, minhas preocupações mudaram. O aprendizado profundo tem o potencial de produzir inteligência real do que qualquer outro método que já ouvi antes.
** Tencent News "Periscope": Em que circunstâncias o sistema de inteligência artificial ficará fora de controle? **
David Krueger: Um, se eles são mais espertos do que nós, você começa a se preocupar quando eles se descontrolam nos detalhes, mas é difícil prever exatamente como isso vai acontecer.
Um segundo fator que aumenta o risco é que há muita concorrência para desenvolver e implantar sistemas de IA poderosos o mais rápido possível. Atualmente, vemos essa competição existente entre o Google e a Microsoft. Há também preocupações com a concorrência internacional, que pode ser econômica, pode ser geopolítica, pode até ser militar.
O terceiro fator é se você está construindo sistemas de IA que têm um impacto mais imediato no mundo. Os sistemas que vimos até agora são apenas modelos de linguagem, apenas geram texto. Mas também há muitas pessoas procurando combiná-los com outros sistemas, como usá-los para escrever código, usá-los para controlar coisas diferentes, seja online ou usá-los para controlar coisas no mundo real. Dar a esses sistemas mais controle e autonomia aumenta o risco.
Comparando isso com os sistemas que temos hoje, que são treinados apenas para prever texto, esta é uma maneira relativamente segura de construir sistemas - em comparação com pedir ao sistema para atingir uma meta em um determinado ambiente, especialmente em comparação com o sistema em e Este é mais seguro do que alcançar objetivos em um ambiente onde o mundo real, o mundo físico, interage com frequência. Quando os sistemas tentam alcançar objetivos no mundo real, eles podem naturalmente tentar adquirir mais recursos e poder, porque estes são úteis para alcançar objetivos de longo prazo.
Assim, quanto mais aberto, autônomo e inteligente for um sistema, e quanto mais ele for projetado para alcançar objetivos de longo prazo, maior será o risco de que o sistema fique fora de controle.
** Tencent News "Periscope": Se você acha que uma estrutura para colaboração global deve ser formulada para garantir que os países sigam princípios e padrões comuns no desenvolvimento de IA, quais devem ser esses princípios e padrões específicos? **
David Krueger: Precisamos absolutamente fazer isso e precisamos começar a fazê-lo com urgência. Porque vai ser difícil e vai exigir muitas discussões e negociações porque existem muitos conflitos e diferenças entre os diferentes países.
Quanto aos detalhes, é algo em que ainda estou pensando. Queremos ter certeza de que temos algum corpo diretivo ou sistema de governança muito legítimo que possa pressionar por uma moratória se, em algum momento no futuro, sentirmos a necessidade de fazê-lo. Esta é uma parte importante dela.
As coisas ficam mais complicadas quando se trata dos sistemas que estamos desenvolvendo e implantando. Gostaríamos de ter alguns mecanismos de teste, avaliação e auditoria. Também podemos precisar considerar alguma forma de licenciamento, mas há muitos detalhes a serem resolvidos. No momento, não tenho um cenário completo na cabeça. É por isso que espero que possamos inspirar mais pessoas na formulação de políticas, com experiência em política e relações internacionais, a pensar sobre isso.
**Tencent News "Periscope": No atual sistema de inteligência artificial, quais aspectos precisam ser melhorados o mais rápido possível para lidar com possíveis riscos e ameaças? **
David Krueger: Um é a robustez (Nota: Robustez refere-se à capacidade do sistema de sobreviver em situações anormais e perigosas). Nossos sistemas atuais têm problemas significativos com robustez, principalmente o problema de robustez adversária, onde pequenas alterações em uma entrada, mesmo imperceptíveis para os humanos, podem ter um grande impacto no comportamento do sistema. Esse problema é conhecido há cerca de 10 anos, mas ainda parece não ter solução. Isso é muito problemático se considerarmos sistemas que perseguem algum objetivo e tentam otimizar sua compreensão desse objetivo. Porque dependendo do entendimento do objetivo, o resultado ideal pode ser muito diferente do que imaginamos ou pretendemos. E as avaliações que estamos fazendo agora são difíceis de detectar.
Outra é a nossa falta de compreensão de como esses sistemas funcionam. Queremos muito entender como esses sistemas funcionam, é uma das melhores maneiras de prever seu comportamento. Queremos garantir que eles não se comportem de maneira inesperada e perigosa em novas situações. Isso está relacionado à questão da robustez.
**05 A extinção humana está longe? **
**Tencent News "Periscope": Olhando agora, os seres humanos estão longe da extinção? Quantos anos se espera que seja? **
David Krueger: Jeffrey Hinton continua dizendo que levará 20 anos ou menos para obter inteligência artificial geral (AGI), que é um prazo razoável. Isso é bastante semelhante ao meu ponto de vista.
Acho que os humanos podem ser extintos logo depois disso, mas pode levar mais tempo, e acho que é isso que estou tentando enfatizar, mesmo que daqui a décadas, precisamos começar a abordar isso o mais rápido possível.
Voltando novamente à analogia da mudança climática. Levamos décadas para começar a tomar medidas efetivas, e ainda não foi feito o suficiente para evitar as terríveis consequências das mudanças climáticas. Isso ocorre porque é um problema complexo de coordenação global. A inteligência artificial enfrentará uma situação semelhante. Devemos começar o mais cedo possível.
** Tencent News "Periscope": um grande modelo de linguagem pode trazer AGI? **
David Krueger: Muitas pessoas estão fazendo essa pergunta agora. Meu ponto é mais complicado. Eu diria que é possível, mas é mais provável que precise ser combinada com outras tecnologias, e talvez até mesmo alguma nova tecnologia precise ser desenvolvida.
**Tencent News "Periscope": Como você vê a relação entre humanos e inteligência artificial? Os humanos serão uma transição inteligente? **
David Krueger: Só o tempo dirá. Espero que não. Mas agora, esta é uma questão que ainda temos alguma iniciativa e capacidade para orientar e decidir como o futuro se desenvolverá. Se pudermos agir de maneira inteligente e coordenada, se tivermos sorte, caberá a nós, como humanos, decidir se a IA assumirá o controle em algum momento.
** Tencent News "Periscope": Hinton tem um ponto de vista muito interessante. Ele disse: "As lagartas extraem nutrientes e depois se transformam em borboletas. As pessoas extraíram bilhões de nutrientes cognitivos. GPT-4 é a borboleta humana." Você concorda com este ponto de vista? **
David Krueger: Muito poético, e não acho que seja totalmente preciso, mas talvez chegue a alguma verdade essencial de que um sistema de IA não precisa necessariamente aprender tudo da maneira mais difícil do zero. Os seres humanos precisam passar por uma longa evolução para atingir o nível de inteligência humana, mas agora os humanos produziram todos esses produtos culturais, incluindo todos os textos na Internet, o que é muito inspirador para os sistemas de IA. Como tal, eles não precisam necessariamente passar por toda a sua evolução novamente para atingir um nível semelhante de inteligência.
**Tencent News "Periscope": Esta é sua primeira vez na China? Qual é a sua impressão de vir para a China? Você tem alguma sugestão para o desenvolvimento de inteligência artificial e modelos em grande escala na China? **
David Krueger: Esta é minha primeira vez na China. Acabei de chegar ontem de manhã. Toda a visita foi para conhecer e conversar com as pessoas, as pessoas eram amigáveis e tive uma boa experiência aqui. Mas não sinto que realmente experimentei a China. Estou apenas me encontrando com pesquisadores, infelizmente será uma viagem curta para mim, mas espero pelo menos dar uma boa olhada em Pequim no meu último dia antes de partir.
(Conselho para a China) Acho importante pensar e entender segurança e alinhamento. Pelas conversas que tive, fica claro que as pessoas já estão trabalhando nisso, pelo menos até certo ponto.
**Tencent News "Periscope": Muitas cenas do filme "Her" gradualmente apareceram em nosso mundo real. Os humanos têm emoções para a inteligência artificial? Você sente um apego emocional ao modelo de IA que desenvolve? **
David Krueger: Não tenho um, mas pelo que sei, algumas pessoas têm.
Existem chatbots semelhantes de inteligência artificial para namoradas, e alguém se tornou emocionalmente dependente do relacionamento. Esta é uma triste consequência desta tecnologia.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
Diálogo com o iniciador da "Declaração de Risco de IA": Os motores a vapor não extinguirão os humanos, mas a IA sim!
Este artigo é de Pequim por Zhang Xiaojun, autor do Tencent News "Periscope"
Há meio mês, centenas das principais figuras da inteligência artificial, incluindo o CEO da OpenAI, Sam Altman, e o vencedor do Turing Award, Geoffrey Hinton, assinaram uma breve declaração sobre a ameaça da IA à extinção humana.
Esta declaração tem apenas uma frase - "mitigar o risco de extinção da inteligência artificial deve se tornar uma prioridade global junto com outros riscos em escala social, como epidemias e guerra nuclear".
David Krueger, professor assistente de pesquisa em inteligência artificial da Universidade de Cambridge, foi um dos iniciadores originais da carta e também é signatário.
Em 9 de junho, Krueger teve um diálogo aprofundado com Tencent News "Periscope" enquanto participava da Conferência Zhiyuan de Pequim de 2023. Há muito tempo ele se preocupa com o alinhamento da IA e questões de segurança. Desde 2012, ele se preocupa com o risco potencial da inteligência artificial para a extinção humana. A indústria chama isso de "X-Risk" (um risco existencial).
Em resposta aos riscos da IA, uma visão contesta que essa intensa preocupação pode ser semelhante ao pânico excessivo dos humanos quando a máquina a vapor apareceu centenas de anos atrás. Mas Krueger disse que a maior diferença entre os dois é que a máquina a vapor não extinguirá os humanos, mas a IA, sim.
Krueger acredita que a IA é mais inteligente que os humanos, a competição desordenada e a construção de sistemas de IA que têm um impacto mais direto no mundo - esses três fatores aumentarão muito o fator de risco dos sistemas de IA ficarem fora de controle. “Quanto mais aberto o sistema, mais autônomo, mais inteligente e mais projetado para atingir objetivos de longo prazo, maior o risco de o sistema sair do controle”, disse ele.
Para ele, a questão da segurança da inteligência artificial é como a questão da mudança climática global: todas as partes têm seus próprios interesses, e haverá muitos conflitos e diferenças, o que acaba tornando-a uma questão complexa de coordenação global. Portanto, é necessário começar o mais rápido possível e com o esforço de todas as partes, para que os seres humanos não sejam reduzidos ao destino de serem dominados pela IA.
Só assim os seres humanos podem sobreviver.
O que se segue é a essência da palestra de David Krueger.
01 Carta conjunta "AI Risk Statement" é apenas uma frase, foi cuidadosamente elaborada
**Tencent News "Periscope": Você é um dos signatários da "Declaração sobre o risco de IA" Você pode nos contar como essa declaração surgiu? **
David Krueger: Tive essa ideia há mais de um ano, porque as pessoas estão cada vez mais preocupadas com os riscos da IA, especialmente com o risco de a IA causar a extinção humana. Ao mesmo tempo, muitas pessoas não estão discutindo esse assunto abertamente.
Um grande motivo é a história, onde a ideia já foi considerada uma ideia marginal e as pessoas temiam que discuti-la publicamente os afetasse negativamente, ou mesmo suas perspectivas de carreira.
Há alguns meses, chegou um bom momento. Desde o lançamento do ChatGPT e do GPT-4, a atenção das pessoas à IA atingiu níveis sem precedentes. Por muito tempo, reconheceu-se que esse poderia ser um hipotético problema futuro, mas é muito cedo para dizer.
Quanto a como essa declaração surgiu, entrei em contato com vários colegas, incluindo Dan Hendrycks, diretor do Center for Artificial Intelligence Safety. Eu disse a ele que deveríamos fazer tal declaração e pretendo fazê-lo o mais rápido possível. Mas não tenho certeza se sou bom o suficiente para fazer isso. É urgente. Então, Dan pegou o assunto e pressionou pelo anúncio.
**Tencent News "Periscope": Que comentários você tem sobre o texto desta carta? **
David Krueger: Proponho usar apenas uma frase. Existem várias razões.
Primeiro, quando você tem uma declaração longa, há uma boa chance de que alguém discorde dela.
Vimos há alguns meses que o Future of Life Institute emitiu um pedido de moratória imediata em todos os laboratórios de IA que treinam sistemas de IA mais poderosos que o GPT-4 por pelo menos 6 meses. A reação de muitas pessoas a isso é que parece ótimo, mas não acho que podemos interromper o desenvolvimento da inteligência artificial.
Claro que eles fizeram essa afirmação e ainda é válida porque quando as pessoas dizem que não podemos pausar é um sinal de que precisamos agir. Nós realmente precisamos da capacidade de suspender uma tecnologia que é muito perigosa para ser desenvolvida.
Eu uso este exemplo para ilustrar que quanto mais você fala, mais as pessoas discordam. Nesse caso, não mencionamos como lidar com esse risco, porque as pessoas têm opiniões diferentes sobre o método correto; também não dissemos por que isso pode levar à extinção humana, porque pessoas diferentes têm opiniões diferentes sobre isso - alguns as pessoas estão mais preocupadas com a tecnologia. Mal utilizada, outras estão mais preocupadas com a tecnologia ficando fora de controle, o que não é o resultado intencional de um ator mal-intencionado.
De qualquer forma, desde que muitas pessoas concordem que isso é um grande risco e que precisamos agir, tudo bem.
O risco 02AI é fundamentalmente diferente do motor a vapor
**Tencent News "Periscope": Qual é a maior diferença entre as preocupações das pessoas sobre a ameaça da inteligência artificial e o medo das pessoas de motores a vapor há duzentos ou trezentos anos? **
David Krueger: Não sei muito sobre essa história. Não tenho certeza se alguém disse que isso levaria à extinção da humanidade na época. Se alguém tivesse dito isso, também não tenho certeza de que tipo de argumentos eles usariam, me parece improvável.
A principal diferença é que estamos falando de extinção. Estamos falando de uma tecnologia que é potencialmente mais inteligente e mais poderosa que os humanos em todas as capacidades relevantes.
A máquina a vapor nos permite criar forças físicas mais fortes e mais rápidas que os humanos. Mas a máquina a vapor não é inteligente e relativamente fácil de controlar. Mesmo que alguém fique fora de controle, o pior cenário é que ele funcione mal e os que estiverem nele possam morrer ou se ferir. Mas se um sistema inteligente ou um sistema autorreplicante sai do controle, muitas pessoas podem morrer porque ele pode crescer e ganhar mais poder, e essa é a principal diferença.
**Tencent News "Periscope": Algumas pessoas pensam que as declarações públicas só podem parar as pessoas boas, tentando fazer com que as pessoas boas prestem mais atenção às questões de segurança e diminuam a velocidade da pesquisa e desenvolvimento, mas não podem parar as ações das pessoas más . Como prevenir os bandidos? **
David Krueger: Regulando o comportamento por meio da regulamentação e da cooperação internacional.
Eu realmente não gosto de falar sobre isso em termos de "mocinhos" e "bandidos" porque todo mundo sempre pensa que eles são mocinhos. O principal risco que me preocupa não é a manipulação maliciosa de sistemas de IA por algum bandido ou ator malicioso, mas algo como a mudança climática – os indivíduos podem ganhar mais queimando mais combustíveis fósseis ou fazendo sistemas mais poderosos que são mais difíceis de controlar. benefícios, mas cada um carrega algum custo. No caso das mudanças climáticas, isso pode causar danos ao meio ambiente. No caso da inteligência artificial, o risco é que o sistema saia do controle e leve à catástrofe.
Esta é mais uma questão motivacional. Na verdade, os humanos se preocupam mais consigo mesmos, com seus amigos, entes queridos e com sua comunidade do que com algum estranho do outro lado do mundo. Portanto, não são necessárias intenções maliciosas, apenas instintos egoístas. É por isso que a regulamentação é necessária, é a forma de resolver esses tipos de problemas de interesse humano comum.
O trabalho de alinhamento 03AI tem muitos mistérios não resolvidos
** Tencent News "Periscope": Seus interesses de pesquisa são aprendizado profundo, alinhamento de IA e segurança. Você pode explicar o que é alinhamento em uma linguagem que as pessoas comuns possam entender? Você disse que "o alinhamento será um dos principais impulsionadores do desenvolvimento da IA", por que isso é tão importante? **
David Krueger: Gosto de dizer que as pessoas têm três interpretações diferentes disso. Uma delas é fazer com que os sistemas de IA atuem de acordo com nossa vontade. Mas não acho que seja uma boa definição, é muito ampla e cada engenheiro está tentando fazer o sistema de IA se comportar como quiser.
Existe também uma definição mais específica, que é "alinhamento por intenção". Na minha opinião, esta é a definição correta e se refere a fazer o sistema tentar fazer o que queremos que ele faça. Ao projetar um sistema, você deseja que ele tenha as intenções, motivações e objetivos corretos. Ainda pode não ser capaz de agir como você deseja, porque pode não ser capaz ou inteligente o suficiente para saber como realizar seus desejos. Mas se tiver a intenção certa, pode-se dizer que está alinhado.
O significado final que as pessoas têm para alinhamento é qualquer esforço tecnológico para reduzir o risco de extinção humana. Às vezes, também se refere à comunidade de pessoas como eu, especializadas na área de alinhamento e segurança. Essa também não é minha definição preferida. Esta é apenas uma ideia que as pessoas têm de como resolver este problema. Em última análise, porém, é necessário mais trabalho em governança, regulamentação e cooperação internacional, como a conclusão de tratados, necessários para mitigar esse risco.
** Tencent News "Periscope": Que novos progressos as empresas de tecnologia e as instituições de pesquisa científica fizeram recentemente na tecnologia de alinhamento? Quais são os desafios e problemas mais prementes que você enfrenta? **
David Krueger: O mais importante é ajustar as técnicas para grandes modelos de linguagem.Eles fizeram muito trabalho para mudar o comportamento do modelo. Por exemplo, a diferença entre GPT-3 e GPT-4 é que o sistema está alinhado para atuar mais de acordo com a intenção do projetista. Principalmente por meio de aprendizado por reforço e feedback humano, embora os detalhes não sejam públicos. Isso funcionou na maior parte, mas não eliminou completamente os problemas com esses modelos.
Eu me preocupo que esta técnica possa não ser suficiente para sistemas mais robustos, já que as mudanças que ela faz no comportamento podem ser relativamente superficiais. Esse problema pode se tornar mais sério à medida que o sistema se torna mais poderoso.
É como a analogia do treinamento de animais, como se você treinasse um cachorro para não subir nos móveis. Talvez ele faça isso muito bem quando você está lá, mas se você sair da sala, ele ainda pega os móveis. Situações semelhantes podem ocorrer nesses modelos. Eles podem parecer alinhados, mas ainda podem se comportar mal se acharem que não perceberemos seu mau comportamento.
**Tencent News "Periscope": Quando a inteligência da IA é muito mais inteligente do que os humanos, como os humanos podem concluir o trabalho de alinhamento em um corpo superinteligente? **
David Krueger: Esta é uma questão de pesquisa em aberto. Portanto, é importante realizar pesquisas sobre o alinhamento da IA para encontrar a resposta para essa pergunta.
**Tencent News "Periscope": Como podemos fazer a IA amar os seres humanos em vez de prejudicá-los por meio do alinhamento? **
David Krueger: Essa é a mesma pergunta da anterior. Eu gostaria de ter uma resposta, mas ainda não sei.
04 Esses três principais incentivos podem aumentar o risco de IA fora de controle
**Tencent News "Periscope": Na sua opinião, em que ponto da história da IA é esse ponto no tempo? **
David Krueger: Chegamos a um ponto em que o mundo está acordando para os riscos. Há muito tempo que espero por este momento.
**Tencent News "Periscope": Desde que você ouviu o curso de aprendizado profundo ministrado por Geoffrey Hinton há dez anos, você teme que a IA possa levar à extinção dos seres humanos. Por que você começou a se preocupar tão cedo? **
David Krueger: Eu estava preocupado em princípio que isso aconteceria em algum momento porque um dia seria mais inteligente que os humanos, mas quando vi a aula de Hinton, minhas preocupações mudaram. O aprendizado profundo tem o potencial de produzir inteligência real do que qualquer outro método que já ouvi antes.
** Tencent News "Periscope": Em que circunstâncias o sistema de inteligência artificial ficará fora de controle? **
David Krueger: Um, se eles são mais espertos do que nós, você começa a se preocupar quando eles se descontrolam nos detalhes, mas é difícil prever exatamente como isso vai acontecer.
Um segundo fator que aumenta o risco é que há muita concorrência para desenvolver e implantar sistemas de IA poderosos o mais rápido possível. Atualmente, vemos essa competição existente entre o Google e a Microsoft. Há também preocupações com a concorrência internacional, que pode ser econômica, pode ser geopolítica, pode até ser militar.
O terceiro fator é se você está construindo sistemas de IA que têm um impacto mais imediato no mundo. Os sistemas que vimos até agora são apenas modelos de linguagem, apenas geram texto. Mas também há muitas pessoas procurando combiná-los com outros sistemas, como usá-los para escrever código, usá-los para controlar coisas diferentes, seja online ou usá-los para controlar coisas no mundo real. Dar a esses sistemas mais controle e autonomia aumenta o risco.
Comparando isso com os sistemas que temos hoje, que são treinados apenas para prever texto, esta é uma maneira relativamente segura de construir sistemas - em comparação com pedir ao sistema para atingir uma meta em um determinado ambiente, especialmente em comparação com o sistema em e Este é mais seguro do que alcançar objetivos em um ambiente onde o mundo real, o mundo físico, interage com frequência. Quando os sistemas tentam alcançar objetivos no mundo real, eles podem naturalmente tentar adquirir mais recursos e poder, porque estes são úteis para alcançar objetivos de longo prazo.
Assim, quanto mais aberto, autônomo e inteligente for um sistema, e quanto mais ele for projetado para alcançar objetivos de longo prazo, maior será o risco de que o sistema fique fora de controle.
** Tencent News "Periscope": Se você acha que uma estrutura para colaboração global deve ser formulada para garantir que os países sigam princípios e padrões comuns no desenvolvimento de IA, quais devem ser esses princípios e padrões específicos? **
David Krueger: Precisamos absolutamente fazer isso e precisamos começar a fazê-lo com urgência. Porque vai ser difícil e vai exigir muitas discussões e negociações porque existem muitos conflitos e diferenças entre os diferentes países.
Quanto aos detalhes, é algo em que ainda estou pensando. Queremos ter certeza de que temos algum corpo diretivo ou sistema de governança muito legítimo que possa pressionar por uma moratória se, em algum momento no futuro, sentirmos a necessidade de fazê-lo. Esta é uma parte importante dela.
As coisas ficam mais complicadas quando se trata dos sistemas que estamos desenvolvendo e implantando. Gostaríamos de ter alguns mecanismos de teste, avaliação e auditoria. Também podemos precisar considerar alguma forma de licenciamento, mas há muitos detalhes a serem resolvidos. No momento, não tenho um cenário completo na cabeça. É por isso que espero que possamos inspirar mais pessoas na formulação de políticas, com experiência em política e relações internacionais, a pensar sobre isso.
**Tencent News "Periscope": No atual sistema de inteligência artificial, quais aspectos precisam ser melhorados o mais rápido possível para lidar com possíveis riscos e ameaças? **
David Krueger: Um é a robustez (Nota: Robustez refere-se à capacidade do sistema de sobreviver em situações anormais e perigosas). Nossos sistemas atuais têm problemas significativos com robustez, principalmente o problema de robustez adversária, onde pequenas alterações em uma entrada, mesmo imperceptíveis para os humanos, podem ter um grande impacto no comportamento do sistema. Esse problema é conhecido há cerca de 10 anos, mas ainda parece não ter solução. Isso é muito problemático se considerarmos sistemas que perseguem algum objetivo e tentam otimizar sua compreensão desse objetivo. Porque dependendo do entendimento do objetivo, o resultado ideal pode ser muito diferente do que imaginamos ou pretendemos. E as avaliações que estamos fazendo agora são difíceis de detectar.
Outra é a nossa falta de compreensão de como esses sistemas funcionam. Queremos muito entender como esses sistemas funcionam, é uma das melhores maneiras de prever seu comportamento. Queremos garantir que eles não se comportem de maneira inesperada e perigosa em novas situações. Isso está relacionado à questão da robustez.
**05 A extinção humana está longe? **
**Tencent News "Periscope": Olhando agora, os seres humanos estão longe da extinção? Quantos anos se espera que seja? **
David Krueger: Jeffrey Hinton continua dizendo que levará 20 anos ou menos para obter inteligência artificial geral (AGI), que é um prazo razoável. Isso é bastante semelhante ao meu ponto de vista.
Acho que os humanos podem ser extintos logo depois disso, mas pode levar mais tempo, e acho que é isso que estou tentando enfatizar, mesmo que daqui a décadas, precisamos começar a abordar isso o mais rápido possível.
Voltando novamente à analogia da mudança climática. Levamos décadas para começar a tomar medidas efetivas, e ainda não foi feito o suficiente para evitar as terríveis consequências das mudanças climáticas. Isso ocorre porque é um problema complexo de coordenação global. A inteligência artificial enfrentará uma situação semelhante. Devemos começar o mais cedo possível.
** Tencent News "Periscope": um grande modelo de linguagem pode trazer AGI? **
David Krueger: Muitas pessoas estão fazendo essa pergunta agora. Meu ponto é mais complicado. Eu diria que é possível, mas é mais provável que precise ser combinada com outras tecnologias, e talvez até mesmo alguma nova tecnologia precise ser desenvolvida.
**Tencent News "Periscope": Como você vê a relação entre humanos e inteligência artificial? Os humanos serão uma transição inteligente? **
David Krueger: Só o tempo dirá. Espero que não. Mas agora, esta é uma questão que ainda temos alguma iniciativa e capacidade para orientar e decidir como o futuro se desenvolverá. Se pudermos agir de maneira inteligente e coordenada, se tivermos sorte, caberá a nós, como humanos, decidir se a IA assumirá o controle em algum momento.
** Tencent News "Periscope": Hinton tem um ponto de vista muito interessante. Ele disse: "As lagartas extraem nutrientes e depois se transformam em borboletas. As pessoas extraíram bilhões de nutrientes cognitivos. GPT-4 é a borboleta humana." Você concorda com este ponto de vista? **
David Krueger: Muito poético, e não acho que seja totalmente preciso, mas talvez chegue a alguma verdade essencial de que um sistema de IA não precisa necessariamente aprender tudo da maneira mais difícil do zero. Os seres humanos precisam passar por uma longa evolução para atingir o nível de inteligência humana, mas agora os humanos produziram todos esses produtos culturais, incluindo todos os textos na Internet, o que é muito inspirador para os sistemas de IA. Como tal, eles não precisam necessariamente passar por toda a sua evolução novamente para atingir um nível semelhante de inteligência.
**Tencent News "Periscope": Esta é sua primeira vez na China? Qual é a sua impressão de vir para a China? Você tem alguma sugestão para o desenvolvimento de inteligência artificial e modelos em grande escala na China? **
David Krueger: Esta é minha primeira vez na China. Acabei de chegar ontem de manhã. Toda a visita foi para conhecer e conversar com as pessoas, as pessoas eram amigáveis e tive uma boa experiência aqui. Mas não sinto que realmente experimentei a China. Estou apenas me encontrando com pesquisadores, infelizmente será uma viagem curta para mim, mas espero pelo menos dar uma boa olhada em Pequim no meu último dia antes de partir.
(Conselho para a China) Acho importante pensar e entender segurança e alinhamento. Pelas conversas que tive, fica claro que as pessoas já estão trabalhando nisso, pelo menos até certo ponto.
**Tencent News "Periscope": Muitas cenas do filme "Her" gradualmente apareceram em nosso mundo real. Os humanos têm emoções para a inteligência artificial? Você sente um apego emocional ao modelo de IA que desenvolve? **
David Krueger: Não tenho um, mas pelo que sei, algumas pessoas têm.
Existem chatbots semelhantes de inteligência artificial para namoradas, e alguém se tornou emocionalmente dependente do relacionamento. Esta é uma triste consequência desta tecnologia.