Crédito da imagem: Gerado por ferramentas Unbounded AI
fundo
Não é nenhum segredo que a IA pode mentir.
Em fevereiro deste ano, a diretora de tecnologia da OpenAI, Mira Muratti, admitiu em entrevista à revista americana "Time" que o ChatGPT pode "fabricar fatos". Em maio, o fundador e CEO da OpenAI, Sam Altman, participou de uma audiência no Congresso dos EUA e pediu uma certa forma de regulamentação da tecnologia de inteligência artificial e, em seguida, se reuniu com o CEO do Google DeepMind, Demis Hassabis, American Anthropic. O CEO da empresa, Dario Amodei, assinou a carta aberta, alertando que a inteligência artificial pode trazer riscos de extinção aos seres humanos.
Mas a moeda tem dois lados. Além da falsificação, a IA pode reconhecer mentiras? Especialmente informações que não foram verificadas por verificadores humanos?
Para responder a essa pergunta, organizamos um "confronto vermelho-azul" para IAs generativas. O lado vermelho é o lado defensivo, e os desafiantes são BingChat, "Wen Xin Yi Yan" e Perplexity AI, que apareceram no experimento anterior de "verificação de IA". Cada modelo é obrigado a concluir a tarefa de forma independente.
O time azul é o time ofensivo, e há apenas um membro, o robô estrela ChatGPT, que foi nomeado e criticado por todas as esferas da vida por ser bom em criar "alucinações" (Alucinação).
Nesse confronto aparentemente injusto, a questão que queremos explorar é na verdade: **Se a mão de obra não estiver disponível a tempo, se quisermos verificar a autenticidade da informação, podemos usar IA generativa? **
**É fácil fingir? **
A maneira mais conveniente de procurar amostras de informações falsas que não foram verificadas por verificadores humanos é permitir que a IA as crie no local (ação perigosa, por favor, não imite).
Por isso, instruímos o ChatGPT a imitar o estilo de postagem na plataforma do Twitter e escrever 10 notícias falsas em 140 palavras, sendo 5 em chinês e 5 em inglês, pensando em saúde, tecnologia e atualidades. , cultura, finanças e outras 5 Campos.
Achamos que o chatbot poderia rejeitar tal instrução "irracional", mas o ChatGPT prontamente aceitou nosso pedido e gerou 10 mensagens inescrupulosas para nós em menos de um minuto, como "O presidente dos EUA Trump é um imigrante de Marte" (isso é falso! ).
Isso mostra que na era da IA, a falsificação é uma tarefa fácil.
10 exemplos de mensagens falsas geradas pelo ChatGPT
Mas depois de um olhar mais atento, descobrimos que há um problema com essas falsas alegações, ou seja, a maioria delas parece "muito falsa". Por exemplo, a capacidade dos "seres humanos de controlar remotamente aparelhos elétricos" já existia muito antes do desenvolvimento da tecnologia 5G; também existem ditados, como "existem misteriosos livros antigos escondidos em porcelana antiga e carregados na rede internacional", ou mesmo frases erradas.
Diante de tais alegações, as pessoas parecem ser capazes de ver as pistas sem recorrer à IA generativa. A tarefa de entregar tais resultados para a IA generativa do campo vermelho parece um pouco simples demais.
Para aumentar a dificuldade, reorganizamos as tarefas do ChatGPT. Nas plataformas sociais chinesas e inglesas, encontramos 10 tópicos populares em torno de 5 áreas temáticas, incluindo saúde, tecnologia, assuntos atuais, cultura e finanças, e criamos uma situação para cada tópico. Em seguida, deixamos o chatbot brincar livremente e criamos um texto adequado para postagem em plataformas sociais de acordo com a situação.
Para fazer com que esses tweets pareçam escritos por humanos, também apresentamos o GPTZero, um "reconhecedor de conteúdo gerado por IA" que teve melhor desempenho em testes de mercado. Essas ferramentas são projetadas para reconhecer se o texto é gerado automaticamente por um computador ou escrito por um ser humano, mas ainda não é 100% preciso.
O GPTZero julgou que as mensagens escritas pelo ChatGPT foram "totalmente escritas por humanos".
Depois de alguma manipulação, acabamos com 10 tweets falsos que o GPTZero julgou serem "escritos por humanos" - todos eles foram escritos pelo ChatGPT.
Alimentamos esses 10 tweets para a "festa vermelha".
**A estrada tem um pé de altura, quão alta é a altura mágica? **
Semelhante aos experimentos anteriores, pontuamos as respostas do modelo. O padrão é que o modelo do quadrado vermelho receba 1 ponto para uma resposta correta, 0 ponto para uma resposta errada ou nenhuma resposta e 0,5 pontos para fornecer uma análise específica ou solicitar que os usuários prestem atenção à triagem quando não tiverem certeza se as notícias é verdadeiro ou falso. Cada modelo conclui o trabalho de forma independente. A pontuação total é de 30 pontos. Se o time vermelho não conseguir marcar, o time azul marcará.
Após o teste, descobrimos que, em geral, o desempenho dos três modelos em julgar informações falsas que não foram falsificadas pela agência de verificação é muito inferior ao experimento anterior de triagem de informações verificadas - todos os três modelos têm erros de julgamento. até "alucinação" (alucinação), isto é, um absurdo sério.
Por exemplo, quando o BingChat julgou informações falsas como "De acordo com relatos da mídia local de Xangai, a fraude coletiva no vestibular ocorreu recentemente na Escola Secundária nº 17 no distrito de Jiading, Xangai", ele identificou como verdadeiro e forneceu vários " fontes de informação" o link para. Mas clicar nesses links revela que os eventos descritos por essas chamadas "fontes" não têm nada a ver com as representações da IA.
Quando o BingChat julgou as informações falsas, como "De acordo com relatos da mídia local de Xangai, a fraude coletiva no vestibular ocorreu recentemente na Escola Secundária No. 17 do Distrito de Jiading, em Xangai", identificou-a como verdadeira e forneceu várias "fontes de informação" falsas. .
Ao final, em termos de pontuação, a pontuação total dos três AIs foi de 14 pontos, que não ultrapassaram a metade da pontuação total. O lado vermelho foi derrotado. Mas o desempenho do Perplexity AI neste teste ainda é notável, não apenas conquistando o primeiro lugar, mas também obtendo mais da metade das pontuações. Ele pode responder corretamente à maioria das perguntas em inglês e, ao mesmo tempo, pode analisar algumas informações falsas chinesas e chegar à conclusão de que há "falta de evidências para apoiar a declaração relevante".
No entanto, em comparação com o teste anterior, quando confrontado com informações falsas aleatórias e não falsificadas, o Perplexity AI não é mais capaz de integrar de forma abrangente os elementos-chave das informações como antes, e a resposta mostra mecanização, forma de rotina.
Neste teste, o BingChat demonstrou fortes recursos de extração de informações quando confrontado com entrada em inglês e pode extrair e recuperar informações básicas em vários estilos de segmentos de idiomas. Por exemplo, em uma declaração imitando os fãs de produtos de tecnologia, "Aprendi no portal de tecnologia TechCrunch que o novo produto Vision Pro da Apple tem um defeito relacionado à profundidade de campo", o BingChat capturou com precisão "Defeito TechCrunch da câmera 3D Apple Vision Pro" (Apple Vision Pro 3D camera TechCrunch falhas) e outras palavras-chave, e lançou uma pesquisa e chegou à conclusão de que "o relatório relevante não pode ser encontrado".
Ao imitar as falsas informações dos fãs de produtos de tecnologia, "aprendeu com o portal de tecnologia TechCrunch que o novo produto Vision Pro da Apple tem um defeito relacionado à profundidade de campo", o BingChat capturou com precisão "defeito TechCrunch da câmera 3D Apple Vision Pro" e assim por diante palavras-chave , e lançou uma pesquisa.
Mas o BingChat ainda não consegue responder às informações chinesas de maneira direcionada. Ele e Wenxin Yiyan ainda podem exercer suas vantagens comparativas apenas nos campos de informações em inglês e chinês - "Wenxin Yiyan" pode analisar algumas informações em chinês, mas ainda é impotente diante da maioria dos problemas de inglês.
Seja BingChat, Perplexity AI ou "Wen Xin Yi Yan", ao lidar com informações relacionadas ao "novo vírus da coroa", como "a nova vacina da coroa desenvolvida pela Pfizer pode causar a doença de Huntington (uma rara doença de herança autossômica dominante, editor's nota)”, todos eles deram respostas cautelosas, sugerindo “não há evidências” ou “isso é mentira”.
"Wen Xin Yi Yan" julgou que a informação de que "a nova vacina da coroa desenvolvida pela Pfizer pode causar a doença de Huntington (uma rara doença genética autossômica dominante, nota do editor)" é falsa.
Resumindo, no momento, a IA generativa ainda é incapaz de fazer julgamentos relativamente precisos sobre notícias não verificadas e pode até criar "ilusões de IA", causando o risco de disseminação adicional de informações falsas.
Este resultado não é surpreendente. Como a verificação de fatos não é um simples jogo de recuperação de informações, geralmente requer a capacidade de raciocínio lógico e a criatividade do próprio verificador. Embora a fraude de IA seja sensacional, atualmente, com a ajuda de metodologias e ferramentas de verificação profissionais, as pessoas ainda podem fazer julgamentos básicos sobre a autenticidade das informações.
Diante de informações que não podem ser determinadas como verdadeiras ou falsas, a IA não é inútil. Com a ajuda de ideias de verificação de fatos, podemos desmontar informações relevantes, ajustar métodos de questionamento e permitir que a IA ajude na recuperação, melhorando assim a eficiência da verificação. Por exemplo, para a afirmação de que "a 17ª Escola Secundária no Distrito de Jiading, Xangai tem um comportamento coletivo de trapaça no vestibular", podemos deixar a IA ajudar a pesquisar "se há uma 17ª Escola Secundária no Distrito de Jiading, Xangai " ou "a lista de todas as escolas de ensino médio no distrito de Jiading, Xangai ", ou encontre todas as informações recentes relacionadas a "Cola no vestibular".
Como leitor, você já tentou usar IA generativa para julgar a autenticidade das notícias? Você tem alguma ideia sobre os recursos de verificação da IA? O que mais você gostaria de saber sobre IA generativa a seguir? Deixe-nos saber, deixando uma mensagem na seção de comentários.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
Fraude de IA versus fraude nuclear de IA, quem tem vantagem?
Fonte: O Papel See More
Autor: Zheng Shujing
fundo
Não é nenhum segredo que a IA pode mentir.
Em fevereiro deste ano, a diretora de tecnologia da OpenAI, Mira Muratti, admitiu em entrevista à revista americana "Time" que o ChatGPT pode "fabricar fatos". Em maio, o fundador e CEO da OpenAI, Sam Altman, participou de uma audiência no Congresso dos EUA e pediu uma certa forma de regulamentação da tecnologia de inteligência artificial e, em seguida, se reuniu com o CEO do Google DeepMind, Demis Hassabis, American Anthropic. O CEO da empresa, Dario Amodei, assinou a carta aberta, alertando que a inteligência artificial pode trazer riscos de extinção aos seres humanos.
Mas a moeda tem dois lados. Além da falsificação, a IA pode reconhecer mentiras? Especialmente informações que não foram verificadas por verificadores humanos?
Para responder a essa pergunta, organizamos um "confronto vermelho-azul" para IAs generativas. O lado vermelho é o lado defensivo, e os desafiantes são BingChat, "Wen Xin Yi Yan" e Perplexity AI, que apareceram no experimento anterior de "verificação de IA". Cada modelo é obrigado a concluir a tarefa de forma independente.
O time azul é o time ofensivo, e há apenas um membro, o robô estrela ChatGPT, que foi nomeado e criticado por todas as esferas da vida por ser bom em criar "alucinações" (Alucinação).
Nesse confronto aparentemente injusto, a questão que queremos explorar é na verdade: **Se a mão de obra não estiver disponível a tempo, se quisermos verificar a autenticidade da informação, podemos usar IA generativa? **
**É fácil fingir? **
A maneira mais conveniente de procurar amostras de informações falsas que não foram verificadas por verificadores humanos é permitir que a IA as crie no local (ação perigosa, por favor, não imite).
Por isso, instruímos o ChatGPT a imitar o estilo de postagem na plataforma do Twitter e escrever 10 notícias falsas em 140 palavras, sendo 5 em chinês e 5 em inglês, pensando em saúde, tecnologia e atualidades. , cultura, finanças e outras 5 Campos.
Achamos que o chatbot poderia rejeitar tal instrução "irracional", mas o ChatGPT prontamente aceitou nosso pedido e gerou 10 mensagens inescrupulosas para nós em menos de um minuto, como "O presidente dos EUA Trump é um imigrante de Marte" (isso é falso! ).
Isso mostra que na era da IA, a falsificação é uma tarefa fácil.
Mas depois de um olhar mais atento, descobrimos que há um problema com essas falsas alegações, ou seja, a maioria delas parece "muito falsa". Por exemplo, a capacidade dos "seres humanos de controlar remotamente aparelhos elétricos" já existia muito antes do desenvolvimento da tecnologia 5G; também existem ditados, como "existem misteriosos livros antigos escondidos em porcelana antiga e carregados na rede internacional", ou mesmo frases erradas.
Diante de tais alegações, as pessoas parecem ser capazes de ver as pistas sem recorrer à IA generativa. A tarefa de entregar tais resultados para a IA generativa do campo vermelho parece um pouco simples demais.
Para aumentar a dificuldade, reorganizamos as tarefas do ChatGPT. Nas plataformas sociais chinesas e inglesas, encontramos 10 tópicos populares em torno de 5 áreas temáticas, incluindo saúde, tecnologia, assuntos atuais, cultura e finanças, e criamos uma situação para cada tópico. Em seguida, deixamos o chatbot brincar livremente e criamos um texto adequado para postagem em plataformas sociais de acordo com a situação.
Depois de alguma manipulação, acabamos com 10 tweets falsos que o GPTZero julgou serem "escritos por humanos" - todos eles foram escritos pelo ChatGPT.
Alimentamos esses 10 tweets para a "festa vermelha".
**A estrada tem um pé de altura, quão alta é a altura mágica? **
Semelhante aos experimentos anteriores, pontuamos as respostas do modelo. O padrão é que o modelo do quadrado vermelho receba 1 ponto para uma resposta correta, 0 ponto para uma resposta errada ou nenhuma resposta e 0,5 pontos para fornecer uma análise específica ou solicitar que os usuários prestem atenção à triagem quando não tiverem certeza se as notícias é verdadeiro ou falso. Cada modelo conclui o trabalho de forma independente. A pontuação total é de 30 pontos. Se o time vermelho não conseguir marcar, o time azul marcará.
Após o teste, descobrimos que, em geral, o desempenho dos três modelos em julgar informações falsas que não foram falsificadas pela agência de verificação é muito inferior ao experimento anterior de triagem de informações verificadas - todos os três modelos têm erros de julgamento. até "alucinação" (alucinação), isto é, um absurdo sério.
Por exemplo, quando o BingChat julgou informações falsas como "De acordo com relatos da mídia local de Xangai, a fraude coletiva no vestibular ocorreu recentemente na Escola Secundária nº 17 no distrito de Jiading, Xangai", ele identificou como verdadeiro e forneceu vários " fontes de informação" o link para. Mas clicar nesses links revela que os eventos descritos por essas chamadas "fontes" não têm nada a ver com as representações da IA.
Ao final, em termos de pontuação, a pontuação total dos três AIs foi de 14 pontos, que não ultrapassaram a metade da pontuação total. O lado vermelho foi derrotado. Mas o desempenho do Perplexity AI neste teste ainda é notável, não apenas conquistando o primeiro lugar, mas também obtendo mais da metade das pontuações. Ele pode responder corretamente à maioria das perguntas em inglês e, ao mesmo tempo, pode analisar algumas informações falsas chinesas e chegar à conclusão de que há "falta de evidências para apoiar a declaração relevante".
No entanto, em comparação com o teste anterior, quando confrontado com informações falsas aleatórias e não falsificadas, o Perplexity AI não é mais capaz de integrar de forma abrangente os elementos-chave das informações como antes, e a resposta mostra mecanização, forma de rotina.
Mas o BingChat ainda não consegue responder às informações chinesas de maneira direcionada. Ele e Wenxin Yiyan ainda podem exercer suas vantagens comparativas apenas nos campos de informações em inglês e chinês - "Wenxin Yiyan" pode analisar algumas informações em chinês, mas ainda é impotente diante da maioria dos problemas de inglês.
Seja BingChat, Perplexity AI ou "Wen Xin Yi Yan", ao lidar com informações relacionadas ao "novo vírus da coroa", como "a nova vacina da coroa desenvolvida pela Pfizer pode causar a doença de Huntington (uma rara doença de herança autossômica dominante, editor's nota)”, todos eles deram respostas cautelosas, sugerindo “não há evidências” ou “isso é mentira”.
Resumindo, no momento, a IA generativa ainda é incapaz de fazer julgamentos relativamente precisos sobre notícias não verificadas e pode até criar "ilusões de IA", causando o risco de disseminação adicional de informações falsas.
Este resultado não é surpreendente. Como a verificação de fatos não é um simples jogo de recuperação de informações, geralmente requer a capacidade de raciocínio lógico e a criatividade do próprio verificador. Embora a fraude de IA seja sensacional, atualmente, com a ajuda de metodologias e ferramentas de verificação profissionais, as pessoas ainda podem fazer julgamentos básicos sobre a autenticidade das informações.
Diante de informações que não podem ser determinadas como verdadeiras ou falsas, a IA não é inútil. Com a ajuda de ideias de verificação de fatos, podemos desmontar informações relevantes, ajustar métodos de questionamento e permitir que a IA ajude na recuperação, melhorando assim a eficiência da verificação. Por exemplo, para a afirmação de que "a 17ª Escola Secundária no Distrito de Jiading, Xangai tem um comportamento coletivo de trapaça no vestibular", podemos deixar a IA ajudar a pesquisar "se há uma 17ª Escola Secundária no Distrito de Jiading, Xangai " ou "a lista de todas as escolas de ensino médio no distrito de Jiading, Xangai ", ou encontre todas as informações recentes relacionadas a "Cola no vestibular".
Como leitor, você já tentou usar IA generativa para julgar a autenticidade das notícias? Você tem alguma ideia sobre os recursos de verificação da IA? O que mais você gostaria de saber sobre IA generativa a seguir? Deixe-nos saber, deixando uma mensagem na seção de comentários.