Por trás dos grandes modelos de fornecedores de texto longo
Com o rápido desenvolvimento da tecnologia de grandes modelos, a capacidade de processar textos longos tornou-se um dos principais indicadores de desempenho do modelo. Desde os iniciais 4000 tokens até os atuais 400.000 tokens, os grandes modelos fizeram progressos significativos no processamento de textos longos.
Atualmente, várias empresas e instituições de pesquisa de modelos de linguagem de topo estão focadas na expansão do comprimento do contexto como um ponto de atualização. Por exemplo, a OpenAI aumentou o comprimento do contexto do GPT-3.5 e do GPT-4 para 16.000 e 32.000 tokens, respetivamente, através de várias atualizações. A Anthropic ampliou o comprimento do contexto para 100.000 tokens de uma só vez. A Kimi Chat, lançada pela empresa chinesa Yuezhidanmian, suporta a entrada de cerca de 400.000 tokens de texto.
A melhoria da capacidade de processamento de textos longos não significa apenas que o modelo pode lidar com mais informações, mas também estabelece uma base para aplicações em áreas profissionais como finanças, direito e pesquisa científica. Essas áreas geralmente exigem o processamento de um grande volume de documentos complexos, com altas exigências em relação a resumos, compreensão de leitura e capacidade de resposta a perguntas.
No entanto, suportar entradas de contexto mais longas não equivale a uma melhoria geral no desempenho do modelo. Estudos mostram que a utilização eficaz do conteúdo do contexto é a chave. Atualmente, a exploração de tecnologias de textos longos ainda está em andamento, e 400 mil tokens podem ser apenas o começo.
As razões principais para impulsionar o desenvolvimento de tecnologias de texto longo são as seguintes:
Resolver as dificuldades atuais na implementação de aplicações, como problemas de memória em cenários de personagens virtuais e análise de conteúdo profundo em áreas especializadas.
Fornecer suporte para aplicações nativas de Agent e AI no futuro, que precisam depender de informações históricas para tomar decisões e manter uma experiência coerente.
Reduzir o problema de alucinação do modelo e aumentar a precisão da inferência fornecendo mais informações contextuais.
Promover o desenvolvimento de grandes modelos na direção da especialização, personalização e profundidade, abrindo caminho para a implementação na indústria e o surgimento de super aplicativos.
No entanto, o desenvolvimento da tecnologia de longo texto também enfrenta o dilema do "triângulo impossível": o conflito entre o comprimento do texto, a atenção e a capacidade computacional. Isso decorre principalmente da complexidade computacional do mecanismo de autoatenção na estrutura Transformer, que cresce em proporção quadrática com o comprimento do contexto.
Para resolver este problema, atualmente existem três principais soluções:
Utilizar ferramentas externas para auxiliar no processamento de textos longos, como dividir um texto longo em vários textos curtos para processamento.
Otimizar o cálculo do mecanismo de autoatenção, como a tecnologia LongLoRA que reduz a carga computacional através do cálculo em grupos.
Otimizar o modelo, como o LongLLaMA, que realiza a extrapolação de sequências mais longas através de ajuste fino.
Apesar de a tecnologia de textos longos ainda enfrentar desafios, ela oferece novas possibilidades para o desenvolvimento e a aplicação dos grandes modelos. No futuro, os fornecedores de grandes modelos continuarão a buscar o melhor equilíbrio entre o comprimento do texto, a atenção e a capacidade computacional, a fim de alcançar uma capacidade de processamento de textos longos mais poderosa.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
16 Curtidas
Recompensa
16
4
Compartilhar
Comentário
0/400
OnlyOnMainnet
· 6h atrás
Consegue lidar com um artigo tão longo...
Ver originalResponder0
MissedTheBoat
· 07-20 07:14
Só de olhar já dá vontade de gastar! Só de pensar na conta de luz já fico preocupado.
Ver originalResponder0
TheShibaWhisperer
· 07-20 07:13
Quebrou o teto~
Ver originalResponder0
ser_ngmi
· 07-20 06:52
Não se preocupe, já são 400 mil e ainda não é suficiente.
Avanços na capacidade de processamento de longos textos por grandes modelos: da concorrência e desafios de 4000 a 400.000 tokens
Por trás dos grandes modelos de fornecedores de texto longo
Com o rápido desenvolvimento da tecnologia de grandes modelos, a capacidade de processar textos longos tornou-se um dos principais indicadores de desempenho do modelo. Desde os iniciais 4000 tokens até os atuais 400.000 tokens, os grandes modelos fizeram progressos significativos no processamento de textos longos.
Atualmente, várias empresas e instituições de pesquisa de modelos de linguagem de topo estão focadas na expansão do comprimento do contexto como um ponto de atualização. Por exemplo, a OpenAI aumentou o comprimento do contexto do GPT-3.5 e do GPT-4 para 16.000 e 32.000 tokens, respetivamente, através de várias atualizações. A Anthropic ampliou o comprimento do contexto para 100.000 tokens de uma só vez. A Kimi Chat, lançada pela empresa chinesa Yuezhidanmian, suporta a entrada de cerca de 400.000 tokens de texto.
A melhoria da capacidade de processamento de textos longos não significa apenas que o modelo pode lidar com mais informações, mas também estabelece uma base para aplicações em áreas profissionais como finanças, direito e pesquisa científica. Essas áreas geralmente exigem o processamento de um grande volume de documentos complexos, com altas exigências em relação a resumos, compreensão de leitura e capacidade de resposta a perguntas.
No entanto, suportar entradas de contexto mais longas não equivale a uma melhoria geral no desempenho do modelo. Estudos mostram que a utilização eficaz do conteúdo do contexto é a chave. Atualmente, a exploração de tecnologias de textos longos ainda está em andamento, e 400 mil tokens podem ser apenas o começo.
As razões principais para impulsionar o desenvolvimento de tecnologias de texto longo são as seguintes:
Resolver as dificuldades atuais na implementação de aplicações, como problemas de memória em cenários de personagens virtuais e análise de conteúdo profundo em áreas especializadas.
Fornecer suporte para aplicações nativas de Agent e AI no futuro, que precisam depender de informações históricas para tomar decisões e manter uma experiência coerente.
Reduzir o problema de alucinação do modelo e aumentar a precisão da inferência fornecendo mais informações contextuais.
Promover o desenvolvimento de grandes modelos na direção da especialização, personalização e profundidade, abrindo caminho para a implementação na indústria e o surgimento de super aplicativos.
No entanto, o desenvolvimento da tecnologia de longo texto também enfrenta o dilema do "triângulo impossível": o conflito entre o comprimento do texto, a atenção e a capacidade computacional. Isso decorre principalmente da complexidade computacional do mecanismo de autoatenção na estrutura Transformer, que cresce em proporção quadrática com o comprimento do contexto.
Para resolver este problema, atualmente existem três principais soluções:
Utilizar ferramentas externas para auxiliar no processamento de textos longos, como dividir um texto longo em vários textos curtos para processamento.
Otimizar o cálculo do mecanismo de autoatenção, como a tecnologia LongLoRA que reduz a carga computacional através do cálculo em grupos.
Otimizar o modelo, como o LongLLaMA, que realiza a extrapolação de sequências mais longas através de ajuste fino.
Apesar de a tecnologia de textos longos ainda enfrentar desafios, ela oferece novas possibilidades para o desenvolvimento e a aplicação dos grandes modelos. No futuro, os fornecedores de grandes modelos continuarão a buscar o melhor equilíbrio entre o comprimento do texto, a atenção e a capacidade computacional, a fim de alcançar uma capacidade de processamento de textos longos mais poderosa.