大規模モデルメーカーの長文の背後

大規模モデル技術の急速な発展に伴い、長文処理能力はモデルのパフォーマンスを測る重要な指標の一つとなりました。最初の4000トークンから現在の40万トークンまで、大規模モデルは長文処理において顕著な進展を遂げています。

現在、多くのトップモデル企業や研究機関がコンテキストの長さの拡張をアップグレードの重点としている。例えば、OpenAIは何度もアップグレードを行い、GPT-3.5とGPT-4のコンテキストの長さをそれぞれ1.6万と3.2万tokenに引き上げた。Anthropicは一度にコンテキストの長さを10万tokenに拡張した。国内の月の暗面が発表したKimi Chatは、約40万tokenのテキスト入力をサポートしている。

長文処理能力の向上は、モデルがより多くの情報を処理できることを意味するだけでなく、金融、法律、研究などの専門分野での応用の基礎を築くことにもなります。これらの分野は、大量の複雑な文書を処理する必要があり、要約、読解、質問応答能力に対する要求が高いことが多いです。

しかし、より長いコンテキスト入力をサポートすることは、モデルの性能の全体的な向上と同じではありません。研究によれば、モデルがコンテキストの内容を効果的に活用することが重要です。現在、長文技術の探求は続いており、40万トークンは始まりに過ぎないかもしれません。

長文技術の発展を促進する理由は主に以下の点です：

1. 現在のアプリケーションの実装の困難を解決する、例えば、バーチャルキャラクターのシーンにおける記憶の問題、専門分野の深い内容分析など。

2. 将来のエージェントとAIネイティブアプリケーションをサポートします。これらのアプリケーションは、意思決定を行い、一貫した体験を維持するために、歴史的情報に依存する必要があります。

3. より多くの文脈情報を提供することで、モデルの幻覚問題を減少させ、推論の正確性を向上させる。

4. 大規模モデルを専門化、個性化、深度化の方向に推進し、産業の実現とスーパ－アプリの登場への道を切り開く。

しかし、長文技術の発展は「不可能な三角形」のジレンマにも直面しています：テキストの長さ、注意力、計算能力の間の矛盾です。これは主にTransformer構造における自己注意メカニズムの計算の複雑さが文脈の長さに対して二次的に増加することに起因しています。

この問題を解決するために、現在主に三つの解決策があります：

1. 外部ツールを利用して長いテキストを処理する、例えば長いテキストをいくつかの短いテキストに分割して処理する。

2. 自己注意機構の計算を最適化する。例えば、LongLoRA技術はグループ計算を通じて計算量を削減します。

3. モデルを最適化する、例えばLongLLaMAは微調整によってより長いシーケンスの外挿を実現します。

長文技術は依然として課題に直面していますが、それは大規模モデルのさらなる発展と応用の実現に新たな可能性を提供します。将来的には、大規模モデルの製造業者は、テキストの長さ、注意力、計算能力の間で最適なバランスを見つけるために努力し、より強力な長文処理能力を実現するでしょう。