長文能力が大規模モデルメーカーの新しい"標準装備"となる

大規模モデルは驚異的な速度でそのテキスト処理能力を向上させており、初期の4000トークンから現在の40万トークンに拡張されています。長文処理能力は、大規模モデルの提供者の実力を測る新たな基準となっているようです。

現在、国内外のトップモデル企業や研究機関は、コンテキストの長さを重点的なアップグレードの方向性としています。OpenAIのGPTシリーズモデルは、何度もアップグレードされ、コンテキストの長さは4000から32,000トークンに増加しました。Anthropicは、コンテキストの長さを100,000トークンに引き上げました。国内の月の暗面が発表したKimi Chatは、20万漢字の入力をサポートしており、約40万トークンに相当します。

長文能力の向上は、モデルがより長い入力テキストを処理できることを意味し、読解力を強化します。最初は短い文章しか読めなかったのが、今では長編小説を処理できるようになりました。これはモデルの応用シーンを拡大するだけでなく、金融、法律、研究などの専門分野のスマート化アップグレードの可能性を提供します。

しかし、テキストの長さは長ければ長いほど良いわけではありません。研究によると、モデルがより長いコンテキスト入力をサポートすることと、効果の向上が直接的に等号で結ばれるわけではありません。より重要なのは、モデルがコンテキストの内容を効果的に活用することです。

月の暗い面の創設者であるヤン・チーリンは、大規模モデルの上限は単一ステップ能力と実行ステップ数の両方によって決定されると考えています。ここで、単一ステップ能力はパラメータ量に関連し、実行ステップ数は文脈の長さを指します。長文技術は大規模モデルの初期のいくつかの問題を解決できるだけでなく、産業の実用化を推進するための重要な技術の一つでもあります。

現在、長文技術は情報抽出、コード生成、ロールプレイなどの分野で強力な可能性を示しています。しかし、実際の応用においては、最新の情報をオンラインで取得できない、生成プロセスを一時停止して修正できないなどのいくつかの問題が依然として存在します。

長文技術は「不可能の三角形」のジレンマに直面しています：文の長さ、注意力、計算能力の三者を同時に満たすことが難しいです。これは主に、Transformer構造における自己注意機構の計算量が文脈の長さに対して二乗的に増加することに起因しています。

この困難を解決するために、現在主に3つのソリューションがあります:

1. 外部ツールを利用して長文を処理する
2. 自己注意メカニズム計算の最適化
3. モデル最適化の一般的な方法

長文の「不可能な三角形」のジレンマは一時的に解決策がないが、これは大規模モデルのメーカーに探索の方向性を示している: テキストの長さ、注意力、計算能力の間で最適なバランスを見つけ、十分な情報を処理しつつ、注意計算と計算コストの制約にも配慮すること。