Стан розвитку Web3 AI та майбутні напрямки

Ціна акцій Nvidia знову досягла рекорду, а прогрес мультимодальних моделей поглиблює технологічний бар'єр Web2 AI. Від семантичного вирівнювання до візуального розуміння, від високорозмірних вбудовувань до злиття ознак, складні моделі інтегрують різноманітні модальності вираження з небувалою швидкістю, створюючи все більш закриту AI-територію. Ринок акцій США також своїми діями голосує: як акції, пов'язані з криптовалютою, так і акції AI демонструють хвилю невеликого бичачого ринку. Проте цей бум майже не пов'язаний з криптовалютною сферою.

Нещодавні спроби Web3 AI, зокрема в напрямку Agent, здається, трохи відхилилися: намагаючись зібрати багатомодульну модульну систему в стилі Web2 на основі децентралізованої структури, насправді це є подвійним розривом у технологіях і мисленні. Сьогодні, коли модулі мають дуже сильну взаємозалежність, розподіл характеристик є дуже нестабільним, а потреби в обчислювальних потужностях зростають, багатомодульність у екосистемі Web3 важко утвердитися.

Майбутнє Web3 AI полягає не в імітації, а в стратегічному обході. Від семантичної уніфікації у високих вимірах до інформаційних вузьких місць у механізмах уваги, і до уніфікації ознак в умовах гетерогенних обчислень – все це потребує нового осмислення. Web3 AI має застосовувати тактичну стратегію "сільська обгортка міста".

Web3 AI на основі спрощеної багатофункціональної моделі, семантична несумісність призводить до низької продуктивності

У сучасних багатомодельних системах Web2 AI "семантичне вирівнювання" означає відображення інформації з різних модальностей в одну й ту ж семантичну простір, що дозволяє моделі розуміти та порівнювати значення цих різних сигналів. Лише за умови досягнення високорозмірного вбудованого простору має сенс розділяти робочі процеси на різні модулі для зниження витрат та підвищення ефективності. Однак у протоколі Web3 Agent важко досягти високорозмірного вбудованого простору, оскільки модульність може бути ілюзією Web3 AI.

Вимога до Web3 AI реалізувати високорозмірний простір фактично дорівнює вимозі до агентського протоколу самостійно розробити всі залучені API інтерфейси, що суперечить його модульній концепції. Модульна мультимодальна система, описана малими та середніми підприємствами Web3 AI, не витримує критики. Високорозмірна архітектура вимагає єдиного кінцевого навчання або спільної оптимізації: від захоплення сигналів до розрахунку стратегій, а також до виконання та управління ризиками; всі етапи повинні ділитися одним набором представлень і функцією втрат.

Щоб реалізувати повноланковий інтелект з бар'єрами для галузі, необхідно провести спільне моделювання від кінця до кінця, єдине впровадження між модулями, а також системну інженерію для спільного навчання та розгортання. Однак на сьогоднішньому ринку таких проблем не існує, тому природно бракує відповідного ринкового попиту.

У низьковимірному просторі механізм уваги важко точно спроектувати

Високоякісні мультимодальні моделі вимагають розробки точних механізмів уваги. Механізм уваги по суті є способом динамічного розподілу обчислювальних ресурсів, що дозволяє моделі при обробці певного модального входу вибірково "зосереджуватися" на найрелевантніших частинах.

Чому на основі модульного Web3 AI важко реалізувати єдине управління увагою? По-перше, механізм уваги залежить від єдиного простору Query-Key-Value, всі вхідні ознаки повинні бути відображені в один і той же простір високих вимірів, щоб мати можливість розрахувати динамічні ваги через скалярний добуток. А незалежні API повертають дані в різних форматах і з різними розподілами, без єдиного шару вбудовування важко утворити набір взаємодіючих Q/K/V.

По-друге, увага з боку бичачих трендів дозволяє одночасно звертати увагу на різні джерела інформації на одному рівні, а потім агрегувати результати; тоді як незалежні API часто є лінійними викликами, де вихід на кожному кроці є лише вхідним даними для наступного модуля, що позбавляє можливості паралельної обробки та динамічного багатократного зважування.

Нарешті, справжній механізм уваги буде динамічно розподіляти ваги для кожного елемента на основі загального контексту; в режимі API модулі можуть бачити лише "незалежний" контекст, коли їх викликають, без реального спільного центрального контексту між собою, що унеможливлює глобальну асоціацію та фокусування між модулями.

Дискретна модульна збірка призводить до того, що злиття характеристик залишається на поверхневому статичному з'єднанні

"Злиття ознак" базується на вирівнюванні та увазі, де різні модальності з обробленими ознаками об'єднуються для подальшого використання в завданнях нижнього рівня. Web3 AI, звичайно, залишається на найпростіший стадії з'єднання, оскільки динамічне злиття ознак вимагає високих вимірів простору та точного механізму уваги. Коли ці умови не можуть бути виконані, природно, що на фінальному етапі злиття ознак також не можна досягти відмінної продуктивності.

Web2 AI має тенденцію до енд-ту-енд спільного навчання: одночасно обробляє різні модальності характеристик у одному високорозмірному просторі, спільно оптимізуючи через шари уваги та злиття разом із шарами нижчого рівня завдань. Натомість Web3 AI більше використовує підхід дискретного збирання модулів, обгортуючи різноманітні API в незалежні агентів, а потім просто складаючи їхні вихідні мітки, значення або порогові сповіщення, приймаючи комплексні рішення за допомогою основної логіки або людини; цей підхід не тільки має відсутність єдиної цілі навчання, але й немає потоку градієнтів між модулями.

Бар'єри в галузі ШІ поглиблюються, але болючі точки ще не з'явилися

Багатомодальна система Web2 AI є надзвичайно великим інженерним проектом. Вона не тільки потребує величезних, різноманітних і точно підписаних крос-модальних наборів даних, але також вимагає значних витрат GPU та часу на навчання; в архітектурі моделі об'єднуються різні сучасні концепції дизайну мереж і технології оптимізації; в інженерній реалізації також необхідно побудувати масштабовану розподілену платформу для навчання, систему моніторингу, управління версіями моделей та конвеєр розгортання. Такі системні роботи з повним ланцюгом і стеком висувають дуже високі вимоги до фінансування, даних, обчислювальної потужності, таланту та навіть організаційної співпраці, тому створюють сильний бар'єр для входу в галузь.

Web3 AI або будь-які криптовалютні продукти, що претендують на відповідність ринку, потребують розвитку за тактикою "села оточують місто", повинні спочатку проводити тестування в маломасштабних крайових сценаріях, забезпечивши надійність основи, а потім чекати на появу основних сценаріїв. Ядро Web3 AI полягає в децентралізації, а його еволюційний шлях виявляється у високій паралельності, низькій зв'язності та сумісності гетерогенних обчислювальних потужностей. Це надає Web3 AI переваги в сценаріях крайових обчислень тощо, роблячи його придатним для легковагових структур, легкого паралелізму та завдань, що можуть бути стимульовані.

Проте, наразі бар'єри Web2 AI лише починають формуватися, це рання стадія конкуренції серед провідних компаній. Лише коли переваги Web2 AI зникнуть, болі, які залишаться, стануть можливістю для входження Web3 AI. До цього моменту Web3 AI потрібно ретельно визначити протоколи з потенціалом "села, що оточує місто", звертаючи увагу на те, чи можуть вони постійно ітеративно розвиватися в малих сценаріях, чи мають достатню гнучкість для реагування на динамічно змінююче середовище ринку.