AI與區塊鏈的融合:從零到巔峯

人工智能行業近期的蓬勃發展被視爲第四次工業革命。大型語言模型的出現顯著提升了各行各業的效率,據估計爲美國整體工作效率帶來約20%的提升。同時,大模型的泛化能力被認爲是新的軟件設計範式,相比過去精確的代碼設計,現在的軟件更多採用泛化的大模型框架,從而支持更廣泛的輸入輸出模態。深度學習技術確實爲AI行業帶來了新一輪繁榮,這股熱潮也蔓延到了加密貨幣行業。

本文將詳細探討AI行業的發展歷程、技術分類,以及深度學習對行業的深遠影響。我們將深入剖析深度學習產業鏈的上下遊,包括GPU、雲計算、數據源、邊緣設備等,分析其發展現狀與趨勢。此外,我們將從本質上探討加密貨幣與AI行業的關係,梳理加密相關的AI產業鏈格局。

AI行業的發展歷程

AI行業起步於20世紀50年代。爲實現人工智能的願景,學術界和工業界在不同時代背景下發展出了多種實現路徑。

現代人工智能技術主要採用"機器學習"這一術語,其核心理念是讓機器通過數據迭代來改善系統性能。主要步驟包括將數據輸入算法、訓練模型、測試部署模型,最後用於自動化預測任務。

機器學習目前有三大主要流派:聯結主義、符號主義和行爲主義,分別模仿人類的神經系統、思維和行爲。目前以神經網路爲代表的聯結主義佔據主導地位(也稱爲深度學習)。神經網路架構包含輸入層、輸出層和多個隱藏層,當層數和神經元(參數)數量足夠多時,就能擬合復雜的通用任務。

基於神經網路的深度學習技術也經歷了多次迭代,從最早的神經網路,到前饋神經網路、RNN、CNN、GAN,最後演進到現代大模型如GPT等使用的Transformer技術。Transformer技術是神經網路的一個演進方向,增加了一個轉換器,用於將不同模態(如音頻、視頻、圖片等)的數據編碼成對應的數值表示,然後輸入神經網路,從而實現多模態處理能力。

AI發展經歷了三次技術浪潮:

1. 20世紀60年代:符號主義技術發展,解決了通用自然語言處理和人機對話問題。同期誕生了專家系統。

2. 20世紀90年代:貝葉斯網路和基於行爲的機器人學提出,標志着行爲主義的誕生。1997年IBM深藍戰勝國際象棋冠軍,被視爲AI的裏程碑。

3. 2006年至今:深度學習概念提出,以人工神經網路爲架構的算法逐漸演進,從RNN、GAN到Transformer和Stable Diffusion,這是聯結主義的鼎盛時期。

近年來AI領域的一些標志性事件包括:

• 2015年,深度學習算法在《自然》雜志發表,引起學術界和工業界巨大反響。
• 2016年,AlphaGo戰勝圍棋世界冠軍李世石。
• 2017年,Google發布Transformer算法論文,大規模語言模型開始出現。
• 2018-2020年,OpenAI發布GPT系列模型,參數規模不斷增大。
• 2023年1月,基於GPT-4的ChatGPT推出,3月達到1億用戶,成爲歷史上最快達到1億用戶的應用。

深度學習產業鏈

當前大型語言模型主要採用基於神經網路的深度學習方法。以GPT爲代表的大模型引發了新一輪AI熱潮,大量玩家湧入這個賽道。市場對數據和算力的需求迅速增長,因此我們將探討深度學習算法的產業鏈構成,以及上下遊的現狀、供需關係和未來發展。

GPT等大型語言模型(LLMs)的訓練主要分爲三個步驟:

1. 預訓練:輸入大量數據對來尋找神經元的最佳參數,這個過程最耗費算力。

2. 微調:使用少量但質量很高的數據進行訓練,提升模型輸出質量。

3. 強化學習:建立"獎勵模型"對輸出結果進行排序,用於迭代大模型參數。

影響大模型表現的三個關鍵因素是:參數數量、數據量與質量、算力。假設參數數量爲p,數據量爲n(以Token數量計算),那麼可以通過經驗法則估算所需的計算量。

算力一般以Flops爲基本單位,代表一次浮點運算。根據經驗法則,預訓練一次大模型大約需要6np Flops。而推理(輸入數據等待模型輸出的過程)大約需要2np Flops。

早期主要使用CPU芯片進行訓練,後來逐漸轉向GPU,如英偉達的A100、H100芯片等。GPU通過Tensor Core模塊進行浮點運算,其FP16/FP32精度下的Flops數據是衡量芯片計算能力的重要指標。

以GPT-3爲例,其有1750億個參數,1800億個Token的數據量。一次預訓練需要約3.1510^22 Flops,即3.1510^10 TFLOPS。使用一張英偉達H100 SXM芯片預訓練一次GPT-3需要約584天。

可以看到訓練大模型需要巨大的計算量,需要多張最先進芯片共同計算。GPT-4的參數量和數據量都是GPT-3的十倍,可能需要超過100倍的芯片算力。

在大模型訓練中,數據存儲也面臨挑戰。GPT-3的數據佔用約570GB,參數佔用約700GB。GPU內存一般較小(如A100爲80GB),無法容納全部數據,因此需要考慮芯片帶寬。多GPU訓練時還涉及芯片間數據傳輸速率。有時候制約訓練速度的瓶頸不是計算能力,而是數據傳輸速度。

深度學習產業鏈主要包括以下幾個環節:

1. 硬件GPU提供商

英偉達在AI GPU芯片領域處於絕對領先地位。學術界主要使用消費級GPU(如RTX系列),工業界主要使用H100、A100等商用芯片。Google也有自研的TPU芯片,但主要用於Google Cloud服務。

2023年英偉達H100芯片一經發布就獲得大量訂單,供不應求。截至2023年底H100訂購量超過50萬片。爲擺脫對英偉達的依賴,Google牽頭成立了CUDA聯盟,希望共同研發GPU。

2. 雲服務提供商

雲服務商購買大量GPU組建高性能計算集羣,爲資金有限的AI企業提供彈性算力和托管訓練解決方案。主要分爲三類:

• 傳統大型雲廠商:AWS、Google Cloud、Azure等
• 垂直AI雲算力平台:CoreWeave、Lambda等
• 推理即服務提供商:Together.ai、Fireworks.ai等

3. 訓練數據源提供商

大模型訓練需要海量數據。一些公司專門提供各行業的訓練數據,如金融、醫療、化學等領域的專業數據集。

4. 數據庫提供商

AI訓練需要高效存儲和處理海量非結構化數據,因此出現了專門的"矢量數據庫"。主要玩家包括Chroma、Zilliz、Pinecone等。

5. 邊緣設備

GPU集羣會產生大量熱能,需要冷卻系統來保證穩定運行。目前主要採用風冷,但液冷系統正受到資本青睞。能源供給方面,一些科技公司開始投資地熱、氫能、核能等清潔能源。

6. AI應用

目前AI應用的發展類似區塊鏈行業,基礎設施擁擠但應用開發相對滯後。前十大月活AI應用多爲搜索類產品,社交等其他類型應用較少。AI應用的用戶留存率也普遍低於傳統互聯網應用。

總的來說,深度學習產業鏈正在快速發展,但也面臨諸多挑戰。算力需求持續增長,數據和能源消耗巨大,應用場景有待進一步拓展。未來產業鏈各環節將繼續優化升級,以支持更大規模、更高效的AI模型訓練和應用。

加密貨幣與AI的關係

區塊鏈技術的核心是去中心化和去信任化。從比特幣作爲點對點電子現金系統,到以太坊的智能合約平台,區塊鏈本質上是一個價值網路,每筆交易都是基於底層代幣的價值交換。

在傳統互聯網中,價值通過P/E等指標折算成股價和市值。而在區塊鏈網路中,原生代幣作爲多維度價值的體現,不僅可以獲得質押收益,還能作爲價值交換媒介、價值存儲媒介和網路活動的消費品等。

代幣經濟學的重要性在於,它能爲網路中的任何功能或思想賦予價值。代幣能讓AI產業鏈各環節進行價值重塑,激勵更多人深耕AI細分賽道。同時,代幣的協同效應會提升基礎設施的價值,形成"胖協議瘦應用"的格局。

區塊鏈技術的不可篡改和無需信任特性,也能爲AI行業帶來實際價值:

• 實現數據隱私保護下的模型訓練和推理
• 通過全球化網路分銷和利用閒置GPU算力
• 爲AI產業鏈各環節提供可信的價值發現和交換機制

總之,代幣經濟學能促進AI行業價值的重塑和發現,去中心化帳本能解決信任問題,將價值在全球範圍內重新流動起來。這種結合將爲AI產業帶來新的發展動力和機遇。

加密貨幣行業AI產業鏈項目概覽

GPU供給側

目前主要的區塊鏈GPU雲算力項目包括Render、Golem等。Render作爲較成熟的項目,主要面向視頻渲染等傳統任務,嚴格意義上不算AI板塊。但GPU雲市場不僅可以面向AI模型訓練和推理,也可應用於傳統渲染,降低了對單一市場的依賴風險。

根據行業預測,2024年GPU算力需求約750億美元,到2032年將達7730億美元,年復合增長率33.86%。隨着GPU迭代加快,共享GPU算力的需求將大幅增長,因爲會產生大量非最新的閒置GPU資源。

硬件帶寬

帶寬往往是影響雲計算性能的關鍵因素,特別是對於去中心化的GPU共享網路。一些項目如Meson Network試圖通過共享帶寬來解決這一問題,但實際效果有限,因爲地理位置造成的延遲仍然難以避免。

數據

AI數據提供商包括EpiK Protocol、Synesis One、Masa等。相比傳統Web2數據企業,區塊鏈項目在數據採集方面具有優勢,可以爲個人數據貢獻提供激勵。結合零知識證明等隱私計算技術,有望實現更廣泛的數據共享。

ZKML

爲實現數據隱私保護下的模型訓練和推理,一些項目採用零知識證明方案。典型項目包括Axiom、Risc Zero等,可爲鏈下計算和數據提供ZK證明。這類通用ZK項目應用邊界更廣,對投資者更有吸引力。