OpenAI推出Gpt-oss-120b和Gpt-oss-20b,將最先進的模型帶到本地設備

簡要

OpenAI 發布了兩個強大的開放權重模型,gpt-oss-120b 和 gpt-oss-20b,使得在沒有互聯網連接的情況下實現先進的本地 AI 性能,標志着開發者可及性的一大步。

OpenAI 推出 gpt-oss-120b 和 gpt-oss-20b,將最先進的模型引入本地設備

人工智能研究組織OpenAI宣布發布兩個先進的開放權重語言模型,分別爲gpt-oss-120b和gpt-oss-20b。這些模型在實際應用中表現出強大的性能,同時保持低運營成本。根據靈活的Apache 2.0許可證發布,它們在推理任務中超過了其他類似規模的開放模型,表現出強大的工具使用能力,並針對在消費級硬件上高效運行進行了優化。訓練過程涉及強化學習技術,並結合了來自OpenAI最先進內部模型的見解,包括o3和其他尖端系統。

gpt-oss-120b 模型在基礎推理基準測試中表現幾乎與 OpenAI 的 o4-mini 模型相當,並且在單個 80 GB GPU 上高效運行。同時,gpt-oss-20b 模型在常見基準測試中取得了與 OpenAI 的 o3-mini 相當的結果,並且能夠在僅有 16 GB 內存的邊緣設備上運行,使其適合於設備上的應用、局部推理或快速測試,而無需昂貴的基礎設施。兩個模型在工具使用、少量示例函數調用、鏈式思維 (CoT) 推理方面表現出強大的能力,如在 Tau-Bench 代理評估和 HealthBench 中所示,有時甚至優於 OpenAI o1 和 GPT-4o 等專有模型。

這些模型與響應 API 兼容,旨在集成在代理工作流程中,提供高級指令遵循、工具使用,包括網路搜索和 Python 代碼執行,以及推理能力。這包括可調的推理工作量,以優化那些不需要復雜推理或優先考慮最終輸出低延遲的任務。兩個模型都是完全可定制的,支持完整的思維鏈推理,並適應結構化輸出格式。

安全考慮是這些模型發布的核心,特別是考慮到它們的開放性。在全面的安全培訓和評估之外,還通過在 OpenAI 的準備框架下對 gpt-oss-120b 進行對抗性微調的版本,增加了一層測試。gpt-oss 模型在安全基準性能上達到與 OpenAI 最新的專有模型相當的水平,爲開發者提供了類似的安全保障。詳細結果和更多信息可在研究論文和模型卡中找到,方法論經過外部專家審核,代表了在建立開放權重模型的新安全標準方面的進展。

OpenAI與AI Sweden、Orange和Snowflake等早期合作夥伴合作,探索這些開放模型的實際應用,包括用於數據安全的本地托管和在專業數據集上的微調。這些開放模型的可用性旨在使從個人開發者到大型企業和政府實體的廣泛用戶能夠在他們自己的基礎設施上運行和定制AI。當與通過OpenAI的API訪問的其他模型結合時,開發者可以從多種選擇中進行選擇,以平衡性能、成本和延遲,以支持多樣化的AI工作流程。

Gpt-oss-120b 和 Gpt-oss-20b 現在可免費使用,支持廣泛的平台和硬件

gpt-oss-120b 和 gpt-oss-20b 的權重可以在 Hugging Face 上公開下載,並且以 MXFP4 格式提供原生量化。這使得 gpt-oss-120b 模型可以在 80GB 的內存容量內運行,而 gpt-oss-20b 模型僅需要 16GB。兩個模型都經過了使用和諧提示格式的後訓練,並且提供了一個開源的和諧渲染器,支持 Python 和 Rust,以促進採用。此外,還提供了參考實現,用於使用 PyTorch 和蘋果的 Metal 平台進行推斷,以及一套用於實際應用的示例工具。

這些模型經過精心設計,旨在靈活性和易用性,支持本地、設備上或通過第三方推理提供商的部署。爲了增強可訪問性,在推出之前與主要部署平台建立了合作關係,包括 Azure、Hugging Face、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare 和 OpenRouter。還與硬件制造商如 NVIDIA、AMD、Cerebras 和 Groq 進行了合作,以確保在各種系統上實現最佳性能。

與此版本一起,微軟爲Windows設備提供了優化GPU的gpt-oss-20b模型。通過ONNX Runtime驅動,這些版本支持本地推理,並可通過Foundry Local和VS Code的AI工具包訪問,簡化了Windows平台上開發人員的集成過程。

對於尋求完全可定制模型的開發者,這些模型能夠在他們自己的環境中進行微調和部署,gpt-oss模型提供了合適的解決方案。相反,對於那些需要多模態能力、內置工具和無縫平台集成的用戶,通過API平台提供的模型仍然是首選。開發者的反饋持續受到監測,未來可能考慮對gpt-oss模型的API支持。

gpt-oss-120b 和 gpt-oss-20b 的引入在開放權重模型領域代表了顯著的進展,在其規模上提供了推理能力和安全性的顯著提升。這些開放模型通過爲開發者提供更廣泛的工具選擇,補充了專有托管模型,以促進尖端研究、激發創新,並推動更安全、更透明的 AI 開發,適用於各種應用。

此外,這些開放模型有助於降低新興市場、資源有限的行業和小型組織在採用專有解決方案時可能面臨的進入壁壘。通過提供可訪問且強大的工具,全球用戶得以開發、創新並創造新的機會。這些在美國生產的高性能開放權重模型的廣泛可用性有助於擴大公平的人工智能訪問。

可靠的開放模型生態系統是促進廣泛和包容的人工智能可及性的重要組成部分。開發者和研究人員被鼓勵利用這些模型進行實驗、合作以及推動可實現的邊界。對此領域的持續進展充滿期待。

GPT-3.1%
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)