gpt-oss 是 OpenAI 推出的一系列開源模型,旨在支持強大的推理、代理任務和通用開發者使用場景。該系列模型提供了兩種不同規模的模型:gpt-oss-120b 和 gpt-oss-20b,分別適用于生產環境和低延遲、本地或特定用途的場景。這些模型在訓練過程中使用了 OpenAI 的 harmony 響應格式,并且僅支持該格式的輸入,否則無法正常工作。
- gpt-oss開源項目地址:https://github.com/openai/gpt-oss
- gpt-oss官網入口網址:https://openai.com/zh-Hans-CN/open-models/

gpt-oss 模型具有多項優勢,包括可配置的推理能力、完整的鏈式推理過程、可微調的模型、代理能力、MXFP4 量化支持等。這些特性使得模型在推理效率和性能上具有顯著優勢。此外,模型采用 Apache 2.0 許可,允許自由使用、定制和商業部署。
用戶可以通過多種方式使用 gpt-oss,包括使用 Transformers 庫、vLLM、Ollama、LM Studio 等工具進行推理。此外,gpt-oss 提供了多種參考實現,包括 PyTorch、Triton、Metal 等,以滿足不同硬件和場景的需求。
gpt-oss 是一個開源、高性能的模型系列,適合開發者和研究人員在多種場景下進行推理和開發。
相關導航
暫無評論...



