通義靈碼企業(yè)推理服務(wù)配置 - 一站式SFT模型微調(diào)服務(wù)

9.4.2. 企業(yè)推理服務(wù)配置

通義靈碼靈碼企業(yè)版基于百煉平臺(tái)提供一站式SFT模型微調(diào)服務(wù)，支持企業(yè)私有化模型快速接入與精準(zhǔn)管控，實(shí)現(xiàn)業(yè)務(wù)場(chǎng)景定制化適配。

背景信息

在公共云上，許多中大型客戶對(duì)企業(yè)的個(gè)性化需求提出了更高的要求，希望通過(guò)模型微調(diào)SFT（Supervised Fine-Tuning）來(lái)實(shí)現(xiàn)更貼合自身業(yè)務(wù)場(chǎng)景的定制化適配。為此，公共云百煉平臺(tái)提供了從數(shù)據(jù)準(zhǔn)備、模型微調(diào)訓(xùn)練到推理部署的一站式解決方案，全面支持模型的SFT相關(guān)能力。通義靈碼靈碼可以無(wú)縫集成百煉的能力，快速響應(yīng)并滿足客戶在模型微調(diào)和個(gè)性化適配方面的需求，助力企業(yè)高效實(shí)現(xiàn)定制化目標(biāo)。

前提條件

1. 服務(wù)購(gòu)買

   • 已開(kāi)通百煉平臺(tái)模型訓(xùn)練服務(wù)。若未開(kāi)通可前往百煉控制臺(tái)開(kāi)通百煉控制臺(tái)開(kāi)通。

   • 已購(gòu)買通義靈碼靈碼企業(yè)版（標(biāo)準(zhǔn)版/專屬版）。具體請(qǐng)參見(jiàn)企業(yè)標(biāo)準(zhǔn)版快速入門(mén)、企業(yè)專屬版快速入門(mén)。

2. 獲取推理服務(wù) API

   • 通過(guò)百煉平臺(tái)（或其他支持的模型服務(wù)平臺(tái)）完成 SFT 模型的部署。具體請(qǐng)參見(jiàn)。

   • 生成推理服務(wù) API地址，并記錄 API URL、模型名稱、API Key等關(guān)鍵信息。具體請(qǐng)參見(jiàn)首次調(diào)用通義千問(wèn)API。

說(shuō)明

目前僅支持百煉平臺(tái)和 DeepSeek 平臺(tái)的推理模型。

企業(yè)管理員完成自有推理服務(wù) API 配置后，通義靈碼靈碼系統(tǒng)需確保：當(dāng)企業(yè)授權(quán)開(kāi)發(fā)者使用通義靈碼靈碼相關(guān)服務(wù)時(shí)，系統(tǒng)將自動(dòng)調(diào)用企業(yè)內(nèi)部配置的模型服務(wù)。

操作步驟

登錄靈碼控制臺(tái)，在左側(cè)導(dǎo)航欄選擇策略配置 > 推理服務(wù)配置。

1. 在推理服務(wù)配置頁(yè)面中，針對(duì)所需的場(chǎng)景（這里以AI程序員場(chǎng)景為例），完成模型服務(wù)配置：

   • 啟用模型服務(wù)配置的開(kāi)關(guān)。

   • 填寫(xiě)模型的URL地址、模型名稱、API密鑰信息。

2. 然后單擊測(cè)試連接。

   • 成功提示：模型服務(wù)連接成功。

   • 失敗提示：模型服務(wù)連接失敗，請(qǐng)確保配置內(nèi)容準(zhǔn)確后重新測(cè)試。

3. 最后單擊保存配置。

在IDE中，登錄企業(yè)版賬號(hào)，在所對(duì)應(yīng)場(chǎng)景標(biāo)簽里，即可看到所配置的模型。

免責(zé)聲明

重要

本服務(wù)支持連接客戶自有的第三方模型，對(duì)于這些第三方模型的可用性、合規(guī)性及安全性，通義靈碼靈碼不承擔(dān)任何責(zé)任。請(qǐng)您在使用前仔細(xì)評(píng)估并查閱相關(guān)第三方許可協(xié)議，確保您的使用行為合法且符合法規(guī)要求。