閱讀(709) 書簽贊(0) 我要糾錯

CodeGeeX本地模式使用指南：高效編碼體驗

2025-01-06 18:15 更新

CodeGeeX 本地模式使用指南

CodeGeeX 本地模式可以將本地 API 服務接入智能問答和代碼補全中，以實現(xiàn)安全、隱私、高效的編碼體驗。您可以將任何與 OpenAI 兼容的 RESTful API 接入到 CodeGeeX 的插件中。

本地模式使用幫助

1、打開側(cè)邊欄，從菜單中進入「本地模式」

CodeGeeX側(cè)邊欄菜單

2、打開「模型」頁面，填寫 API 信息

CodeGeeX模型頁面

模型地址：可以使用任何與 OpenAI RESTful API 兼容的地址，例如 ?http://localhost:1234/v1/chat/completions?

API KEY：如果您的 API 服務需要鑒權(quán)，請在此填入密鑰。插件會在請求 API 的 HTTP HEADER 中添加以下信息

Authorization: Bearer <token>

模型名稱：如果您的 API 支持多個模型，可以在此填入模型名稱。插件會在請求 API 的 PAYLOAD 中添加以下信息

{
"model": "<MODEL NAME>"
}

3、驗證配置

可以使用「連接」驗證配置是否正確，當顯示為「已連接」時，您可以開始體驗 CodeGeeX 的本地模式。

4、設置高級參數(shù)

如果您對模型的 temperature 或 top_p 等參數(shù)有特別需求，可以展開聊天和代碼補全中的「高級配置」進行配置，插件會用以下協(xié)議與 API 通信

{
"model": "<MODEL NAME>",
"messages": [
{
"role": "user",
"content": "CodeGeeX is awesome!"
}
],
"temperature": "<TEMPERATURE>",
"top_p": "<TOP_P>",
"max_tokens": "<MAX_TOKENS>",
"presence_penalty": "<PENALTY>",
"stream": true,
"stop": []
}

常用模型推理工具

1、使用 FastChat 提供 API 服務

FastChat 是一個高效的對話系統(tǒng)框架，您可以使用該框架快速部署CodeGeeX4模型。官方文檔： https://github.com/lm-sys/FastChat

如需技術協(xié)助請通過 CodeGeeX 公眾號加入用戶群。

2、使用 Ollama 在個人電腦中啟動推理服務

Ollama 是一個開源的本地部署大型語言模型的工具，您可以點擊鏈接下載 Ollama：https://ollama.com/download

官方文檔見：https://github.com/ollama/ollama

通過Ollama使用插件需要配置跨域，您可以按照以下配置接入：

ollama 版本 > 0.2.0
1. 您可以通過在終端輸入ollama -v檢查您安裝的ollama版本
配置跨域所需的環(huán)境變量
1. 在終端輸入export OLLAMA_ORIGINS="*" 或launchctl setenv OLLAMA_ORIGINS "*"來設置環(huán)境變量，Windows環(huán)境可以在環(huán)境變量中手動配置
2. 設置后需要重啟 ollama 服務和 IDE(VSCode 或其他環(huán)境) 使環(huán)境變量生效
3. 不同環(huán)境配置的方式不同，請參考https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server
啟動CodeGeeX4
1. 在終端輸入ollama serve
2. 打開一個新的終端，在終端輸入ollama run codegeex4
配置接口地址
1. 在插件的模型配置頁填寫模型地址：?http://localhost:11434/v1/chat/completions?
2. 打開模型配置的高級模式，在模型名稱欄填寫：codegeex4

3、使用 LM-Studio 在個人電腦中啟動推理服務

LM Studio 是一個用于部署本地和開源大型語言模型的工具，您可以點擊鏈接下載 LM Studio：https://lmstudio.ai/

官方文檔：https://lmstudio.ai/docs/welcome

下載后打開LM Studio，搜索CodeGeeX4模型并下載
你可以點擊側(cè)邊欄找到模型部署頁，在這里部署本地模型
注意：在選擇模型前請打開跨域（默認是關閉的，這會導致插件無法連接到本地模型）
選擇并啟動服務器，模型就部署成功了。這時候只需要復制部署鏈接到模型配置頁，就可以使用插件的本地模式啦！ ??