伦伦影院久久影视,天天操天天干天天射,ririsao久久精品一区 ,一本大道香蕉大久在红桃,999久久久免费精品国产色夜,色悠悠久久综合88,亚洲国产精品久久无套麻豆,亚洲香蕉毛片久久网站,一本一道久久综合狠狠老

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

云服務器 Flexus X 實例:one-api 部署,支持眾多大模型

jf_94205927 ? 來源:jf_94205927 ? 作者:jf_94205927 ? 2025-02-06 17:35 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

本文通過 Flexus 云服務器 X 實例 部署 one-api。Flexus 云服務器 X 實例是新一代面向中小企業和開發者打造的柔性算力云服務器,可智能感知業務負載,適用于電商直播、企業建站、開發測試環境、游戲服務器、音視頻服務等中低負載場景。相較于 Flexus 應用服務器 L 實例,Flexus 云服務器 X 實例的優勢包含:提供豐富的公共鏡像、可靈活自定義 vCPU 內存配比、智能感知業務動態升降配,負載范圍更高等。

Flexus 云服務器 X 實例 能夠支持電商直播、企業建站、個人開發測試、游戲服務器等。

wKgZO2dtK_eAc7kIAACbHKe18ok616.png

一、one-api 介紹

one-api 是一個 OpenAI 接口管理 &分發系統,目前支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智譜 ChatGLM、百度文心一言、訊飛星火認知、阿里通義千問、360 智腦以及騰訊混元,可用于二次分發管理 key,僅單可執行文件,已打包好 Docker 鏡像,一鍵部署,開箱即用。

wKgZPGdtK_iAc3ayAACrqFqjHuo018.png

one-api 特性:

(1)支持多種大模型;

(2)支持配置鏡像以及眾多第三方代理服務;

(3)支持通過負載均衡的方式訪問多個渠道;

(4)支持 stream 模式,可以通過流式傳輸實現打字機效果;

(5)支持多機部署,支持令牌管理,設置令牌的過期時間、額度、允許的 IP 范圍以及允許的模型訪問;

(6) 支持兌換碼管理,支持批量生成和導出兌換碼,可使用兌換碼為賬戶進行充值;

(7)支持渠道管理,批量創建渠道。 支持用戶分組以及渠道分組,支持為不同分組設置不同的倍率;

(8) 支持渠道設置模型列表,支持查看額度明細。 支持用戶邀請獎勵。 支持以美元為單位顯示額度等。

二、部署 one-api

2.1 拉取鏡像

首先,先從遠程鏡像倉庫中拉取 one-api 鏡像,執行如下命令拉取。

root@flexusx-7305:~#dockerpull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

v0.6.0: Pulling from ddn-k8s/docker.io/justsong/one-api

4abcf2066143: Pull complete

c2f30ece0032: Pull complete

213fae9f6ab5: Pull complete

f2605c032589: Pull complete

Digest: sha256:416dc625c8c5a905e70db79b40bed5325fa0bc26aecf9cf9181e89b653595e14

Status: Downloaded newer image for swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

one-api 鏡像拉取成功。

2.2 部署 one-api

拉取完 one-api 鏡像后,one-api 鏡像會存儲到本地,如下所示。

root@flexusx-7305:~# docker images

REPOSITORY TAG IMAGE ID CREATED SIZE

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea 1.22.1 b3de72970178 2 months ago 167MB

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api v0.6.0 36bd98ce5a7c 6 months ago 48.4MB

daocloud.io/library/mysql 8 26d0ac143221 3 years ago 546MB

daocloud.io/library/mysql latest 8457e9155715 3 years ago 546MB

root@flexusx-7305:~#

復制鏡像名稱,通過 docker 部署 one-api,執行如下命令。

root@flexusx-7305:~# docker run --name one-api -d --restart always -p 3002:3000 -e TZ=Asia/Shanghai -v /root/data/one-api:/data swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

89bb9f7a3dd119008c678243464bdf10df377dc4d482b123be3c077d7a675ac8

root@flexusx-7305:~# docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

89bb9f7a3dd1 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0 "/one-api" 2 seconds ago Up 2 seconds 0.0.0.0:3002->3000/tcp, [::]:3002->3000/tcp one-api

ef512af0c1c5 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea:1.22.1 "/usr/bin/entrypoint…" 2 days ago Up 2 days 0.0.0.0:3000->3000/tcp, :::3000->3000/tcp, 0.0.0.0:222->22/tcp, [::]:222->22/tcp gitea

65fe1c102df6 daocloud.io/library/mysql:8 "docker-entrypoint.s…" 2 days ago Up 2 days 3306/tcp, 33060/tcp root_db_1

root@flexusx-7305:~#

通過 docker ps 可以查看正在運行的容器,可以看到 one-api 已運行,端口是 3002,對應容器內部端口 3000。

三、運行 one-api

通過上面的步驟,one-api 已經部署成功,下面就來詳細看下 one-api 的功能。

3.1 添加規則

one-api 對應的端口是 3002,需要將 3002 端口加入到準入規則中。

首先,在基本信息中,找到安全組,點擊進入安全組,如下所示。

wKgZO2dtK_iAcX22AABSMFpa2To274.png

然后,點擊配置規則配置 3002 端口,如下所示。

wKgZPGdtK_iAITNsAAClNKC6DOw774.png

設置優先級,然后在協議端口中添加端口,點擊確定,如下所示。

wKgZO2dtK_iAKGaCAACdB5kY2u0367.png

可以看到 3002 端口已經被加入到安全規則中,如下所示。

wKgZPGdtK_qAUTpaAADrNel8ql4859.png

3.2 運行 one-api

在瀏覽器中,訪問 http://服務器 IP 地址:3002,one-api 界面如下所示。

wKgZO2dtK_qAPhgaAACntc2Mgmo121.png

然后,點擊右上角登錄按鈕,默認用戶名為 root,默認密碼為 123456,登錄后可以修改密碼,如下所示。

wKgZPGdtK_qAPzkYAACG8_k-8V8559.png

wKgZO2dtK_uAWzNWAADTXB9fS2Y701.png

四、添加大模型 API

4.1 添加大模型 API

添加大模型 API 是在渠道里面,如下所示。

wKgZPGdtK_uACRr2AACqHBrn_lg032.png

點擊添加新渠道,如下所示。

wKgZO2dtK_uAAeSxAAEftk5zhCg828.png

加完成后可以點擊測試按鈕測試添加是否成功。

4.2 添加令牌

添加完大模型后,點擊令牌生成密鑰。

wKgZPGdtK_uAaCf8AACB9QU3uvs670.png

點擊添加新的令牌,輸入令牌名稱,過期時間可以默認,表示永不過期,如下所示。

wKgZO2dtK_yAFO_1AACusGn_DCQ642.png

添加完成后,點擊復制即可復制密鑰,用于通過 one-api 連接大模型時填寫密鑰。

wKgZPGdtK_yAAoyxAACgcEJwHWU782.png

五、總結

通過 Flexus 云服務器 X 實例 上部署 one-api,能夠流暢支持多種大模型接入,方便了大模型的開發工作。而且,Flexus 云服務器 X 實例提供了豐富的公共鏡像,可靈活自定義鏡像版本,支持智能感知業務動態升降配,負載范圍更高,支持靈活自定義 vCPU、內存實例規格,支持按需計費更精細和靈活的定價模式,可基于實際負載畫像智能推薦規格。趕緊用起來吧!

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 云服務器
    +關注

    關注

    0

    文章

    839

    瀏覽量

    14737
  • 大模型
    +關注

    關注

    2

    文章

    3720

    瀏覽量

    5251
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    OpenClaw搭建教程:服務器一鍵部署完整流程

    很多開發者在了解OpenClaw之后,最關心的其實是一個非常實際的問題:OpenClaw到底怎么搭建?普通服務器能不能部署?過程復雜嗎? 答案其實很簡單。OpenClaw本質上是一個
    的頭像 發表于 03-12 14:39 ?530次閱讀

    硬件通脹下的生存戰!華為Flexus X服務器,讓中小企業不做“接盤俠”

    通知”成了企業IT采購的常態。 DRAM合同價同比暴漲171.8%,NAND Flash價格累計飆升246%,服務器整機采購成本上升15%-20%。硬件市場的瘋狂漲價,正讓無數中小企業面臨“買得起用不起、想買卻沒貨”的絕境。而__華為
    的頭像 發表于 12-31 13:05 ?367次閱讀

    DRAM 暴漲 171%! 171% 下的企業突圍:華為 Flexus X 服務器成 IT 成本管控利器

    Flexus X 服務器憑借獨有的柔性算力黑科技與智能調度能力,助力企業實現核心應用性能最高達友商 6 倍、綜合成本降低 30% 的雙
    的頭像 發表于 12-31 13:00 ?342次閱讀

    什么是企業服務器-計算

    地擴展和管理其IT基礎設施。華納的企業服務器基于虛擬化技術,在環境中運行多個虛擬服務器實例
    的頭像 發表于 12-29 17:57 ?952次閱讀

    服務器端口怎么開放?

    剛搭建好服務器,想部署網站、運行應用或開啟遠程連接,卻發現外網始終無法訪問?大概率是端口沒開放。端口就像服務器的門窗,默認狀態下,
    的頭像 發表于 11-11 15:43 ?1026次閱讀

    香港服務器支持Docker和Kubernetes嗎?

    在云原生技術成為主流的今天,Docker和Kubernetes(K8s)已成為現代化應用開發和部署的事實標準。對于選擇香港服務器的開發者與企業而言,一個核心問題是:香港服務器能否完美支持
    的頭像 發表于 10-21 15:47 ?829次閱讀

    如何快速在服務器部署Web環境?

    如何快速在服務器部署Web環境
    的頭像 發表于 10-14 14:16 ?788次閱讀

    DeepSeek模型如何在服務器部署

    隨著大型語言模型(LLM)的應用日益普及,許多開發者和企業希望將像DeepSeek這樣的優秀模型部署到自己的服務器上,以實現私有化、定制化
    的頭像 發表于 10-13 16:52 ?1079次閱讀

    Jtti服務器上怎么部署網站嗎

    在互聯網快速發展的今天,網站已經成為公司和個人溝通和展示自我的重要渠道。無論是一個簡單的個人博客,還是一個復雜的電子商務平臺,部署網站的過程都是相似的。服務器因其高可用性、靈活性和經濟性,成為
    的頭像 發表于 09-26 17:16 ?1319次閱讀

    輕量服務器服務器區別:2025年終極選擇指南

    資源、穩定計算性能及完整管理權限,支持垂直與水平擴展,適合企業級應用和高并發場景。選擇取決于業務需求:輕量服務器適用于成本敏感型場景,標準服務器則為高性能、高穩定性要求的業務提供保障
    的頭像 發表于 09-01 13:58 ?1485次閱讀
    輕量<b class='flag-5'>云</b><b class='flag-5'>服務器</b>和<b class='flag-5'>云</b><b class='flag-5'>服務器</b>區別:2025年終極選擇指南

    HarmonyOS5服務技術分享--ArkTS開發Node環境

    氣的方式探索這個功能,結尾還有實用總結和鼓勵彩蛋哦~? ? 一、HarmonyOS函數開發:核心能力與價值 HarmonyOS的函數(Serverless)為開發者提供了??無服務器架構??的便捷
    發表于 05-22 17:21

    服務器和獨立服務器的區別在哪?一文讀懂如何選擇

    面對服務器與獨立服務器的選擇,許多人常因概念模糊而糾結。服務器和獨立服務器的區別在于資源分配
    的頭像 發表于 05-19 10:19 ?768次閱讀

    存儲服務器租用的好處有哪些?

    隨著企業數字化轉型加速,存儲服務器租用成為越來越多企業的首選方案。存儲服務器租用的好處在于彈性靈活、成本可控、安全可靠,同時避免了傳統服務器
    的頭像 發表于 05-16 11:03 ?908次閱讀

    電競服務器 工作原理

    電競服務器工作原理詳解 一、核心架構原理 虛擬化資源池? 通過 ?KVM/VMware? 等虛擬化技術將物理服務器(含NVIDIA GPU集群)抽象為可動態分配的算力資源池,每個用戶獨享獨立虛擬機
    的頭像 發表于 05-14 07:44 ?713次閱讀
    <b class='flag-5'>云</b>電競<b class='flag-5'>服務器</b> 工作原理

    基于RAKsmart服務器的AI大模型實時推理方案設計

    面對高并發請求、嚴格的響應延遲要求及波動的業務負載,傳統本地化部署的算力瓶頸愈發顯著。RAKsmart服務器憑借其彈性計算資源池、分布式網絡架構與全棧AI加速能力,為AI大模型實時推
    的頭像 發表于 05-13 10:33 ?689次閱讀