久久精品水蜜桃av综合天堂,久久精品丝袜高跟鞋,精品国产肉丝袜久久,国产一区二区三区色噜噜,黑人video粗暴亚裔

首頁開發(fā)教程亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

2025-02-27 1,216

本文將詳細(xì)闡述如何在亞馬遜云科技AWS上部署DeepSeek – R1,尤其針對(duì)DeepSeek – R1 – Distill – Qwen – 14B模型。部署過程涵蓋在Amazon EC2實(shí)例上安裝Ollama和Ollama Web UI,并通過應(yīng)用程序負(fù)載均衡器(Application Load Balancer)將其公開。

亞馬遜云科技官網(wǎng):點(diǎn)擊進(jìn)入注冊(cè)立享12個(gè)月免費(fèi)Amazon EC2

一、在Amazon EC2 GPU實(shí)例上使用Ollama和Ollama Web UI部署DeepSeek-R1

1、為Amazon EC2實(shí)例創(chuàng)建依賴項(xiàng)(Amazon IAM實(shí)例配置文件)

打開亞馬遜云科技管理控制臺(tái),導(dǎo)航至Amazon IAM頁面,點(diǎn)擊“創(chuàng)建角色”。選擇“Amazon Web Services”作為受信任的實(shí)體類型,“Amazon EC2”作為用例。

注意:這些步驟采用了較為寬松的Amazon IAM托管策略,僅為在沙盒賬戶中簡(jiǎn)化演示流程。在任何實(shí)際工作負(fù)載中,即便不是生產(chǎn)環(huán)境,也請(qǐng)遵循最小權(quán)限原則。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

將兩個(gè)托管策略“AmazonS3FullAccess”和“AmazonSSMManagedInstanceCore”附加到“deepseek – r1”角色上,然后點(diǎn)擊“創(chuàng)建角色”。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

2、設(shè)置Amazon EC2實(shí)例

打開亞馬遜云科技管理控制臺(tái),進(jìn)入Amazon EC2頁面,使用以下規(guī)格啟動(dòng)一個(gè)Amazon EC2實(shí)例:

(1)AMI:選擇“Amazon Linux 2 AMI”。

(2)實(shí)例類型:選用“g4dn.xlarge”。

(3)網(wǎng)絡(luò)設(shè)置:點(diǎn)擊“編輯”,使用默認(rèn)的 VPC 設(shè)置,創(chuàng)建一個(gè)新的安全組,并設(shè)置以下入站規(guī)則:

  • 允許來自受信任 IP 范圍的 HTTP 流量(本示例中,允許來自“My IP”的 HTTP 流量);
  • 允許來自 VPC CIDR 范圍、目標(biāo)端口為 3000 的 TCP 流量(這是后續(xù)部署應(yīng)用程序負(fù)載均衡器時(shí),能將流量轉(zhuǎn)發(fā)到 Amazon EC2 實(shí)例的必要條件);
  • 允許來自 VPC CIDR 范圍的 HTTPS 流量。

(4)配置存儲(chǔ):設(shè)置為 100GiB gp3。

(5)高級(jí)詳情:在 Amazon IAM 實(shí)例配置文件中選擇“deepseek – r1”。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

3、通過SSM連接到Amazon EC2實(shí)例

待Amazon EC2實(shí)例啟動(dòng)完成后,選中“deepseek – r1”,在“會(huì)話管理器”(Session Manager)選項(xiàng)卡下點(diǎn)擊“連接”。后續(xù)將使用 SSM 建立的終端來執(zhí)行部署操作。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

二、在Amazon EC2實(shí)例上安裝并配置NVIDIA驅(qū)動(dòng)程序

在會(huì)話管理器終端中運(yùn)行以下命令,在“g4dn EC2 實(shí)例”上安裝NVIDIA GRID驅(qū)動(dòng)程序:

sudo yum update -y
sudo yum install gcc makesudo yum install -y gcc kernel-devel-$(uname -r)
cd ~
aws s3 cp --recursive s3://ec2-linux-nvidia-drivers/latest/ .
chmod +x NVIDIA-Linux-x86_64*.run
mkdir /home/ssm-user/tmp
chmod -R 777 tmp
cd /home/ssm-user 
export TMPDIR=/home/ssm-user/tmp
CC=/usr/bin/gcc10-cc ./NVIDIA-Linux-x86_64*.run --tmpdir=$TMPDIR

按照屏幕提示完成驅(qū)動(dòng)程序安裝過程,選擇默認(rèn)配置選項(xiàng)。安裝過程中可能會(huì)出現(xiàn)一些警告,確認(rèn)后繼續(xù)安裝。安裝完成后,驗(yàn)證驅(qū)動(dòng)程序是否正確安裝,并禁用 GSP(GPU Safety Package):

nvidia - smi - q | head 
sudo touch /etc/modprobe.d/nvidia.conf 
echo "options nvidia NVreg_EnableGpuFirmware = 0" | sudo tee --append /etc/modprobe.d/nvidia.conf

1、在Amazon EC2實(shí)例上安裝并配置Docker

在會(huì)話管理器終端中運(yùn)行以下命令,在 Amazon EC2 實(shí)例上安裝并啟動(dòng) Docker:

sudo yum install docker 
sudo usermod -a -G docker ec2 - user 
sudo systemctl enable docker.service 
sudo systemctl start docker.service

啟動(dòng) Docker 服務(wù)后,運(yùn)行以下命令使用 NVIDIA 驅(qū)動(dòng)程序配置 Docker:

curl -s -L https://nvidia.github.io/libnvidia - container/stable/rpm/nvidia - container - toolkit.repo | \ 
sudo tee /etc/yum.repos.d/nvidia - container - toolkit.repo 
sudo yum install -y nvidia - container - toolkit 
sudo nvidia - ctk runtime configure --runtime = docker 
sudo systemctl restart docker

2、在Amazon EC2實(shí)例上安裝并配置Ollama服務(wù)器和Ollama Web UI

運(yùn)行以下命令部署 Ollama 服務(wù)器,并驗(yàn)證其可訪問狀態(tài):

docker run -d --gpus = all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama 
curl localhost:11434

Ollama 服務(wù)器運(yùn)行后,通過以下命令從 Ollama 庫(kù)中拉取 DeepSeek – R1 – Distill – Qwen – 14B 模型:

docker exec -it ollama ollama pull deepseek - r1:14b

最后,設(shè)置 Ollama Web UI,使用戶能通過網(wǎng)絡(luò)瀏覽器與 DeepSeek – R1 – Distill – Qwen – 14B 進(jìn)行交互:

docker run -d -p 3000:8080 --add - host = host.docker.internal:host - gateway -v ollama - webui:/app/backend/data --name ollama - webui --restart always ghcr.io/ollama - webui/ollama - webui:main

三、配置應(yīng)用程序負(fù)載均衡器以通過網(wǎng)絡(luò)瀏覽器訪問DeepSeek-R1的Amazon EC2實(shí)例

在亞馬遜云科技管理控制臺(tái)中,進(jìn)入Amazon EC2頁面,在左側(cè)導(dǎo)航欄選擇“負(fù)載均衡器”。選擇“應(yīng)用程序負(fù)載均衡器”(Application Load Balancer,簡(jiǎn)稱 ALB)作為負(fù)載均衡器類型,然后點(diǎn)擊“創(chuàng)建”。

為應(yīng)用負(fù)載均衡器(ALB)進(jìn)行以下配置:

1、方案:選擇“面向互聯(lián)網(wǎng)”。

2、負(fù)載均衡器 IP 地址類型:選擇“IPv4”。

3、網(wǎng)絡(luò)設(shè)置:選擇默認(rèn)的 VPC 設(shè)置,并選擇 Amazon EC2 實(shí)例所在的可用區(qū)。

4、安全組:選擇在 Amazon EC2 配置步驟中創(chuàng)建的安全組。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

在“監(jiān)聽器和路由”部分,使用默認(rèn)的 HTTP:80 設(shè)置,然后點(diǎn)擊“創(chuàng)建目標(biāo)組”。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

將目標(biāo)類型指定為“實(shí)例”,將目標(biāo)組命名為“deepseek – tg”,然后點(diǎn)擊“下一步”。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

將“deepseek – r1”實(shí)例注冊(cè)為目標(biāo),指定端口為 3000,并點(diǎn)擊“標(biāo)記為待處理并包含”(Include as pending),然后點(diǎn)擊“創(chuàng)建目標(biāo)組”(Create Target Group)。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

最后,返回到應(yīng)用負(fù)載均衡器創(chuàng)建頁面,選擇“deepseek – r1”目標(biāo)組,向下滾動(dòng)并點(diǎn)擊“創(chuàng)建負(fù)載均衡器”。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

四、通過ALB DNS訪問Ollama Web UI上的DeepSeek – R1

在亞馬遜云科技管理控制臺(tái)中,進(jìn)入Amazon EC2頁面,在左側(cè)導(dǎo)航欄選擇“負(fù)載均衡器”。選擇上一步創(chuàng)建的“deepseek – alb”,獲取其DNS名稱。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

使用您選擇的網(wǎng)絡(luò)瀏覽器訪問該ALB的DNS名稱,將看到一個(gè)如下的注冊(cè)頁面。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

使用選擇的電子郵件地址和密碼進(jìn)行注冊(cè),即可開始探索部署在Amazon EC2上的 DeepSeek – R1 – Distill – Qwen – 14B 模型,該模型通過 Ollama 和 Ollama Web UI 提供服務(wù)。

亞馬遜云科技Amazon EC2部署DeepSeek-R1蒸餾模型教程

雖然在GPU或AI芯片上部署DeepSeek – R1及其蒸餾模型能獲得最佳的延遲和吞吐量表現(xiàn),但并非所有應(yīng)用場(chǎng)景都需要如此高的性能。在某些情況下,將這些模型部署在CPU上可能具有更好的性價(jià)比。

相關(guān)推薦:

阿里云GPU部署DeepSeek-R1-Distill模型教程

DeepSeek教程

  • 廣告合作

  • QQ群號(hào):4114653

溫馨提示:
1、本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享網(wǎng)絡(luò)內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。郵箱:2942802716#qq.com(#改為@)。 2、本站原創(chuàng)內(nèi)容未經(jīng)允許不得轉(zhuǎn)裁,轉(zhuǎn)載請(qǐng)注明出處“站長(zhǎng)百科”和原文地址。

相關(guān)文章