AWS 大模型推理部署教程：用 Bedrock/SageMaker/EKS 将开源模型上线为 API

如果你已经接触过大模型，可能已经发现了一个关键问题——选好模型之后，怎么把它变成一个真正可用的 API 服务？ 无论你想做智能客服、代码助手，还是文档分析，模型部署都是绕不开的一步。

今天这篇文章，就为你完整梳理 AWS 上部署大模型的四种主流路径，从模型选型到推理服务上线，覆盖不同复杂度、不同成本的场景。

一、部署之前：先想清楚这三件事

在开始动手之前，建议先回答三个问题，这会直接影响你的部署方案选择：

模型从哪里来？ 是用开源模型（Llama、DeepSeek 等），还是用 Bedrock 上的托管模型（Claude、GPT 等），或者是自己训练/微调的专属模型？
对延迟和吞吐有什么要求？ 是实时对话（毫秒级），还是批量处理（可等待数分钟）？
数据安全和合规要求？ 数据必须留在 VPC 内，还是可以出公网？

带着这些问题，我们来看 AWS 上大模型部署的四条路径。

二、四大大模型部署路径横向对比

部署方式适用场景模型来源技术门槛成本模式推荐指数Amazon Bedrock（托管模型）快速集成现成模型能力，无运维负担Claude、GPT、Llama、Nova 等预训练模型⭐ 最低按 API 调用量付费⭐⭐⭐⭐⭐Amazon Bedrock（自定义模型导入）使用自有模型，享受 Bedrock 托管便利自己训练/微调的模型，从 S3 导入⭐⭐ 低按调用量 + 资源占用⭐⭐⭐⭐Amazon SageMaker需要精细控制推理环境和扩缩策略开源模型（Hugging Face）、自有模型⭐⭐⭐ 中按实例资源付费⭐⭐⭐⭐自建 EKS + vLLM需要完全控制，使用自研芯片优化成本开源模型，追求极致性价比⭐⭐⭐⭐ 高按实例资源付费（自研芯片有价格优势）⭐⭐⭐

三、路径一：Bedrock 托管模型——最快上手的方案

如果你的需求可以直接用现成的预训练模型满足，比如用 Claude 做对话、用 GPT 做代码生成，那么 Bedrock 的托管模型是最省心的方案。

特点

零基础设施：不需要管理任何服务器
按调用付费：不用为闲置资源买单
内置安全护栏：Guardrails、数据加密、VPC 隔离开箱即用

如何使用

python

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(
    modelId='openai.gpt-5.5',  # Bedrock 上的模型 ID
    contentType='application/json',
    accept='application/json',
    body='{"messages": [{"role": "user", "content": "你好"}]}'
)

result = json.loads(response['body'].read())

当前可用的主要模型

OpenAI GPT-5.6 系列（Sol/Terra/Luna）：旗舰推理模型，编码 Agent 能力突出
Anthropic Claude 系列：Opus/Sonnet/Haiku，编码和推理能力强
Amazon Nova 系列：自研多模态模型，性价比高
Meta Llama 系列：开源模型托管版

四、路径二：Bedrock 自定义模型导入——自有模型的托管方案

如果你训练或微调了自己的模型，但又不想自己管理推理基础设施，Bedrock 的自定义模型导入（Custom Model Import）是最佳选择。

适用模型

通过 Bedrock 自定义模型导入，可以将存储在 S3 上的模型权重快速部署为按需推理端点，无需编写任何推理代码。目前已支持的模型架构包括：

Meta Llama 系列
Mistral 系列
DeepSeek 蒸馏模型
其他基于 Transformer 架构的模型

部署步骤

python

import boto3

bedrock = boto3.client('bedrock', region_name='us-east-1')

response = bedrock.create_custom_model_deployment(
    modelDeploymentName="my-model-deployment",
    modelArn="custom_model_arn",  # 已导入模型的 ARN
    description="Production deployment"
)

print(f"部署 ARN: {response['customModelDeploymentArn']}")

优势：部署完成后，就可以像调用 Bedrock 托管模型一样，通过统一的 API 调用你自己的模型了。

五、路径三：Amazon SageMaker——完整控制的 ML 平台

如果你需要精细控制推理环境（自定义容器、特定框架版本、复杂的扩缩策略），SageMaker 是更灵活的选择。

部署方式

SageMaker 支持多种部署模式：

实时端点：低延迟在线推理
异步推理：适合大文件或长时任务
批量推理：大规模离线预测
无服务器推理：按调用自动扩缩

使用 Hugging Face 部署

SageMaker 与 Hugging Face 深度集成，几行代码即可部署：

python

import sagemaker
from sagemaker.huggingface import HuggingFaceModel

role = sagemaker.get_execution_role()

hub = {
    "HF_MODEL_ID": "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
    "HF_NUM_CORES": "2",
    "MAX_BATCH_SIZE": "8"
}

huggingface_model = HuggingFaceModel(
    image_uri="...",  # 预建推理容器（TGI）
    env=hub,
    role=role,
)

predictor = huggingface_model.deploy(
    instance_type="ml.g5.8xlarge",
    initial_instance_count=1
)

SageMaker 提供专门优化的托管容器，包括 Large Model Inference（LMI）容器、Text Generation Interface（TGI）容器和 PyTorch 容器，可根据模型类型和部署需求选择合适的容器。

使用 ezsmdeploy 快速部署

如果你不想折腾 Docker 和容器配置，可以使用第三方工具简化流程：

bash

pip install ezsmdeploy

python

import ezsmdeploy

# 从 Hugging Face 直接部署
ezonsm = ezsmdeploy.Deploy(
    model="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
    huggingface_model=True,
    foundation_model=True,
    instance_type='ml.g5.8xlarge'
)

六、路径四：自建 EKS + vLLM——极致控制与成本优化

如果你的团队有较强的 Kubernetes 运维能力，且希望在自研芯片上运行以优化成本，这条路值得考虑。

为什么用自研芯片？

AWS 自研的 Trainium（训练） 和 Inferentia（推理） 芯片，在处理 Transformer 架构模型时，相比同类型 GPU 实例具有 40% 以上的价格优势 。

部署架构

以 Inferentia2（Inf2）实例为例，使用 vLLM 推理服务器部署 DeepSeek 蒸馏模型：

第一步：创建 EC2 Inf2 实例

实例类型：inf2.8xlarge
AMI：Deep Learning AMI Neuron（Ubuntu 22.04）

第二步：制作 vLLM + Neuron 容器镜像

创建 Dockerfile，安装 vLLM 的 Neuron 版本和 transformers-neuronx 包，这些软件包使用户能够在第二代 Neuron 芯片上执行大语言模型的推理。

第三步：启动推理容器

bash

docker run --rm --name neuron_vllm \
    --device /dev/neuron0 \
    -v /home/ubuntu/models/:/models \
    -p 8000:8000 neuron-container:deepseek \
    python3 -m vllm.entrypoints.openai.api_server \
    --model=/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
    --tensor-parallel-size=2 \
    --max-num-seqs=8

第四步：测试推理

python

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1/",
    api_key="token"
)

response = client.chat.completions.create(
    model="...",
    messages=[{"role": "user", "content": "你好"}]
)

在实际测试中，使用 Inf2 实例部署 DeepSeek-R1-Distill-Qwen-7B 模型，平均每秒输出 25-30 个 tokens 。

通过 EKS 部署 NVIDIA NIM

如果团队已经在用 Kubernetes，NVIDIA 官方也提供了在 EKS 上部署 NIM 容器的完整方案：

创建 EKS 集群
添加 GPU 节点组（如 g5.xlarge）
安装 NVIDIA GPU Operator
部署 NIM 推理容器

七、选型决策总结

你的需求推荐路径用 Claude/GPT 等现成模型，不想管服务器Bedrock 托管模型自己有微调好的模型，想轻松部署Bedrock 自定义模型导入需要自定义推理环境，或有复杂扩缩需求SageMaker 部署追求极致成本优化，使用开源模型 + 自研芯片自建 EKS + vLLM（Inf2）

无论走哪条路，测试完成后记得清理资源：

Bedrock：删除不再使用的自定义模型部署
SageMaker：删除端点、停止笔记本实例
EC2/EKS：终止 GPU 实例或删除集群

大模型部署早已不是只有“自己搭 GPU 服务器”这一条路。从 Bedrock 的一键调用，到 SageMaker 的托管推理，再到 EKS + 自研芯片的极致成本优化，AWS 提供了从“最省事”到“最省钱”的完整光谱。根据自己的技术栈和业务需求选择合适的路径，才是最高效的做法。

AWS 大模型部署教程：从模型选择到推理服务上线

一、部署之前：先想清楚这三件事

二、四大大模型部署路径横向对比

三、路径一：Bedrock 托管模型——最快上手的方案

特点

如何使用

当前可用的主要模型

四、路径二：Bedrock 自定义模型导入——自有模型的托管方案

适用模型

部署步骤

五、路径三：Amazon SageMaker——完整控制的 ML 平台

部署方式

使用 Hugging Face 部署

使用 ezsmdeploy 快速部署

六、路径四：自建 EKS + vLLM——极致控制与成本优化

为什么用自研芯片？

部署架构

通过 EKS 部署 NVIDIA NIM

七、选型决策总结