Skip to main content

SageMaker终端点 (SageMaker Endpoint)

Amazon SageMaker 是一个可以使用完全托管的基础设施、工具和工作流程构建、训练和部署机器学习 (ML) 模型的系统。

我们使用 SageMaker 来托管我们的模型，并将其作为 SageMaker终端点 公开。

安装和设置 (Installation and Setup)​

pip install boto3

有关如何将模型公开为 SageMaker终端点 的说明，请参见此处。

注意：为了处理批量请求，我们需要调整自定义 inference.py 脚本中的 predict_fn() 函数中的返回行：

从

return {"vectors": sentence_embeddings[0].tolist()}

改为：

return {"vectors": sentence_embeddings.tolist()}

我们需要设置 SagemakerEndpoint 调用的以下必需参数：

  • endpoint_name：部署的Sagemaker模型的终端点名称。 在AWS区域内必须是唯一的。
  • credentials_profile_name：位于 ~/.aws/credentials 或 ~/.aws/config 文件中的配置文件的名称， 其中指定了访问密钥或角色信息。 如果未指定，将使用默认凭证配置文件或（如果在EC2实例上）来自IMDS的凭证。 请参阅此指南。

LLM​

请参见使用示例。

from langchain import SagemakerEndpoint
from langchain.llms.sagemaker_endpoint import LLMContentHandler

文本嵌入模型 (Text Embedding Models)​

请参见使用示例。

from langchain.embeddings import SagemakerEndpointEmbeddings
from langchain.llms.sagemaker_endpoint import ContentHandlerBase