Skip to main content

Baseten

学习如何在Baseten上使用LangChain部署的模型。

安装和设置​

  • 创建一个Baseten账户和API密钥。
  • 使用pip install baseten安装Baseten Python客户端。
  • 使用您的API密钥进行身份验证，使用baseten login。

调用模型​

Baseten通过LLM模块与LangChain集成，该模块为在Baseten工作区上部署的模型提供了一个标准化和可互操作的接口。

您可以通过单击Baseten模型库上的按钮，一键部署基础模型，如WizardLM和Alpaca，或者如果您有自己的模型，可以使用此教程部署它。

在这个例子中，我们将使用WizardLM。在这里部署WizardLM，并按照部署的模型版本ID进行操作。

from langchain.llms import Baseten

wizardlm = Baseten(model="MODEL_VERSION_ID", verbose=True)

wizardlm("巫师和术士之间有什么区别？")