Skip to main content

CerebriumAI

Cerebrium是AWS Sagemaker的替代品。它还提供了对多个LLM模型的API访问。

本笔记本介绍了如何使用CerebriumAI使用Langchain。

安装cerebrium​

使用pip3 install cerebrium安装cerebrium包以使用CerebriumAI API。

# 安装包
pip3 install cerebrium

导入​

import os
from langchain.llms import CerebriumAI
from langchain import PromptTemplate, LLMChain

设置环境API密钥​

确保从CerebriumAI获取您的API密钥。请参阅此处。您将获得1小时的免费无服务器GPU计算时间，以测试不同的模型。

os.environ["CEREBRIUMAI_API_KEY"] = "YOUR_KEY_HERE"

创建CerebriumAI实例​

您可以指定不同的参数，如模型端点URL、最大长度、温度等。您必须提供一个端点URL。

llm = CerebriumAI(endpoint_url="YOUR ENDPOINT URL HERE")

创建Prompt模板​

我们将为问题和答案创建一个Prompt模板。

template = """问题：{question}

答案：让我们逐步思考。"""

prompt = PromptTemplate(template=template, input_variables=["question"])

初始化LLMChain​

llm_chain = LLMChain(prompt=prompt, llm=llm)

运行LLMChain​

提供一个问题并运行LLMChain。

question = "贾斯汀·比伯出生的那一年，哪个NFL球队赢得了超级碗？"

llm_chain.run(question)