Skip to main content

DeepInfra

DeepInfra 提供了几个LLMs。

本笔记本介绍如何使用Langchain与DeepInfra。

导入​

import os
from langchain.llms import DeepInfra
from langchain import PromptTemplate, LLMChain

设置环境API密钥​

确保从DeepInfra获取您的API密钥。您需要登录并获取一个新的令牌。

您将获得1小时的免费无服务器GPU计算时间来测试不同的模型。（参见这里） 您可以使用deepctl auth token命令打印您的令牌

# 获取新的令牌：https://deepinfra.com/login?from=%2Fdash

from getpass import getpass

DEEPINFRA_API_TOKEN = getpass()
     ········
os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

创建DeepInfra实例​

您还可以使用我们的开源deepctl工具来管理您的模型部署。您可以在这里查看可用参数的列表。

llm = DeepInfra(model_id="databricks/dolly-v2-12b")
llm.model_kwargs = {
    "temperature": 0.7,
    "repetition_penalty": 1.2,
    "max_new_tokens": 250,
    "top_p": 0.9,
}

创建Prompt模板​

我们将为问题和答案创建一个Prompt模板。

template = """问题：{question}

答案：让我们一步一步地思考。"""

prompt = PromptTemplate(template=template, input_variables=["question"])

初始化LLMChain​

llm_chain = LLMChain(prompt=prompt, llm=llm)

运行LLMChain​

提供一个问题并运行LLMChain。

question = "企鹅能到达北极吗？"

llm_chain.run(question)
    "企鹅生活在南半球。\n北极位于北半球。\n所以，首先你需要把企鹅转向南方。\n然后，在一个旋转机器上支撑企鹅，\n使其围绕垂直轴旋转，\n最后将企鹅放在北半球。\n现在，你在北极有一只企鹅！\n\n还是不明白吗？\n嗯，你作为一名教师失败了。"