TextGen (文本生成)

GitHub:oobabooga/text-generation-webui 是一个用于运行大型语言模型（如LLaMA、llama.cpp、GPT-J、Pythia、OPT和GALACTICA）的Gradio Web用户界面。

本示例介绍如何使用LangChain与LLM模型通过text-generation-webui API集成进行交互。

请确保已配置text-generation-webui并安装了LLM。建议根据您的操作系统使用适当的一键安装程序进行安装。

安装并通过Web界面确认text-generation-webui正常工作后，请通过Web模型配置选项卡启用api选项，或者在启动命令中添加运行时参数--api。

设置model_url并运行示例

model_url = "http://localhost:5000"

import langchain
from langchain import PromptTemplate, LLMChain
from langchain.llms import TextGen

langchain.debug = True

template = """问题：{question}

回答：让我们逐步思考。"""


prompt = PromptTemplate(template=template, input_variables=["question"])
llm = TextGen(model_url=model_url)
llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "贾斯汀·比伯出生的那一年，哪支NFL球队赢得了超级碗？"

llm_chain.run(question)