KoboldAI API

KoboldAI 是一个“基于浏览器的前端，用于多个本地和远程AI模型辅助写作...”。它有一个公共和本地的API，可以在langchain中使用。

本示例介绍如何在LangChain中使用该API。

文档可以在浏览器中添加 /api 到您的端点的末尾找到（例如 http://127.0.0.1/:5000/api）。

from langchain.llms import KoboldApiLLM

将下面显示的端点替换为启动webui后输出的端点，使用 --api 或 --public-api

可选地，您可以传入参数，如温度或最大长度

llm = KoboldApiLLM(endpoint="http://192.168.1.144:5000", max_length=80)

response = llm("### 指令：\n圣经的第一本书是什么？\n### 回答：")