OpenLLM (开放式语言模型)

This page demonstrates how to use OpenLLM with LangChain.

OpenLLM 是一个用于在生产环境中操作大型语言模型 (LLM) 的开放平台。它使开发人员能够轻松地使用任何开源 LLM 进行推理，部署到云端或本地，并构建强大的 AI 应用程序。

安装和设置

通过 PyPI 安装 OpenLLM 包:

pip install openllm

LLM

OpenLLM 支持广泛的开源 LLM，同时也支持用户自己微调的 LLM。使用 openllm model 命令查看所有为 OpenLLM 预优化的可用模型。

包装器

有一个 OpenLLM 包装器，支持加载 LLM 进程中或访问远程 OpenLLM 服务器:

from langchain.llms import OpenLLM

用于 OpenLLM 服务器的包装器

该包装器支持通过 HTTP 或 gRPC 连接到 OpenLLM 服务器。OpenLLM 服务器可以在本地或云端运行。

要在本地尝试，请启动 OpenLLM 服务器:

openllm start flan-t5

包装器用法:

from langchain.llms import OpenLLM

llm = OpenLLM(server_url='http://localhost:3000')

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

用于本地推理的包装器

您还可以使用 OpenLLM 包装器在当前 Python 进程中加载 LLM 进行推理。

from langchain.llms import OpenLLM

llm = OpenLLM(model_name="dolly-v2", model_id='databricks/dolly-v2-7b')

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

用法

有关 OpenLLM 包装器的更详细演示，请参阅示例笔记本。