Skip to main content

OpenLLM

🦾 OpenLLM 是一个用于在生产环境中操作大型语言模型（LLM）的开放平台。它使开发人员能够轻松地运行任何开源LLM的推理，部署到云端或本地，并构建强大的AI应用程序。

安装​

通过 PyPI 安装 openllm

pip install openllm

在本地启动 OpenLLM 服务器​

要启动一个LLM服务器，请使用 openllm start 命令。例如，要启动一个 dolly-v2 服务器，请从终端运行以下命令：

openllm start dolly-v2

包装器​

from langchain.llms import OpenLLM

server_url = "http://localhost:3000"  # 如果您在远程服务器上运行，请替换为远程主机
llm = OpenLLM(server_url=server_url)

可选：本地LLM推理​

您还可以选择从当前进程中初始化由OpenLLM管理的本地LLM。这对于开发目的非常有用，允许开发人员快速尝试不同类型的LLM。

当将LLM应用程序部署到生产环境时，我们建议单独部署OpenLLM服务器，并通过上面演示的 server_url 选项进行访问。

要通过LangChain包装器本地加载LLM：

from langchain.llms import OpenLLM

llm = OpenLLM(
    model_name="dolly-v2",
    model_id="databricks/dolly-v2-3b",
    temperature=0.94,
    repetition_penalty=1.2,
)

与LLMChain集成​

from langchain import PromptTemplate, LLMChain

template = "一个制造{product}的公司的好名字是什么？"

prompt = PromptTemplate(template=template, input_variables=["product"])

llm_chain = LLMChain(prompt=prompt, llm=llm)

generated = llm_chain.run(product="机械键盘")
print(generated)
    iLkb