Skip to main content

Xorbits推理（Xinference）

本笔记本介绍如何在LangChain中使用Xinference嵌入。

安装​

通过PyPI安装Xinference：

%pip install "xinference[all]"

在本地或分布式集群中部署Xinference。​

对于本地部署，请运行xinference。

要在集群中部署Xinference，请首先使用xinference-supervisor启动Xinference监督程序。您还可以使用选项-p指定端口和-H指定主机。默认端口为9997。

然后，在要运行它们的每个服务器上使用xinference-worker启动Xinference工作程序。

您可以查阅Xinference的README文件以获取更多信息。

包装器​

要在LangChain中使用Xinference，您需要首先启动一个模型。您可以使用命令行界面（CLI）来执行此操作：

xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0
    Model uid: 915845ee-2a04-11ee-8ed4-d29396a3f064

将返回一个模型UID供您使用。现在您可以使用LangChain的Xinference嵌入：

from langchain.embeddings import XinferenceEmbeddings

xinference = XinferenceEmbeddings(
    server_url="http://0.0.0.0:9997",
    model_uid = "915845ee-2a04-11ee-8ed4-d29396a3f064"
)
query_result = xinference.embed_query("This is a test query")
doc_result = xinference.embed_documents(["text A", "text B"])

最后，在不需要使用模型时终止它：

xinference terminate --model-uid "915845ee-2a04-11ee-8ed4-d29396a3f064"