Skip to main content

GPT4All（GPT4All）

本页面介绍如何在LangChain中使用GPT4All包装器。本教程分为两个部分：安装和设置，以及使用示例。

安装和设置（Installation and Setup）​

  • 使用pip install pyllamacpp命令安装Python包
  • 下载GPT4All模型并将其放置在所需目录中

使用（Usage）​

GPT4All​

要使用GPT4All包装器，您需要提供预训练模型文件的路径和模型的配置。

from langchain.llms import GPT4All

# 实例化模型。回调函数支持逐标记流式处理
model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)

# 生成文本
response = model("从前有一天，")

您还可以自定义生成参数，例如n_predict、temp、top_p、top_k等。

要流式传输模型的预测结果，请添加CallbackManager。

from langchain.llms import GPT4All
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

# 有许多支持的CallbackHandlers，例如
# from langchain.callbacks.streamlit import StreamlitCallbackHandler

callbacks = [StreamingStdOutCallbackHandler()]
model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)

# 生成文本。标记通过回调管理器进行流式传输。
model("从前有一天，", callbacks=callbacks)

模型文件（Model File）​

您可以在pyllamacpp存储库中找到模型文件下载链接。

有关更详细的操作步骤，请参阅此笔记本。