Skip to main content

Llama.cpp (Llama.cpp)

本页面介绍如何在LangChain中使用llama.cpp。它分为两个部分：安装和设置，以及对特定的Llama-cpp包装器的引用。

安装和设置 (Installation and Setup)​

  • 使用pip install llama-cpp-python安装Python包
  • 下载其中一个支持的模型，并按照说明将其转换为llama.cpp格式

包装器 (Wrappers)​

LLM​

存在一个LlamaCpp LLM包装器，您可以使用以下代码访问：

from langchain.llms import LlamaCpp

有关更详细的步骤，请参阅此笔记本

嵌入 (Embeddings)​

存在一个LlamaCpp Embeddings包装器，您可以使用以下代码访问：

from langchain.embeddings import LlamaCppEmbeddings

有关更详细的步骤，请参阅此笔记本