Skip to main content

C Transformers (C变换器)

本页面介绍如何在LangChain中使用C Transformers库。它分为两个部分：安装和设置，以及对特定C Transformers包装器的引用。

安装和设置​

包装器​

LLM​

存在一个CTransformers LLM包装器，可以通过以下方式访问：

from langchain.llms import CTransformers

它为所有模型提供了统一的接口：

llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2')

print(llm('AI is going to'))

如果出现illegal instruction错误，请尝试使用lib='avx'或lib='basic'：

llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2', lib='avx')

它可以与Hugging Face Hub上托管的模型一起使用：

llm = CTransformers(model='marella/gpt-2-ggml')

如果一个模型仓库有多个模型文件（.bin文件），可以使用以下方式指定一个模型文件：

llm = CTransformers(model='marella/gpt-2-ggml', model_file='ggml-model.bin')

可以使用config参数传递其他参数：

config = {'max_new_tokens': 256, 'repetition_penalty': 1.1}

llm = CTransformers(model='marella/gpt-2-ggml', config=config)

有关可用参数的列表，请参见文档。

有关更详细的步骤，请参见此笔记本。