C Transformers

C Transformers库为GGML模型提供了Python绑定。

本示例介绍如何使用LangChain与C Transformers 模型进行交互。

安装

%pip install ctransformers

加载模型

from langchain.llms import CTransformers

llm = CTransformers(model="marella/gpt-2-ggml")

生成文本

print(llm("AI is going to"))

流式处理

from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

llm = CTransformers(
    model="marella/gpt-2-ggml", callbacks=[StreamingStdOutCallbackHandler()]
)

response = llm("AI is going to")

LLMChain

from langchain import PromptTemplate, LLMChain

template = """问题：{question}

回答："""

prompt = PromptTemplate(template=template, input_variables=["question"])

llm_chain = LLMChain(prompt=prompt, llm=llm)

response = llm_chain.run("What is AI?")