MosaicML

MosaicML 提供了一个托管的推理服务。您可以使用各种开源模型，或者部署自己的模型。

本示例介绍如何使用 LangChain 与 MosaicML 推理服务进行文本补全。

# 注册账号：https://forms.mosaicml.com/demo?utm_source=langchain

from getpass import getpass

MOSAICML_API_TOKEN = getpass()

import os

os.environ["MOSAICML_API_TOKEN"] = MOSAICML_API_TOKEN

from langchain.llms import MosaicML
from langchain import PromptTemplate, LLMChain

template = """问题：{question}"""

prompt = PromptTemplate(template=template, input_variables=["question"])

llm = MosaicML(inject_instruction_format=True, model_kwargs={"do_sample": False})

llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "为什么要使用特定领域的数据训练大型语言模型的一个好理由是什么？"

llm_chain.run(question)