Skip to main content

Shale Protocol (页岩协议)

Shale Protocol 提供了适用于开放LLMs的生产就绪推理API。它是一个即插即用的API，因为它托管在高度可扩展的GPU云基础设施上。

我们的免费套餐支持每个密钥每天最多1K个请求，因为我们希望消除任何人开始使用LLMs构建genAI应用的障碍。

通过Shale Protocol，开发人员/研究人员可以免费创建应用程序并探索开放LLMs的功能。

本页面介绍了如何将Shale-Serve API与LangChain集成。

截至2023年6月，该API默认支持Vicuna-13B。我们将在未来的版本中支持更多的LLMs，如Falcon-40B。

如何操作​

1. 在https://shaleprotocol.com上找到我们的Discord链接。通过我们的Discord上的"Shale Bot"生成API密钥。无需信用卡，也无免费试用。这是一个永久免费套餐，每个API密钥每天限制为1K次。​

2. 使用https://shale.live/v1作为OpenAI API的替代方案​

例如

from langchain.llms import OpenAI
from langchain import PromptTemplate, LLMChain

import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "输入您的API密钥"

llm = OpenAI()

template = """问题：{question}

# 答案：让我们逐步思考。"""

prompt = PromptTemplate(template=template, input_variables=["question"])

llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "贾斯汀·比伯出生的那一年，哪个NFL球队赢得了超级碗？"

llm_chain.run(question)