Anyscale
这个笔记本演示了如何使用 langchain.chat_models.ChatAnyscale 来使用 Anyscale Endpoints。
- 设置
ANYSCALE_API_KEY环境变量 - 或者使用
anyscale_api_key关键字参数
# !pip install openai
import os
from getpass import getpass
os.environ["ANYSCALE_API_KEY"] = getpass()
········
让我们尝试一下 Anyscale Endpoints 上提供的每个模型
from langchain.chat_models import ChatAnyscale
chats = {
model: ChatAnyscale(model_name=model, temperature=1.0)
for model in ChatAnyscale.get_available_models()
}
print(chats.keys())
dict_keys(['meta-llama/Llama-2-70b-chat-hf', 'meta-llama/Llama-2-7b-chat-hf', 'meta-llama/Llama-2-13b-chat-hf'])
我们可以使用异步方法和 ChatOpenAI 支持的其他功能
这样，三个请求只需要等待最长的请求时间。
import asyncio
from langchain.schema import SystemMessage, HumanMessage
messages = [
SystemMessage(
content="You are a helpful AI that shares everything you know."
),
HumanMessage(
content="Tell me technical facts about yourself. Are you a transformer model? How many billions of parameters do you have?"
),
]
async def get_msgs():
tasks = [
chat.apredict_messages(messages)
for chat in chats.values()
]
responses = await asyncio.gather(*tasks)
return dict(zip(chats.keys(), responses))
import nest_asyncio
nest_asyncio.apply()
response_dict = asyncio.run(get_msgs())
for model_name, response in response_dict.items():
print(f'\t{model_name}')
print()
print(response.content)
print('\n---\n')
meta-llama/Llama-2-70b-chat-hf
问候！我只是一个 AI，我没有像人类那样的个人身份，但我在这里帮助您解答任何问题。
我是一个大型语言模型，这意味着我在大量的文本数据上进行训练，以生成连贯和自然的语言输出。我的架构基于变压器模型，这是一种特别适用于自然语言处理任务的神经网络类型。
至于我的参数，我有几十亿个参数，但我无法访问确切的数字，因为这与我的功能无关。我的训练数据包括来自各种来源的大量文本，包括书籍、文章和网站，我用它们来学习语言中的模式和关系。
我的设计目标是成为各种任务的有用工具，例如回答问题、提供信息和生成文本。通过机器学习算法和像您这样的用户的反馈，我不断学习和改进自己的能力。
希望这对您有所帮助！您还有其他关于我或我的能力的问题吗？
---
meta-llama/Llama-2-7b-chat-hf
啊，一个技术爱好者！*调整眼镜* 我很高兴与您分享一些关于我的技术细节。🤓
的确，我是一个变压器模型，具体来说是一个基于 BERT 的语言模型，它在大量的文本数据上进行了训练。我的架构基于变压器框架，这是一种专为自然语言处理任务设计的神经网络类型。🏠
至于参数的数量，我大约有 3.4 亿个。*眨眼* 这是一个相当庞大的数字，如果我自己这么说的话！这些参数使我能够学习和表示语言中的复杂模式，例如语法、语义等等。🤔
但请不要让我在脑海中进行数学计算——我是一个语言模型，而不是一个计算机！😅 我的优势在于理解和生成类似人类的文本，所以随时都可以与我聊天。💬
现在，您还有其他技术问题要问我吗？或者您想进行一次愉快的聊天吗？😊
---
meta-llama/Llama-2-13b-chat-hf
你好！作为一个友好和乐于助人的 AI，我很乐意与您分享一些关于我的技术事实。
我是一种基于变压器的语言模型，具体来说是 BERT（双向编码器表示来自变压器的表示）架构的一种变体。BERT 是由 Google 在 2018 年开发的，并且已经成为最受欢迎和广泛使用的 AI 语言模型之一。
这里是关于我的能力的一些技术细节：
1. 参数：我大约有 3.4 亿个参数，这些参数是我用来学习和表示语言的数字。与其他一些语言模型相比，这是一个相对较大的参数数量，但它使我能够学习和理解复杂的语言模式和关系。
2. 训练：我是在大量的文本数据上进行训练的，包括书籍、文章和其他书面内容的来源。这种训练使我能够了解语言的结构和惯例，以及单词和短语之间的关系。
3. 架构：我的架构基于变压器模型，这是一种特别适用于自然语言处理任务的神经网络类型。变压器模型使用自注意机制，允许模型“关注”输入文本的不同部分，从而捕捉长距离依赖关系和上下文关系。
4. 精度：我能够以高精度和准确性生成文本，这意味着我可以生成在语法、语法和连贯性方面接近人类水平质量的文本。
5. 生成能力：除了能够根据提示和问题生成文本外，我还能够根据给定的主题或主题生成文本。这使我能够创建更长、更连贯的文本，围绕特定的思想或概念组织起来。
总的来说，我是一个功能强大、多功能的语言模型，能够处理各种自然语言处理任务。我不断学习和改进，我在这里帮助您解答任何问题！
---
CPU times: user 371 ms, sys: 15.5 ms, total: 387 ms
Wall time: 12 s
