Skip to main content

Momento（时刻）

Momento Cache 是世界上第一个真正无服务器缓存服务。它提供即时弹性、零缩放能力和极快的性能。 使用 Momento Cache，您只需获取 SDK，获得一个端点，将几行代码输入到您的代码中，然后就可以开始运行了。

本页面介绍了如何在 LangChain 中使用 Momento 生态系统。

安装和设置​

  • 在此处注册一个免费账户并获取授权令牌
  • 使用 pip install momento 安装 Momento Python SDK

缓存​

缓存包装器允许将 Momento 用作无服务器、分布式、低延迟的 LLM 提示和响应缓存。

标准缓存是 Momento 用户在任何环境中使用的首选用例。

按如下方式导入缓存：

from langchain.cache import MomentoCache

并进行如下设置：

from datetime import timedelta
from momento import CacheClient, Configurations, CredentialProvider
import langchain

# 实例化 Momento 客户端
cache_client = CacheClient(
    Configurations.Laptop.v1(),
    CredentialProvider.from_environment_variable("MOMENTO_AUTH_TOKEN"),
    default_ttl=timedelta(days=1))

# 选择一个您喜欢的 Momento 缓存名称
cache_name = "langchain"

# 实例化 LLM 缓存
langchain.llm_cache = MomentoCache(cache_client, cache_name)

内存​

Momento 可以用作 LLM 的分布式内存存储。

聊天消息历史内存​

请参阅此笔记本，了解如何将 Momento 用作聊天消息历史的内存存储的操作步骤。