Skip to main content

Infino（Infino）

Infino 是一个开源的可观察性平台，可以将指标和应用程序日志存储在一起。

Infino的主要特点包括：

  • 指标跟踪：捕获LLM模型处理请求所花费的时间、错误、令牌数量以及特定LLM的成本指示。
  • 数据跟踪：记录并存储每个LangChain交互的提示、请求和响应数据。
  • 图形可视化：生成基本的时间图表，显示请求持续时间、错误发生次数、令牌数量和成本等指标。

安装和设置（Installation and Setup）​

首先，您需要按照以下步骤安装 infinopy Python包：

pip install infinopy

如果您已经运行了一个Infino服务器，那么您可以开始使用了；但是如果您没有，请按照以下步骤启动它：

  • 确保您已经安装了Docker
  • 在终端中运行以下命令：
    docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

使用Infino（Using Infino）​

请参阅InfinoCallbackHandler的使用示例。

from langchain.callbacks import InfinoCallbackHandler