Skip to main content

TruLens（TruLens）

本页面介绍如何使用TruLens来评估和跟踪基于langchain构建的LLM应用程序。

什么是TruLens？（What is TruLens?）​

TruLens是一个开源软件包，提供了用于大型语言模型（LLM）应用程序的仪器和评估工具。

快速入门（Quick start）​

一旦您创建了LLM链，您可以使用TruLens进行评估和跟踪。TruLens具有许多开箱即用的反馈函数，也是一个可扩展的LLM评估框架。

# 创建一个反馈函数

from trulens_eval.feedback import Feedback, Huggingface, OpenAI
# 初始化基于HuggingFace的反馈函数集合类：
hugs = Huggingface()
openai = OpenAI()

# 使用HuggingFace定义一个语言匹配反馈函数。
lang_match = Feedback(hugs.language_match).on_input_output()
# 默认情况下，这将在主应用程序输入和主应用程序输出上检查语言匹配。

# 整体问题和答案之间的问题/答案相关性。
qa_relevance = Feedback(openai.relevance).on_input_output()
# 默认情况下，这将在主应用程序输入和主应用程序输出上评估反馈。

# 输入的有害性
toxicity = Feedback(openai.toxicity).on_input()

在为评估您的LLM设置反馈函数之后，您可以使用TruChain包装您的应用程序，以获得LLM应用程序的详细跟踪、日志记录和评估。

# 使用TruChain包装您的链
truchain = TruChain(
    chain,
    app_id='Chain1_ChatApplication',
    feedbacks=[lang_match, qa_relevance, toxicity]
)
# 注意：在使用链时，任何在此处指定的`feedbacks`都将被评估和记录。
truchain("que hora es?")

现在，您可以探索基于LLM的应用程序！

这样做将帮助您一目了然地了解您的LLM应用程序的性能。随着您迭代LLM应用程序的新版本，您可以比较它们在您设置的所有不同质量指标上的性能。您还可以查看每个记录的评估，并探索每个记录的链元数据。

tru.run_dashboard() # 打开一个Streamlit应用程序进行探索

有关TruLens的更多信息，请访问trulens.org。