Skip to main content

TF-IDF（词频-逆文档频率）

TF-IDF 意味着词频乘以逆文档频率。

本笔记本介绍了如何使用底层使用 TF-IDF 的检索器，使用了 scikit-learn 包。

有关 TF-IDF 的详细信息，请参阅此博文。

# !pip install scikit-learn
from langchain.retrievers import TFIDFRetriever

使用文本创建新的检索器​

retriever = TFIDFRetriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])

使用文档创建新的检索器​

现在，您可以使用您创建的文档创建一个新的检索器。

from langchain.schema import Document

retriever = TFIDFRetriever.from_documents(
    [
        Document(page_content="foo"),
        Document(page_content="bar"),
        Document(page_content="world"),
        Document(page_content="hello"),
        Document(page_content="foo bar"),
    ]
)

使用检索器​

我们现在可以使用检索器了！

result = retriever.get_relevant_documents("foo")
result
    [Document(page_content='foo', metadata={}),
     Document(page_content='foo bar', metadata={}),
     Document(page_content='hello', metadata={}),
     Document(page_content='world', metadata={})]

保存和加载​

您可以轻松保存和加载此检索器，使其在本地开发中非常方便！

retriever.save_local("testing.pkl")
retriever_copy = TFIDFRetriever.load_local("testing.pkl")
retriever_copy.get_relevant_documents("foo")
    [Document(page_content='foo', metadata={}),
     Document(page_content='foo bar', metadata={}),
     Document(page_content='hello', metadata={}),
     Document(page_content='world', metadata={})]