Skip to main content

BM25

BM25也被称为Okapi BM25，是信息检索系统中用于估计文档与给定搜索查询的相关性的排名函数。

本笔记本介绍了如何使用底层使用BM25的检索器，使用rank_bm25包。

# !pip install rank_bm25
from langchain.retrievers import BM25Retriever
    /workspaces/langchain/.venv/lib/python3.10/site-packages/deeplake/util/check_latest_version.py:32: UserWarning: A newer version of deeplake (3.6.10) is available. It's recommended that you update to the latest version using `pip install -U deeplake`.
      warnings.warn(

使用文本创建新的检索器​

retriever = BM25Retriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])

使用文档创建新的检索器​

现在，您可以使用您创建的文档创建一个新的检索器。

from langchain.schema import Document

retriever = BM25Retriever.from_documents(
    [
        Document(page_content="foo"),
        Document(page_content="bar"),
        Document(page_content="world"),
        Document(page_content="hello"),
        Document(page_content="foo bar"),
    ]
)

使用检索器​

现在我们可以使用检索器了！

result = retriever.get_relevant_documents("foo")
result
    [Document(page_content='foo', metadata={}),
     Document(page_content='foo bar', metadata={}),
     Document(page_content='hello', metadata={}),
     Document(page_content='world', metadata={})]