Skip to main content

Xata

Xata 是一个基于 PostgreSQL 的无服务器数据平台。它提供了一个用于与数据库交互的 Python SDK，以及一个用于管理数据的用户界面。 Xata具有原生的向量类型，可以添加到任何表中，并支持相似性搜索。LangChain将向量直接插入到Xata中，并查询给定向量的最近邻居，以便您可以在Xata中使用所有LangChain嵌入集成。

本笔记本将指导您如何将Xata用作VectorStore。

设置​

创建用作向量存储的数据库​

在Xata用户界面中创建一个新数据库。您可以随意命名，本笔记本中我们将使用langchain。 创建一个表，您可以随意命名，但我们将使用vectors。通过用户界面添加以下列：

  • content 类型为 "Text"。用于存储 Document.pageContent 的值。
  • embedding 类型为 "Vector"。使用您计划使用的模型的维度。在本笔记本中，我们使用的是OpenAI嵌入，它有1536个维度。
  • search 类型为 "Text"。这是此示例中用作元数据列的列。
  • 您想要用作元数据的任何其他列。它们从 Document.metadata 对象中填充。例如，如果在 Document.metadata 对象中有一个 title 属性，您可以在表中创建一个 title 列，并将其填充。

让我们首先安装我们的依赖项：

pip install xata==1.0.0a7 openai tiktoken langchain

让我们将OpenAI密钥加载到环境中。如果您没有密钥，可以创建一个OpenAI帐户并在此页面上创建一个密钥。

import os
import getpass

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

同样，我们需要获取Xata的环境变量。您可以通过访问您的帐户设置来创建一个新的API密钥。要找到数据库URL，请转到您创建的数据库的设置页面。数据库URL应该类似于这样：https://demo-uni3q8.eu-west-1.xata.sh/db/langchain。

api_key = getpass.getpass("Xata API key: ")
db_url = input("Xata database URL (copy it from your DB settings):")
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.document_loaders import TextLoader
from langchain.vectorstores.xata import XataVectorStore

创建Xata向量存储​

让我们导入我们的测试数据集：

loader = TextLoader("../../../state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

现在创建实际的向量存储，由Xata表支持。

vector_store = XataVectorStore.from_documents(docs, embeddings, api_key=api_key, db_url=db_url, table_name="vectors")

运行上述命令后，如果您转到Xata用户界面，您应该可以看到加载的文档以及它们的嵌入。

相似性搜索​

query = "What did the president say about Ketanji Brown Jackson"
found_docs = vector_store.similarity_search(query)
print(found_docs)

带有分数的相似性搜索（向量距离）​

query = "What did the president say about Ketanji Brown Jackson"
result = vector_store.similarity_search_with_score(query)
for doc, score in result:
    print(f"document={doc}, score={score}")