Skip to main content

Airbyte

Airbyte是一个用于从API、数据库和文件到数据仓库和数据湖的ELT管道的数据集成平台。它拥有最大的ELT连接器目录，可连接到数据仓库和数据库。

安装和设置​

此说明展示了如何将Airbyte中的任何源加载到本地的JSON文件中，以便作为文档读取。

先决条件： 已安装docker desktop。

步骤：

  1. 从GitHub克隆Airbyte - git clone https://github.com/airbytehq/airbyte.git。
  2. 切换到Airbyte目录 - cd airbyte。
  3. 启动Airbyte - docker compose up。
  4. 在浏览器中，访问http://localhost:8000。将要求输入用户名和密码。默认情况下，用户名为airbyte，密码为password。
  5. 设置任何您希望的源。
  6. 将目标设置为本地JSON，并指定目标路径 - 假设为/json_data。设置手动同步。
  7. 运行连接。
  8. 要查看创建的文件，请导航到：file:///tmp/airbyte_local/。

文档加载器​

查看使用示例。

from langchain.document_loaders import AirbyteJSONLoader