Skip to main content

Airbyte

Airbyte是一个用于从API、数据库和文件到数据仓库和数据湖的ELT管道的数据集成平台。它拥有最大的ELT连接器目录,可连接到数据仓库和数据库。

安装和设置

此说明展示了如何将Airbyte中的任何源加载到本地的JSON文件中,以便作为文档读取。

先决条件: 已安装docker desktop

步骤:

  1. 从GitHub克隆Airbyte - git clone https://github.com/airbytehq/airbyte.git
  2. 切换到Airbyte目录 - cd airbyte
  3. 启动Airbyte - docker compose up
  4. 在浏览器中,访问http://localhost:8000。将要求输入用户名和密码。默认情况下,用户名为airbyte,密码为password
  5. 设置任何您希望的源。
  6. 将目标设置为本地JSON,并指定目标路径 - 假设为/json_data。设置手动同步。
  7. 运行连接。
  8. 要查看创建的文件,请导航到:file:///tmp/airbyte_local/

文档加载器

查看使用示例

from langchain.document_loaders import AirbyteJSONLoader