Airbyte
Airbyte是一个用于从API、数据库和文件到数据仓库和数据湖的ELT管道的数据集成平台。它拥有最大的ELT连接器目录,可连接到数据仓库和数据库。
安装和设置
此说明展示了如何将Airbyte
中的任何源加载到本地的JSON
文件中,以便作为文档读取。
先决条件:
已安装docker desktop
。
步骤:
- 从GitHub克隆Airbyte -
git clone https://github.com/airbytehq/airbyte.git
。 - 切换到Airbyte目录 -
cd airbyte
。 - 启动Airbyte -
docker compose up
。 - 在浏览器中,访问http://localhost:8000。将要求输入用户名和密码。默认情况下,用户名为
airbyte
,密码为password
。 - 设置任何您希望的源。
- 将目标设置为本地JSON,并指定目标路径 - 假设为
/json_data
。设置手动同步。 - 运行连接。
- 要查看创建的文件,请导航到:
file:///tmp/airbyte_local/
。
文档加载器
查看使用示例。
from langchain.document_loaders import AirbyteJSONLoader