Apify(Apify)
本页面介绍如何在LangChain中使用Apify。
概述(Overview)
Apify是一个用于网络爬虫和数据提取的云平台,提供了一个包含1000多个现成应用程序(称为Actors)的生态系统,用于各种爬取、抓取和提取用例。
此集成使您能够在Apify平台上运行Actors,并将它们的结果加载到LangChain中,以从网页中获取文档和数据,例如从带有文档、博客或知识库的网站生成答案。
安装和设置(Installation and Setup)
- 使用
pip install apify-client
安装Python的Apify API客户端。 - 获取您的Apify API令牌,并将其设置为环境变量(
APIFY_API_TOKEN
)或在构造函数中作为apify_api_token
传递给ApifyWrapper
。
包装器(Wrappers)
实用工具(Utility)
您可以使用ApifyWrapper
在Apify平台上运行Actors。
from langchain.utilities import ApifyWrapper
有关此包装器的更详细说明,请参见此笔记本。
加载器(Loader)
您还可以使用我们的ApifyDatasetLoader
从Apify数据集中获取数据。
from langchain.document_loaders import ApifyDatasetLoader
有关此加载器的更详细说明,请参见此笔记本。