IMSDb (Internet电影剧本数据库)

IMSDb 是一个Internet电影剧本数据库。

这里介绍了如何将IMSDb网页加载为我们可以在下游使用的文档格式。

from langchain.document_loaders import IMSDbLoader

loader = IMSDbLoader("https://imsdb.com/scripts/BlacKkKlansman.html")

data = loader.load()

data[0].page_content[:500]

    '\n\r\n\r\n\r\n\r\n                                    BLACKKKLANSMAN\r\n                         \r\n                         \r\n                         \r\n                         \r\n                                      Written by\r\n\r\n                          Charlie Wachtel & David Rabinowitz\r\n\r\n                                         and\r\n\r\n                              Kevin Willmott & Spike Lee\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n                         FADE IN:\r\n                         \r\n          SCENE FROM "GONE WITH'

data[0].metadata

    {'source': 'https://imsdb.com/scripts/BlacKkKlansman.html'}