开放城市数据 (Open City Data)

Socrata 提供了一个城市开放数据的 API。

对于像 SF 犯罪数据 这样的数据集，点击页面右上角的 API 标签。

这将提供给您 数据集标识符。

使用数据集标识符来获取给定城市 ID (data.sfgov.org) 的特定表格 -

例如，SF 311 数据 的数据集标识符是 vw6y-z8j6。

例如，SF 警察数据 的数据集标识符是 tmnf-yvry。

pip install sodapy

from langchain.document_loaders import OpenCityDataLoader

dataset = "vw6y-z8j6"  # 311 数据
dataset = "tmnf-yvry"  # 犯罪数据
loader = OpenCityDataLoader(city_id="data.sfgov.org", dataset_id=dataset, limit=2000)

docs = loader.load()

    警告:root:未使用 app_token 进行的请求将受到严格的限制。

eval(docs[0].page_content)

    {'pdid': '4133422003074',
     'incidntnum': '041334220',
     'incident_code': '03074',
     'category': 'ROBBERY',
     'descript': 'ROBBERY, BODILY FORCE',
     'dayofweek': 'Monday',
     'date': '2004-11-22T00:00:00.000',
     'time': '17:50',
     'pddistrict': 'INGLESIDE',
     'resolution': 'NONE',
     'address': 'GENEVA AV / SANTOS ST',
     'x': '-122.420084075249',
     'y': '37.7083109744362',
     'location': {'type': 'Point',
      'coordinates': [-122.420084075249, 37.7083109744362]},
     ':@computed_region_26cr_cadq': '9',
     ':@computed_region_rxqg_mtj9': '8',
     ':@computed_region_bh8s_q3mv': '309'}