Skip to main content

CoNLL-U

CoNLL-U是CoNLL-X格式的修订版本。注释以纯文本文件（UTF-8编码，规范化为NFC，仅使用LF字符作为换行符，包括文件末尾的LF字符）编码，包含三种类型的行：

  • 单词行，包含由单个制表符分隔的10个字段的单词/标记的注释；请参见下文。
  • 空行，标记句子边界。
  • 以井号（#）开头的注释行。

这是一个加载CoNLL-U格式文件的示例。整个文件被视为一个文档。示例数据（conllu.conllu）基于标准UD/CoNLL-U示例之一。

from langchain.document_loaders import CoNLLULoader
loader = CoNLLULoader("example_data/conllu.conllu")
document = loader.load()
document
    [Document(page_content='They buy and sell books.', metadata={'source': 'example_data/conllu.conllu'})]