源代码

本笔记本介绍了如何使用语言解析的特殊方法加载源代码文件：代码中的每个顶级函数和类都会加载到单独的文档中。已加载函数和类之外的任何剩余代码将加载到单独的文档中。

这种方法可以提高源代码上的问答模型的准确性。目前，支持的代码解析语言为Python和JavaScript。可以配置用于解析的语言，以及基于语法激活拆分所需的最小行数。

pip install esprima

import warnings

warnings.filterwarnings("ignore")
from pprint import pprint
from langchain.text_splitter import Language
from langchain.document_loaders.generic import GenericLoader
from langchain.document_loaders.parsers import LanguageParser

loader = GenericLoader.from_filesystem(
    "./example_data/source_code",
    glob="*",
    suffixes=[".py", ".js"],
    parser=LanguageParser(),
)
docs = loader.load()

len(docs)

    6

for document in docs:
    pprint(document.metadata)

    {'content_type': 'functions_classes',
     'language': <Language.PYTHON: 'python'>,
     'source': 'example_data/source_code/example.py'}
    {'content_type': 'functions_classes',
     'language': <Language.PYTHON: 'python'>,
     'source': 'example_data/source_code/example.py'}
    {'content_type': 'simplified_code',
     'language': <Language.PYTHON: 'python'>,
     'source': 'example_data/source_code/example.py'}
    {'content_type': 'functions_classes',
     'language': <Language.JS: 'js'>,
     'source': 'example_data/source_code/example.js'}
    {'content_type': 'functions_classes',
     'language': <Language.JS: 'js'>,
     'source': 'example_data/source_code/example.js'}
    {'content_type': 'simplified_code',
     'language': <Language.JS: 'js'>,
     'source': 'example_data/source_code/example.js'}

print("\n\n--8<--\n\n".join([document.page_content for document in docs]))

    class MyClass:
        def __init__(self, name):
            self.name = name
    
        def greet(self):
            print(f"Hello, {self.name}!")
    
    --8<--
    
    def main():
        name = input("Enter your name: ")
        obj = MyClass(name)
        obj.greet()
    
    --8<--
    
    # Code for: class MyClass:
    
    
    # Code for: def main():
    
    
    if __name__ == "__main__":
        main()
    
    --8<--
    
    class MyClass {
      constructor(name) {
        this.name = name;
      }
    
      greet() {
        console.log(`Hello, ${this.name}!`);
      }
    }
    
    --8<--
    
    function main() {
      const name = prompt("Enter your name:");
      const obj = new MyClass(name);
      obj.greet();
    }
    
    --8<--
    
    // Code for: class MyClass {
    
    // Code for: function main() {
    
    main();

对于小文件，可以禁用解析器。

参数parser_threshold表示源代码文件必须具有的最小行数，以便使用解析器进行分段。

loader = GenericLoader.from_filesystem(
    "./example_data/source_code",
    glob="*",
    suffixes=[".py"],
    parser=LanguageParser(language=Language.PYTHON, parser_threshold=1000),
)
docs = loader.load()

len(docs)

    1

print(docs[0].page_content)

    class MyClass:
        def __init__(self, name):
            self.name = name
    
        def greet(self):
            print(f"Hello, {self.name}!")
    
    
    def main():
        name = input("Enter your name: ")
        obj = MyClass(name)
        obj.greet()
    
    
    if __name__ == "__main__":
        main()
    

分割

对于那些太大的函数、类或脚本，可能需要进行额外的分割。

loader = GenericLoader.from_filesystem(
    "./example_data/source_code",
    glob="*",
    suffixes=[".js"],
    parser=LanguageParser(language=Language.JS),
)
docs = loader.load()

from langchain.text_splitter import (
    RecursiveCharacterTextSplitter,
    Language,
)

js_splitter = RecursiveCharacterTextSplitter.from_language(
    language=Language.JS, chunk_size=60, chunk_overlap=0
)

result = js_splitter.split_documents(docs)

len(result)

    7

print("\n\n--8<--\n\n".join([document.page_content for document in result]))

    class MyClass {
      constructor(name) {
        this.name = name;
    
    --8<--
    
    }
    
    --8<--
    
    greet() {
        console.log(`Hello, ${this.name}!`);
      }
    }
    
    --8<--
    
    function main() {
      const name = prompt("Enter your name:");
    
    --8<--
    
    const obj = new MyClass(name);
      obj.greet();
    }
    
    --8<--
    
    // Code for: class MyClass {
    
    // Code for: function main() {
    
    --8<--
    
    main();