输入

GraphRAG 支持多种输入格式，以简化数据的摄取。 此处讨论了输入文件和文本分块的机制和可用功能。

输入加载和模式

所有输入格式都在 GraphRAG 中加载，并作为 documents DataFrame 传递到索引管道。 此 DataFrame 的每一行代表一个文档，使用共享的列模式

名称	类型	描述
id	字符串	文档的 ID。 这是使用文本内容的哈希生成的，以确保跨运行的稳定性。
文本	字符串	文档的全文。
标题	字符串	文档的名称。 某些格式允许配置此项。
创建日期	字符串	文档的创建日期，表示为 ISO8601 字符串。 这是从源文件系统中收集的。
元数据	字典	可选的附加文档元数据。 更多详细信息如下。

另请参阅输出文档，了解管道完成后保存到 parquet 的最终文档表模式。

格式

我们开箱即用地支持三种文件格式。 这涵盖了我们遇到的大多数用例。 如果您有不同的格式，我们建议编写一个脚本将其转换为这些格式之一，这些格式被许多工具和库广泛使用和支持。

纯文本

纯文本文件（通常以 .txt 文件扩展名结尾）。 对于纯文本文件，我们将整个文件内容作为 text 字段导入，并且 title 始终是文件名。

逗号分隔

CSV 文件（通常以 .csv 扩展名结尾）。 这些文件使用 pandas 的 read_csv 方法和默认选项加载。 CSV 文件中的每一行都被视为一个单独的文档。 如果您的输入文件夹中有多个 CSV 文件，它们将被连接成一个结果 documents DataFrame。

对于 CSV 格式，您可以配置 text_column 和 title_column，如果您的数据具有您希望使用的结构化内容。 如果您未在 settings.yaml 的 input 块中配置这些，则标题将是文件名，如上面的模式中所述。 如果未明确配置，则假定 text_column 是文件中的“text”。 如果存在 "id" 列，我们也会查找并使用它，否则将按照上述说明生成 ID。

JSON

JSON 文件（通常以 .json 扩展名结尾）包含 结构化对象。 这些文件使用 python 的 json.loads 方法加载，因此您的文件必须完全兼容。 JSON 文件可能包含文件中的单个对象或者该文件可能在根目录包含一个对象数组。 我们将检查并处理这些情况中的任何一种。 与 CSV 一样，多个文件将被连接到一个最终表中，并且 text_column 和 title_column 配置选项将应用于每个加载对象的属性。 请注意，某些库生成的专用 jsonl 格式（每个行上有一个完整的 JSON 对象，而不是在数组中）当前不受支持。

元数据

使用结构化文件格式（CSV 和 JSON），您可以配置任意数量的列以添加到 DataFrame 中持久化的 metadata 字段中。 这可以通过提供要收集的列名称列表来配置。 如果配置了此项，则输出 metadata 列将具有一个字典，其中包含每列的键，以及该文档的列的值。 此元数据可以选择在 GraphRAG 管道中稍后使用。

示例

software.csv

text,title,tag
My first program,Hello World,tutorial
An early space shooter game,Space Invaders,arcade

settings.yaml

input:
    metadata: [title,tag]

Documents DataFrame

id	标题	文本	创建日期	元数据
（从文本生成）	Hello World	我的第一个程序	（software.csv 的创建日期）	{ "title": "Hello World", "tag": "tutorial" }
（从文本生成）	太空侵略者	一款早期的太空射击游戏	（software.csv 的创建日期）	{ "title": "Space Invaders", "tag": "arcade" }

分块和元数据

如 default dataflow 页面上所述，文档被分块成更小的“文本单元”以进行处理。 这是因为文档内容大小通常超过给定语言模型的可用上下文窗口。 您可以调整一些用于此分块的设置，其中最相关的是 chunk_size 和 overlap。 我们现在还支持一种元数据处理方案，该方案可以提高某些用例的索引结果。 我们将在此处详细描述此功能。

想象以下场景：您正在索引一系列新闻文章。 每篇文章的文本都以标题和作者开头，然后是内容。 当文档被分块时，它们会根据您配置的块大小均匀地拆分。 换句话说，前 n 个令牌被读取到文本单元中，然后是接下来的 n 个，直到内容结束。 这意味着文档开头的前页（例如本例中的标题和作者）不会被复制到每个块。 它只存在于第一个块中。 当我们稍后检索这些块以进行摘要时，它们可能因此缺少有关源文档的共享信息，这些信息应始终提供给模型。 我们有配置选项可以将重复的内容复制到每个文本单元中以解决此问题。

输入配置

如上所述，当导入文档时，您可以指定一个 metadata 列列表，以包含在每行中。 必须配置此项才能使每个块的复制工作。

分块配置

接下来，chunks 块需要指示分块器在创建文本单元时如何处理此元数据。 默认情况下，它会被忽略。 我们有两个设置来包含它

• prepend_metadata。 这指示导入器将每行的 metadata 列的内容复制到每个文本块的开头。 此元数据作为键：值对在新行上复制。
• chunk_size_includes_metadata：这告诉分块器在包含元数据时如何计算块大小。 默认情况下，我们使用您指定的 chunk_size 创建文本单元然后预先添加元数据。 这意味着最终的文本单元长度可能长于您配置的 chunk_size，并且它会根据每个文档的元数据长度而变化。 当此设置为 True 时，我们将使用测量元数据长度后的余数计算原始文本，以便生成的文本单元始终符合您配置的 chunk_size。

示例

以下是几个示例，以帮助说明每个文件格式的分块配置和元数据预添加的工作方式。 请注意，我们在此处使用字数作为“令牌”进行说明，但语言模型令牌不等同于单词。

文本文件

此示例使用两个单独的新闻文章文本文件。

--

文件： US to lift most federal COVID-19 vaccine mandates.txt

内容

华盛顿（美联社）白宫周一表示，随着针对冠状病毒的全国公共卫生紧急状态于下周结束，拜登政府将终止大多数剩余的联邦 COVID-19 疫苗要求。针对联邦雇员和联邦承包商，以及前往美国的外国航空旅客的疫苗要求将于 5 月 11 日结束。政府也开始取消对启蒙计划教育工作者、医护人员和美国陆地边境的非公民的疫苗接种要求。 这些要求是联邦政府为促进疫苗接种而采取的一些更具强制性的措施的最后遗迹，这些措施是在致命病毒肆虐时采取的，它们的结束标志着乔·拜登总统的政府如何将 COVID-19 视为一种常规的地方性疾病。“我相信这些疫苗强制令产生了巨大的有益影响，但我们现在认为取消这些要求是很有意义的，”白宫 COVID-19 协调员阿希什·贾博士周一告诉美联社。

--

文件：纽约州议员开始辩论预算，该预算逾期 1 个月.txt

内容

纽约州奥尔巴尼（美联社）纽约州议员周一开始投票表决一项 2290 亿美元的州预算，该预算逾期一个月，该预算将提高最低工资、打击非法大麻商店，并禁止在新建筑中使用燃气灶和炉子。州长凯西·霍赫尔和她在立法机构中控制的民主党同僚之间的谈判拖延到了 4 月 1 日的预算截止日期之后，这主要是因为对保释法修改和支出计划中包含的其他政策提案存在分歧。 一些预算法案的公开辩论于周一开始。州参议院多数党领袖安德里亚·斯图尔特-库辛斯表示，她预计将于周二完成投票，预算她表示包含对纽约人来说“意义重大”。库辛斯在投票开始前告诉记者，“我本希望早点完成这项工作。我认为我们都会同意这一点。这是一个政策内容非常丰富的预算，而且很多政策都必须经过仔细推敲。” 霍赫尔能够推动修改保释法，这将消除要求法官规定“限制最少”的手段以确保被告返回法庭的标准。霍赫尔表示，法官需要额外的酌处权。 一些自由派立法者认为，这将削弱 2019 年批准的全面保释改革，并导致更多低收入者和有色人种被审前拘留。以下是根据州官员的说法，将纳入预算的其他一些政策条款。到 2026 年，纽约市及其一些郊区的最低工资将提高到 17 美元，该州其他地区的最低工资将提高到 16 美元。这高于纽约市的 15 美元和纽约州北部的 14.20 美元。

--

settings.yaml

input:
    file_type: text
    metadata: [title]

chunks:
    size: 100
    overlap: 0
    prepend_metadata: true
    chunk_size_includes_metadata: false

Documents DataFrame

id	标题	文本	创建日期	元数据
（从文本生成）	美国将取消大多数联邦 COVID-19 疫苗强制令.txt	（文本文件的全部内容）	（文章 txt 文件的创建日期）	{ "title": "美国将取消大多数联邦 COVID-19 疫苗强制令.txt" }
（从文本生成）	纽约州议员开始辩论预算，该预算逾期 1 个月.txt	（文本文件的全部内容）	（文章 txt 文件的创建日期）	{ "title": "纽约州议员开始辩论预算，该预算逾期 1 个月.txt" }

原始文本块

内容	长度
标题：美国将取消大多数联邦 COVID-19 疫苗强制令.txt 华盛顿（美联社）白宫周一表示，随着针对冠状病毒的全国公共卫生紧急状态于下周结束，拜登政府将终止大多数剩余的联邦 COVID-19 疫苗要求。针对联邦雇员和联邦承包商，以及前往美国的外国航空旅客的疫苗要求将于 5 月 11 日结束。政府也开始取消对启蒙计划教育工作者、医护人员和美国陆地边境的非公民的疫苗接种要求。 这些要求是联邦政府为促进疫苗接种而采取的一些更具强制性的措施的最后遗迹，因为	109
标题：美国将取消大多数联邦 COVID-19 疫苗强制令.txt 致命病毒肆虐，它们的结束标志着乔·拜登总统的政府如何将 COVID-19 视为一种常规的地方性疾病。“我相信这些疫苗强制令产生了巨大的有益影响，但我们现在认为取消这些要求是很有意义的，”白宫 COVID-19 协调员阿希什·贾博士周一告诉美联社。	82
标题：纽约州议员开始辩论预算，该预算逾期 1 个月.txt 纽约州奥尔巴尼（美联社）纽约州议员周一开始投票表决一项 2290 亿美元的州预算，该预算逾期一个月，该预算将提高最低工资、打击非法大麻商店，并禁止在新建筑中使用燃气灶和炉子。州长凯西·霍赫尔和她在立法机构中控制的民主党同僚之间的谈判拖延到了 4 月 1 日的预算截止日期之后，这主要是因为对保释法修改和支出计划中包含的其他政策提案存在分歧。 一些预算法案的公开辩论于周一开始。州参议院多数党领袖安德里亚·斯图尔特-库辛斯表示，她预计将于	111
标题：纽约州议员开始辩论预算，该预算逾期 1 个月.txt 周二完成投票，预算她表示包含对纽约人来说“意义重大”。库辛斯在投票开始前告诉记者，“我本希望早点完成这项工作。我认为我们都会同意这一点。这是一个政策内容非常丰富的预算，而且很多政策都必须经过仔细推敲。” 霍赫尔能够推动修改保释法，这将消除要求法官规定“限制最少”的手段以确保被告返回法庭的标准。霍赫尔表示，法官需要额外的酌处权。 一些自由派立法者认为，这	111
标题：纽约州议员开始辩论预算，该预算逾期 1 个月.txt 将削弱 2019 年批准的全面保释改革，并导致更多低收入者和有色人种被审前拘留。以下是根据州官员的说法，将纳入预算的其他一些政策条款。到 2026 年，纽约市及其一些郊区的最低工资将提高到 17 美元，该州其他地区的最低工资将提高到 16 美元。这高于纽约市的 15 美元和纽约州北部的 14.20 美元。	89

在这个例子中，我们可以看到两个输入文档被解析为五个输出文本块。每个文档的标题（文件名）都预先添加，但不包含在计算的块大小中。另请注意，每个文档的最终文本块通常小于块大小，因为它包含最后的标记。

CSV 文件

此示例使用单个 CSV 文件，其中包含与行相同的两篇文章（请注意，文本内容没有为实际 CSV 使用正确转义）。

--

文件：articles.csv

内容

标题，文章

美国将取消大多数联邦 COVID-19 疫苗强制令，华盛顿（美联社）白宫周一表示，随着针对冠状病毒的全国公共卫生紧急状态于下周结束，拜登政府将终止大多数剩余的联邦 COVID-19 疫苗要求。针对联邦雇员和联邦承包商，以及前往美国的外国航空旅客的疫苗要求将于 5 月 11 日结束。政府也开始取消对启蒙计划教育工作者、医护人员和美国陆地边境的非公民的疫苗接种要求。 这些要求是联邦政府为促进疫苗接种而采取的一些更具强制性的措施的最后遗迹，这些措施是在致命病毒肆虐时采取的，它们的结束标志着乔·拜登总统的政府如何将 COVID-19 视为一种常规的地方性疾病。“我相信这些疫苗强制令产生了巨大的有益影响，但我们现在认为取消这些要求是很有意义的，”白宫 COVID-19 协调员阿希什·贾博士周一告诉美联社。

纽约州议员开始辩论预算，该预算逾期 1 个月，纽约州奥尔巴尼（美联社）纽约州议员周一开始投票表决一项 2290 亿美元的州预算，该预算逾期一个月，该预算将提高最低工资、打击非法大麻商店，并禁止在新建筑中使用燃气灶和炉子。州长凯西·霍赫尔和她在立法机构中控制的民主党同僚之间的谈判拖延到了 4 月 1 日的预算截止日期之后，这主要是因为对保释法修改和支出计划中包含的其他政策提案存在分歧。 一些预算法案的公开辩论于周一开始。州参议院多数党领袖安德里亚·斯图尔特-库辛斯表示，她预计将于周二完成投票，预算她表示包含对纽约人来说“意义重大”。库辛斯在投票开始前告诉记者，“我本希望早点完成这项工作。我认为我们都会同意这一点。这是一个政策内容非常丰富的预算，而且很多政策都必须经过仔细推敲。” 霍赫尔能够推动修改保释法，这将消除要求法官规定“限制最少”的手段以确保被告返回法庭的标准。霍赫尔表示，法官需要额外的酌处权。 一些自由派立法者认为，这将削弱 2019 年批准的全面保释改革，并导致更多低收入者和有色人种被审前拘留。以下是根据州官员的说法，将纳入预算的其他一些政策条款。到 2026 年，纽约市及其一些郊区的最低工资将提高到 17 美元，该州其他地区的最低工资将提高到 16 美元。这高于纽约市的 15 美元和纽约州北部的 14.20 美元。

--

settings.yaml

input:
    file_type: csv
    title_column: headline
    text_column: article
    metadata: [headline]

chunks:
    size: 50
    overlap: 5
    prepend_metadata: true
    chunk_size_includes_metadata: true

Documents DataFrame

id	标题	文本	创建日期	元数据
（从文本生成）	美国将取消大多数联邦 COVID-19 疫苗强制令	（文章列内容）	（articles.csv 的创建日期）	{ "headline": "美国将取消大多数联邦 COVID-19 疫苗强制令" }
（从文本生成）	纽约州议员开始辩论预算，该预算逾期 1 个月	（文章列内容）	（articles.csv 的创建日期）	{ "headline": "纽约州议员开始辩论预算，该预算逾期 1 个月" }

原始文本块

内容	长度
标题：美国将取消大多数联邦 COVID-19 疫苗强制令 华盛顿（美联社）白宫周一表示，随着针对冠状病毒的全国公共卫生紧急状态于下周结束，拜登政府将终止大多数剩余的联邦 COVID-19 疫苗要求。针对联邦雇员和联邦承包商，	50
标题：美国将取消大多数联邦 COVID-19 疫苗强制令 联邦雇员和联邦承包商，以及前往美国的外国航空旅客的疫苗要求将于 5 月 11 日结束。政府也开始取消对启蒙计划教育工作者、医护人员和美国陆地边境的非公民的疫苗接种要求。	50
标题：美国将取消大多数联邦 COVID-19 疫苗强制令 美国陆地边境的非公民。 这些要求是联邦政府为促进疫苗接种而采取的一些更具强制性的措施的最后遗迹，因为致命病毒肆虐，它们的结束标志着	50
标题：美国将取消大多数联邦 COVID-19 疫苗强制令 最新展示了乔·拜登总统的政府如何将 COVID-19 视为一种常规的地方性疾病。“我相信这些疫苗强制令产生了巨大的有益影响，但我们现在认为	50
标题：美国将取消大多数联邦 COVID-19 疫苗强制令 现在我们认为取消这些要求是很有意义的，”白宫 COVID-19 协调员阿希什·贾博士周一告诉美联社。	38
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 纽约州奥尔巴尼（美联社）纽约州议员周一开始投票表决一项 2290 亿美元的州预算，该预算逾期一个月，该预算将提高最低工资、打击非法大麻商店，并禁止在新	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 使用燃气灶和炉子。 州长凯西·霍赫尔和她在立法机构中控制的民主党同僚之间的谈判拖延到了 4 月 1 日的预算截止日期之后，这主要是因为对保释法修改和	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 对保释法和其他政策提案存在分歧。 一些预算法案的公开辩论于周一开始。州参议院多数党领袖安德里亚·斯图尔特-库辛斯表示，她预计将于周二完成投票，预算	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 周二完成投票，预算她表示包含对纽约人来说“意义重大”。库辛斯在投票开始前告诉记者，“我本希望早点完成这项工作。我认为我们都会同意这一点。这是	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 投票开始前告诉记者，“这是一个政策内容非常丰富的预算，而且很多政策都必须经过仔细推敲。” 霍赫尔能够推动修改保释法，这将消除要求法官的标准	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 这项标准要求法官规定“限制最少”的手段来确保被告返回法庭。 Hochul表示，法官需要额外的酌处权。一些自由派立法者认为，这将削弱2019年批准的全面保释金改革	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 2019年批准的保释金改革，导致更多低收入人群和有色人种被审前拘留。以下是根据州政府官员的说法，预算中将包含的其他一些政策条款。最低	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 到州政府官员。纽约市及其部分郊区的最低工资将提高到17美元，到2026年，该州其他地区的最低工资将提高到16美元。这高于15美元	50
标题：纽约州议员开始辩论预算，该预算逾期 1 个月 2026年。这高于纽约市的15美元和纽约州北部的14.20美元。	22

在这个例子中，我们可以看到两个输入文档被解析成十四个输出文本块。每个文档的标题（标题）都会被添加到前面，并包含在计算的块大小中，因此每个块都与配置的块大小匹配（每个文档的最后一个块除外）。我们还配置了这些文本块中的一些重叠，因此最后五个标记是共享的。为什么要在文本块中使用重叠？考虑到当您基于标记拆分文档时，句子甚至相关的概念很可能会被拆分为单独的块。每个文本块都由语言模型单独处理，因此这可能会导致块边界处出现不完整的“想法”。重叠确保这些拆分的概念完全包含在至少一个块中。

JSON 文件

这个最终示例对相同的两篇文章使用JSON文件。在这个例子中，我们将设置要读取的对象字段，但我们不会将元数据添加到文本块。

--

文件： article1.json

内容

{
    "headline": "US to lift most federal COVID-19 vaccine mandates",
    "content": "WASHINGTON (AP) The Biden administration will end most of the last remaining federal COVID-19 vaccine requirements next week when the national public health emergency for the coronavirus ends, the White House said Monday. Vaccine requirements for federal workers and federal contractors, as well as foreign air travelers to the U.S., will end May 11. The government is also beginning the process of lifting shot requirements for Head Start educators, healthcare workers, and noncitizens at U.S. land borders. The requirements are among the last vestiges of some of the more coercive measures taken by the federal government to promote vaccination as the deadly virus raged, and their end marks the latest display of how President Joe Biden's administration is moving to treat COVID-19 as a routine, endemic illness. "While I believe that these vaccine mandates had a tremendous beneficial impact, we are now at a point where we think that it makes a lot of sense to pull these requirements down," White House COVID-19 coordinator Dr. Ashish Jha told The Associated Press on Monday."
}

文件： article2.json

内容

{
    "headline": "NY lawmakers begin debating budget 1 month after due date",
    "content": "ALBANY, N.Y. (AP) New York lawmakers began voting Monday on a $229 billion state budget due a month ago that would raise the minimum wage, crack down on illicit pot shops and ban gas stoves and furnaces in new buildings. Negotiations among Gov. Kathy Hochul and her fellow Democrats in control of the Legislature dragged on past the April 1 budget deadline, largely because of disagreements over changes to the bail law and other policy proposals included in the spending plan. Floor debates on some budget bills began Monday. State Senate Majority Leader Andrea Stewart-Cousins said she expected voting to be wrapped up Tuesday for a budget she said contains "significant wins" for New Yorkers. "I would have liked to have done this sooner. I think we would all agree to that," Cousins told reporters before voting began. "This has been a very policy-laden budget and a lot of the policies had to parsed through." Hochul was able to push through a change to the bail law that will eliminate the standard that requires judges to prescribe the "least restrictive" means to ensure defendants return to court. Hochul said judges needed the extra discretion. Some liberal lawmakers argued that it would undercut the sweeping bail reforms approved in 2019 and result in more people with low incomes and people of color in pretrial detention. Here are some other policy provisions that will be included in the budget, according to state officials. The minimum wage would be raised to $17 in New York City and some of its suburbs and $16 in the rest of the state by 2026. That's up from $15 in the city and $14.20 upstate."
}

--

settings.yaml

input:
    file_type: json
    title_column: headline
    text_column: content

chunks:
    size: 100
    overlap: 10

Documents DataFrame

id	标题	文本	创建日期	元数据
（从文本生成）	美国将取消大多数联邦 COVID-19 疫苗强制令	（文章列内容）	（article1.json的创建日期）	{ }
（从文本生成）	纽约州议员开始辩论预算，该预算逾期 1 个月	（文章列内容）	（article2.json的创建日期）	{ }

原始文本块

内容	长度
华盛顿（美联社）白宫周一表示，随着针对冠状病毒的全国公共卫生紧急状态于下周结束，拜登政府将终止大多数剩余的联邦 COVID-19 疫苗要求。针对联邦雇员和联邦承包商，以及前往美国的外国航空旅客的疫苗要求将于 5 月 11 日结束。政府也开始取消对启蒙计划教育工作者、医护人员和美国陆地边境的非公民的疫苗接种要求。 这些要求是联邦政府为促进疫苗接种而采取的一些更具强制性的措施的最后遗迹，因为	100
联邦政府为促进疫苗接种而采取的措施，因为这种致命病毒肆虐，它们的结束标志着乔·拜登总统的政府正在将COVID-19视为一种常规的地方性疾病的最新表现。“虽然我相信这些疫苗强制令产生了巨大的有益影响，但我们现在认为取消这些要求是有道理的，”白宫COVID-19协调员阿希什·贾博士周一告诉美联社。	83
纽约州奥尔巴尼（美联社）纽约州议员周一开始投票表决一项 2290 亿美元的州预算，该预算逾期一个月，该预算将提高最低工资、打击非法大麻商店，并禁止在新建筑中使用燃气灶和炉子。州长凯西·霍赫尔和她在立法机构中控制的民主党同僚之间的谈判拖延到了 4 月 1 日的预算截止日期之后，这主要是因为对保释法修改和支出计划中包含的其他政策提案存在分歧。 一些预算法案的公开辩论于周一开始。州参议院多数党领袖安德里亚·斯图尔特-库辛斯表示，她预计将于	100
参议院多数党领袖安德里亚·斯图尔特-考辛斯表示，她预计周二将完成一项预算的投票，她说该预算包含纽约人的“重大胜利”。“我希望早点完成这件事。我认为我们都会同意这一点，”考辛斯在投票开始前告诉记者。“这是一个政策性很强的预算，很多政策都需要仔细分析。”Hochul能够推动修改保释金法，该法将取消要求法官规定“限制最少”的手段来确保被告返回法庭的标准。 Hochul说，法官	100
手段来确保被告返回法庭。 Hochul表示，法官需要额外的酌处权。一些自由派立法者认为，这将削弱2019年批准的全面保释金改革，并导致更多低收入人群和有色人种被审前拘留。以下是根据州政府官员的说法，预算中将包含的其他一些政策条款。纽约市及其部分郊区的最低工资将提高到17美元，到2026年，该州其他地区的最低工资将提高到16美元。这高于纽约市的15美元和纽约州北部的14.20美元。	98

在这个例子中，两个输入文档被解析成五个输出文本块。没有添加元数据，因此每个块都与配置的块大小匹配（每个文档的最后一个块除外）。我们还配置了这些文本块中的一些重叠，因此最后十个标记是共享的。