徐永明 | 明代文学文献的数字化、结构化和智能化

明代文学文献的数量在1万种以上，然而影像数字化和文本数字化的工作依然任重道远。在大数据和人工智能时代，文本的结构化和智能化也提上了日程。结构化的数据，可以计量统计、定位查询及可视化呈现，同时，结构化的数据与文本结合，可以进行数据关联，为文本的阅读扫除障碍。AI通用大模型的引入，可以与专业数据结合，提升知识问答的准确率，激活学者的研究成果，而AI创意视频与古代文学的结合，则大大加强了古籍的活化利用，提高了学生学习古代文学的兴趣，促进了传统文化的普及和传播。

关键词：明代；文学文献；数字化；结构化；智能化；AI

根据《中国古籍总目·集部》的著录，明代楚辞、别集、总集、词集、诗文评及戏曲的著述有9600余种，如果再加上《中国古籍总目·子部》“小说类”1000余种的著述，则明代文学文献的数量有1万余种。当然，这不是明代文学文献的全部，因为《中国古籍总目》主要是几个大馆的联合目录，不能真正反映明代文学文献的全貌。国家后来启动的“全国古籍普查”项目已告一段落，各馆的古籍登记目录在陆续出版中。古籍普查结果显示，现存古籍总数为20余万种，比《中国古籍总目》的17余万种，多出3万余种。就明代文学文献来说，估计数量会有些增加，但总数应在15000种以内。 

根据国家图书馆原馆长张志清的说法，截至2025年，国图网站发布的数字化影像古籍大约有13万部。如以现存20余万种古籍平均3个版本计算，则古籍的实体总数为60多万部。13万部与60余万部的比例，大约为1/5。具体的影像数字化古籍的查询，可以访问“中国古典文献资源导航系统”（https://www.wenxianxue.cn/top.html?type=art），这个平台汇集了全球几乎所有图书馆、出版社、公司及个人的古籍影像数据库网址，分门别类，可以自由切换摆渡。此外，平台的建设者唐宸副教授还建立了“全球汉籍影像开放集成系统”，挂在首页。该系统提供书名和作者的一键式查询，其结果可以直接登录浏览，为学者的研究提供了极大的便利。

明代文学文献的文本数字化，在智能的OCR软件出来之前，主要是一些公司提供的产品，如北京爱如生数字化技术研究中心制作的“中国基本古籍库”软件有明别集785种，香港迪志文化出版有限公司制作的文渊阁“四库全书”有明别集239种。北京鼎秀科技有限公司开发的“鼎秀”数据库有明别集636种。由于机器学习和人工智能的出现，古籍版刻体字识别的瓶颈被突破，书同文、阿里、古联、如是、龙泉寺、汉王、字节跳动等公司和机构，纷纷推出了各自训练的古籍智能OCR软件，准确率均在95%以上。于是，古籍的文本数字化进入了快车道。按照现在的算力，如开足马力，13万种图像古籍，可以在短短的几年内文本数字化。不过，再智能的OCR软件，也不可能做到100%的准确率。人工校对，依然需要投入大量的人力和财力，不是短时间内能够完成的。

在智能的OCR软件出现的同时，也出现了智能的古籍标点软件，其准确率也达到了95%以上，一些高校和大公司都有自己开发的古籍标点软件。由于智能的OCR软件、智能的标点软件，加上众包技术的出现，古籍的整理，开始了规模化和工程化作业的模式。如文旅部自2024年开始，每年投入近1.5亿元给各省公共图书馆进行古籍数字化（影像和文本数字化）。图书馆作为收藏单位，本身没有能力承担古籍影像数字化和文本数字化的项目，于是采取招标的方式，由公司投标进行古籍的数字化项目。而国家图书馆作为牵头单位，建立一个中华古籍智慧化服务平台（https://guji.nlc.cn/），各馆数字化的古籍，均提交到这个平台来发布。

除了文旅部下属公共图书馆大规模的古籍数字化外，一些高校和公司利用众包技术，召集高校师生和专业校对机构进行古籍文本数字化的项目。如北京大学王军团队与字节跳动合作，建立了识典古籍平台（https://www.shidianguji.com/）。温州大学侯荣川团队和中华书局古联公司合作，进行明代别集的文本数字化工作。据古联公司总编辑朱翠萍介绍，明代别集的文本数字化，目前已完成600余种。浙江大学徐永明团队建立了“智慧古籍平台”（https://csab.zju.edu.cn），主要也是以整理明代别集为主。与前两者不同的是，该平台更多地侧重智能的呈现和利用。如文本要进行标点和审核，内容要进行标引和标注，人物有行迹图、世系图和社会关系图，大模型可以对文本进行翻译和赏析等（详见下文介绍）。目前已发布200余部明别集数据。

从上述的分析来看，明代文学文献的影像数字化虽然距离全部完成还有较长的路要走，但随着国家古籍数字化专项资金的持续投入，我们有信心看到，前方的终点会变得越来越清晰。明代文学文献的文本数字化，情况有些复杂，因为影像有版刻字体，有草书、行书等手写字体。如果是版刻字体，那有多少影像，就可以几乎同时得到多少未经校对的文本。不要标点的校对，可能需要一代或两代人的努力才能完成；高质量标点的校对，那可能需要数代人的努力才能完成。

所谓结构化，就是将数据以表格的方式组织和呈现。表格，小的有Excel、Access,大的，可以是SQL Server、MySQL、Oracle等，甚至可以是标记过的text 文本。与非结构化的数据相比，结构化数据有以下几大好处。一是可以计量统计。如我们已经有了《全宋文》作家分字段的数据表，那么，我们可以利用表格中的函数（如数据透视）一键统计出各省或各县作家的人数。二是可以批量匹配。如果我们手头有两张表，一张是人物著作表，一张是人物籍贯表，那么，利用表格中的函数（如VLookup）可以生成一张带有籍贯的人物著作表。三是可以可视化。如可以将统计的结果生成柱状图、饼状图。四是可以进行空间分析。如通过不同时代的人物籍贯表，可以分析人物的分布情况及版图的变化情况。五是可以进行社会网络分析。如著录了亲属关系和社会关系的表格，就可以利用Pajk、Gephi等软件进行可视化呈现，从边和点对人物的交往亲疏和影响力进行分析。六是结构化的数据可以为语言大模型提供数据增强检索和分析，提高问答的准确率。

结构化数据的种类很多，如有人物、地名、名物、时间、职官、科举、图像、书目、篇目等。在数字技术出现以前，人们其实已经做了很多有关结构化的工作，我们可以称之为准结构化文献。如正史中的人物传记、地理志书、各类辞典等，都是带有结构化特征的文献。就明代来说，准结构化的数据，人物类如《明史》中的人物列传、《国朝献征录》（焦竑）、《明人传记资料索引》、《明人室名别称字号索引》、《明遗民传记索引》、《中国文学家大辞典》（李时人，明代卷）、《明代名人传》（英文）、《明人碑传索引》（汤志波，十四册）等；地理类如《明史》中的地理志、《大明一统志》、《天下水陆路程》（明黄汴）、《客商一览醒迷》（明李晋德）、《大明一统志》等；职官类如《明史·职官志》、《明代职官年表》、《明代职官中英辞典》（张颖等）；科举类如《明清进士录》、《明清进士题名碑录索引》、《明代登科总录》（二十五册）等；年代类如《明人年谱知见录》（李佳琪，志传）、各类明人年谱等；书目类如《千顷堂书目》、《明史·艺文志》、《明代传奇全目》（傅惜华）、《明代杂剧全目》（傅惜华）、《明别集版本志》、《明别集整理总目》（汤志波）、《明人别集经眼叙录》（徐永明、赵素文）、《台湾藏稀见明别集总目提要》（李玉宝）等；篇目类如《20世纪中国古代文学研究文献总目·明代论文卷》（曹鑫）等。

然而，准结构化数据毕竟不等于数据库。如就人物辞典来说，其主要的构成是人名的词条加上小传。而人物数据库，则有人名、字号、朝代、生卒年、籍贯、经纬度、仕履、著述、亲属关系、社会关系等不同字段的信息，而且，一个人物数据库，可以是各种不同表格组合构成的关系型数据库。譬如，哈佛大学与北京大学、台湾“中央研究院”联合开发的中国历代人物传记资料库（CBDB）就是一个关系型数据库，该数据库迄今已收入了65万人物，其中明代人物为222194人（截至2025年6月11日）[该数据为CBDB项目经理王宏甦提供。]。

图1中国历代人物传记资料库人物数据统计表

CBDB数据库，可以实现过去准结构化辞典不能实现的功能。如统计女性的死亡年龄、中进士或中举人的年龄、男女的婚配年龄等。因为是对群体人物的研究，故有所谓“群体传记学”之说。数据库可以多条件查询人物信息，如某地某时的官员任职情况。这个在纸本时代，即便有工具书，也是不易查找的。此外，CBDB的人物籍贯地理信息、亲属关系、社会关系信息，在查出结果后，可以保存为地理信息或社会关系的格式，用专门的软件进行可视化的呈现和分析。

现代意义的结构化数据，除了CBDB外，与明代有关的尚有哈佛大学与复旦大学史地所合作建的“中国地理信息平台”（CHGIS）、哈佛大学的“世界地图平台”（Worldmap）、浙江大学的“学术地图发布平台”(http://amap.zju.edu.cn) 、浙江大学建立的“智慧古籍平台”（https://csab.zju.edu.cn） 发布的数据。CHGIS是数字人文的基础设施平台，里面包含了历代地名所属的行政区域、地名的经纬度等信息。Worldmap是应用地图，发布过“明代卫所分布”及“明代驿站路线图”等。

浙江大学的“学术地图发布平台”发布的地图有两类，一是人物行迹图，一是分布图。就明代的人物行迹来说，目前发布的主要有张以宁、危素、宋濂、陶宗仪、戴良、刘基、杨基、张羽、徐贲、胡奎、高启、瞿佑、杨士奇、解缙、于谦、沈周、陈献章、李东阳、王鏊、杨一清、祝允明、湛若水、王九思、唐寅、文徵明、王阳明、刘节、李梦阳、王廷相、康海、边贡、陆深、严嵩、夏言、何景明、杨慎、李濂、木公、李元阳、李开先、徐阶、吴承恩、归有光、唐顺之、王慎中、冯惟敏、茅坤、李攀龙、海瑞、沈明臣、梁辰鱼、徐渭、吴国伦、张居正、汪道昆、王世贞、李贽、沈一贯、焦竑、顾大典、屠隆、孙鑛、陈与郊、梅鼎祚、汤显祖、臧懋循、胡应麟、沈璟、冯琦、叶向高、袁宗道、徐复祚、徐光启、叶宪祖、谢肇淛、袁宏道、袁中道、钟惺、曹学佺、冯梦龙、冯梦熊、王思任、刘宗周、凌濛初、钱谦益、文震亨、苍雪、叶绍袁、徐霞客、担当、吴炳、张岱、张溥、陈子龙等人。有关明代的分布图，有《中国文学家大辞典》（明代卷）分布图、明代布政使司任职名单定位查询、明代山东散曲家地域分布图等。

浙江大学建立的“智慧古籍平台”目前主要以整理明代文学文献为主。平台发布的著述，不仅篇目独立成结构化的数据，进行了文体分类，而且对文章的地域关系进行了标注，形成可按行政区查询的结构化数据。此外，人物还有世系图、社会关系图。世系图主要的人物有杨维祯（1296）[括号内为人物生年，下同。]、张以宁（1301）、宋濂（1310）、刘基（1311）、章溢（1314）、胡深（1314）、陶宗仪（1320）、王袆（1322）、高启（1336）、方孝孺（1357）、杨士奇（1365）、夏原吉（1366）、胡广（1370）、薛瑄（1389）、商辂（1414）、姚夔（大章）（1415）、谢一夔（1425）、刘健（1433）、李东阳（1447）、杨廷和（1459）、席书（1461）、唐寅（1470）、文徵明（1470）、王守仁（1472）、康海（1475）、徐祯卿（1479）、严嵩（1480）、夏言（1482）、何景明（1483）、杨慎（1488）、韩邦靖（1488）、许宗鲁（1490）、归有光（1507）、海瑞（1514）、李攀龙（1514）、徐中行（1517）、梁辰鱼（1520）、徐渭（1521）、袁尊尼（1524）、张居正（1525）、王世贞（1526）、王穉登（1535）、焦竑（1540）、孙鑛（1542）、屠隆（1543）、邹迪光（1550）、汤显祖（1550）、胡应麟（1551）、袁宏道（1568）、冯梦龙（1574）、钟惺（1574）、钱谦益（1582）、叶绍袁（1589）等。

社会关系图主要有宋濂（1310）、刘基（1311）、陶宗仪（1320）、王袆（1322）、方孝孺（1357）、虞谦（1366）、商辂（1414）、李东阳（1447）、王鏊（1450）、杨一清（1454）、祝允明（1461）、文徵明（1470）、李梦阳（1473）、顾璘（1476）、张含（1479）、徐祯卿（1479）、严嵩（1480）、何景明（1483）、韩邦靖（1488）、苏祐（1493）、李开先（1502）、田汝成（1502）、王慎中（1509）、李攀龙（1514）、徐中行（1517）、梁辰鱼（1520）、张居正（1525）、汪道昆（1526）、王世贞（1526）、李贽（1527）、戚继光（1528）、杨时乔（1531）、孙鑛（1542）、屠隆（1543）、臧懋循（1550）、汤显祖（1550）、董其昌（1555）、叶向高（1559）、冯梦龙（1574）、钟惺（1574）、凌濛初（1580）、钱谦益(1582)、倪元璐（1593）、宋征舆(1617)、董说（1620）等。

从目前结构化数据来看，明代的数据主要还集中在地名、人名方面。从今后的发展来看，要建设明代结构化数据的任务还很重。如人物的行迹数据，现在主要还局限于比较有名望的人物，而二、三流的人物行迹数据，还有待今后来建设。此外，明代人物的日记、年谱，也有待结构化。就地名来说，CHGIS主要还是省府县三级的数据，大量地方志中县级以下的地名需要结构化。就图像来说，明代文献中的图像标注还没有真正启动。

数字技术的发展，为明代文学文献的智能化提供了可能。那么，现代的数字技术能使明代文学文献达到怎样程度的智能呢？能为我们的学术研究提供怎样的便利呢？根据笔者的认知和实践，数字技术可以在以下几个方面使文献智能化。

其一，数据生产的智能化。智能OCR、智能标点、智能标引使古籍的整理时间大大缩短，极大地提高了古籍整理的效率，并大幅度降低整理的成本。可以说，古籍整理90%以上的工作可以让机器替代，人工只要负责10%的工作量。此外，线上众包技术让众多的文史爱好者参与其中，分工合作，使得纸本时代单一作业的模式变为集体作业的模式，改变了传统古籍整理的方式，建立了全新的古籍整理范式。目前，古联科技公司、“识典古籍平台”、“智慧古籍平台”均采用了线上众包作业的模式。由于是众包作业，每个人完成的工作量都有记录，且有排行榜，有利于结算酬劳。如果有国家的经费支持，可以解决文科生的就业问题。

其二，数据呈现的智能化。就“智慧古籍平台”来说，发布在前台的文本，由于经过标引，文本数据与后台的工具书产生了关联。这样，文本的地名可以定位，人名、词语、职官、时间等实体均有工具书的关联和解释。一般的阅读障碍就基本消除了。平台引入语言大模型后，古诗文还可以今译、英译，还可以赏析。这对于传统文化的传播，起到了极大的推广作用。此外，人物的行迹图、世系图和社会关系图，又加深了读者对人物的了解。兹就地名的定位举一例说明。刘基曾写过一首《稽句岭》的诗。诗云：“白日隐岩嶅，千崖气势豪。溪流婺女阔，山入少微高。危石天敧侧，长风谷怒号。干戈方自此，行役敢辞劳！”^{［1］（卷八）}刘基的这首诗，描写的是他返乡或奉命赴任途中，经由此岭，触景生情，描绘了稽勾岭一带险峻壮丽的自然山川，抒发了诗人身处乱世、肩负使命的豪情与责任感。按：稽句岭，即稽勾岭，今名金钩岭，是丽水至武义稽勾古道上的一个要冲，在武义境内。《栝苍汇纪》：“由寿玄而北百里为稽勾山岭，曰稽勾岭，崔嵬盘绕亘二十余里。”^{［2］（卷七）}由于智慧古籍平台对稽句岭作了标引，在后台添加了经纬度，因此，阅读此诗时，就可以精确定位。这样，对诗歌的理解就有了地理空间的认知。

其三，数据问答的智能化。大语言模型的出现，使得人机交互成为人们学习和工作不可或缺的工具。浙江大学文学院数字人文中心与杭州云四库科技有限公司联合开发了文史垂类模型——云四库智能问答系统(https://www.aiyskqa.cn) 。该系统基于杭州深度求索公司的DeepSeek R1、DeepSeek V3和阿里通义千问的Qwen72B、Qwen-QwQ、 Qwen3-235B、Qwen Plus 、Qwen 2.5-max等通用大模型为底座进行数据增强。目前已投喂古籍、研究著作及论文共二百多亿字的数据，能较好地回答各类文史问题。譬如，我们问一个“杨维祯为什么被称为文妖”的问题，机器给予了如下的回答：

从上面的叙述中我们可以看到，明代文学文献的数字化、结构化和智能化，是一个漫长且极有意义的系统工程。所谓漫长，是因为明代文学文献的体量过于浩大，即便是先进的技术能帮助解决90%以上的工作量，但依然有大量的工作需要人力来完成，这需要几代人的努力。所谓有意义，一是能提高人们的工作效率，促进学术的研究向纵深的方向发展；二是借助数字技术和优质数据，有利于文化的普及和传播；三是可以激活学者的研究成果，使高冷的学术研究成果走向社会，服务大众；四是发挥数据在人工智能时代的要素作用，使其成为推动社会发展的新质生产力。