孟天广 苏宇轩 | 基于大语言模型的政治史料分类方法研究：从史料结构化到智能标注

本文作者之一：孟天广

编者按：人工智能与社会科学的交叉融合，正重塑史料研究的范式。孟天广教授团队以《清实录》为核心语料，系统探讨大语言模型在政治史料分类中的应用路径，通过多模型对比、多维度实验，揭示其在零样本场景下的独特优势，破解传统方法的局限。文章兼顾方法创新与实证检验，不仅验证了大语言模型对古代汉语文本的适配性，更构建起可复制的史料智能标注路径，为计算社会科学与历史研究的深度融合提供了重要参考，彰显了技术赋能人文社科研究的巨大潜力（社会学理论志编辑部）。

文本分类是社会科学研究中的基础方法，大语言模型为海量文本数据的语义理解、自动标注和语义推理带来了多维度的方法变革机遇。文本标注在政治学领域的重要性日益凸显，这既源于数字化时代政治文本数据的爆炸式增长，也反映了社会科学方法范式的计算转型。面对海量的政策文件、社交媒体内容和新闻报道，传统人工分类方法已难以满足高效处理需求，而大语言模型技术的突破性发展为政治学提供了强大的通用工具，使其能够从非结构化文本中提取关键信息，进而量化分析政治行为、政治关系和制度变迁。

近年来，计算社会科学研究者将大语言模型应用于政治学研究的各类文本分析任务中，诸如数据增强与数据标注、文本注释、情感分析、主题建模等，形成了若干富有创新性的研究成果。尽管现有研究展示了大语言模型辅助文本分析的方法潜能，然而诸多方法议题仍然值得系统探讨以推进基于人工智能的文本标注方法创新。首先，相较于传统机器学习方法，大语言模型在文本分类任务中的适用场景和局限性分别是什么？其次，针对不同类型的文本分类任务，如何选择合适的大语言模型？再次，在提示词工程（Prompt Engineering）优化方面，哪些关键维度能够显著提升文本分类的准确性和稳健性？不同类型的文本分类任务是否存在最优的提示词设计策略？最后，在特殊风格文本分类上，大语言模型能够深入理解不同风格的政治话语并达到令人满意的分类效果吗？回答上述问题不仅有助于更全面地认识大语言模型的优势和局限性，而且也为研究者提供将大语言模型应用于文本标注时提供更具适应性的方法路径。

本文将围绕两个部分展开：首先梳理了政治学中文本分析从传统机器学习到预训练模型再到大语言模型的技术演进路径；其次基于三个典型语料库与六类主流大模型设置多模态数据对照实验，采用控制变量法分析提示词工程对大模型分类效果的影响机制，最终形成利用大语言模型开展海量历史语料文本标注及分析的方法思考。

政治语料的复杂性，特别是历史语料固有的多义性、隐喻性以及对特定语境的高度依赖，为传统文本分类方法提出了巨大的挑战。在历史语料文本标注方法嬗变中，研究者主要采用了四类递进的方法技术：首先是以特征工程方法捕捉千层语义，其次是以向量化方法进行主体建模，再次是以预训练模型助推深层语义挖掘，最后是以生成式人工智能推进语境化智能。这四类技术在文本分析任务中同步发展，共同推动了政治语料分析的方法创新。

（一）特征工程方法捕捉浅层语义

早期研究主要依赖人工构建特征的传统机器学习方法，以逻辑回归（LR）、朴素贝叶斯（NB）、K近邻（K-NN）和支持向量机（SVM）为典型代表，其核心机制依赖于人工来手动设计一套特征体系。研究者通常运用词频-逆文档频率（TF-IDF）、n-gram序列、句法标记等结构化指标进行特征抽取，进而完成文本分类任务。例如有学者从702万条政务新媒体数据中随机抽取训练集，对政务微博内容标签进行分类预测，从而探索2009 -2023年主流媒体中“软宣传”的兴起、特征与效果。然而，这些方法在处理历史文本，尤其是像《清实录》这类含有大量古语、复杂句式和特定历史文化语境的材料时，存在明显的局限性：一是对复杂句式中上下文依存关系的建模能力较弱，难以理解古代汉语的修辞特点；二是无法适应历史语言使用中的隐喻、反讽等复杂修辞现象，这使得其在精确识别历史事件、人物情感或政策意图时面临巨大挑战。

（二）向量化方法进行主题建模

意识到浅层语义分析存在瓶颈后，研究者们逐渐转向分布式语义模型，典型代表包括Word2Vec、Doc2Vec等空间向量模型，它们不再依赖人工特征，而是通过大规模语料的上下文共现关系学习词的向量表示，从而更好地捕捉语义相似度与词间逻辑关系。在政治文本分析领域，Word2Vec被广泛用于政策议题聚类、意识形态差异测量与话语网络构建。

与此同时，潜在狄利克雷分布模型（LDA）作为主题建模的重要方法，在大语言模型出现之前被频繁用于中文政治文本分析。LDA能从大量文本中自动识别潜在主题分布，帮助揭示政治语料中的隐含议程与意识形态结构，这是由于LDA模型建立在一个简洁高效的假设基础之上，即每篇文档都是多个主题信息的融合体，只不过不同主题在文档中的体现程度或所占比例存在差异。相较于基于特征工程的分类，LDA在历史文本研究中更具解释性，能够挖掘出政策文本与历史文件中的主题变迁。在政治文本分析中，LDA 被广泛用于揭示政策文件、历史档案等语料中的隐含议程与意识形态结构。总的来说，向量化方法主导的主题建模思路推动了文本分析从特征工程向自动语义建模的转变。

（三）预训练模型助推深层语义挖掘

传统机器学习技术的局限性推动了新方法的突破性发展，其中基于Transformer架构的预训练模型（如BERT）通过自注意力机制理解和识别上下文敏感的语义表征。BERT (Bidirectional Encoder Representation from Transformers)是一种能够更深层次理解文本上下文关系的自然语言处理模型。它通过在海量文本上进行大规模预训练，从而学习语言的基本规律、句法结构和语义信息，然后针对特定任务进行微调(fine-tuning)以适应具体场景。然而，高性能计算资源的存在门槛（如4090显卡）使研究成本显著增加，这导致许多学者难以独立开展基于大规模预训练模型的历史语料自动标注，在实际应用中算力消耗往往也需要一定成本，进一步限制了相关技术的普及与规模化落地。

（四）生成式人工智能推进语境化智能

大语言模型的突破性进展标志着文本标注进入“语境化智能”新阶段，为历史语料分析带来了前所未有的机遇。以GPT系列、Llama、DeepSeek等为代表的大语言模型，通过更为庞大的模型参数、更深的网络层级以及更复杂的自注意力机制，实现了对文本全局语义的动态建模和更强的语境理解能力。大语言模型不只是停留在识别显性词汇特征，还能捕捉文本中的隐含逻辑、情感倾向、复杂修辞甚至深层文化隐喻，这正是理解历史语料独特表述方式的关键所在。简言之，与传统方法相比，大语言模型具备更优良的泛化(generalization)能力，经过训练的模型在前所未见的数据上可以展现出良好的性能。尤其是在“零样本训练”（zero-shot）或“少样本训练”（few-shot）场景下，大模型无需或仅需少量标注数据即可胜任指定任务，完美解决了诸多领域标注数据稀缺问题。这些特性使得大语言模型成为历史语料研究中极具潜力的工具。

为了全面评价大语言模型应用于历史预料分析的效能，本文不仅关注传统分类任务中的准确率指标，还创新性地引入了成本-效益分析视角。具体而言，从分类准确度、分类效率以及经济成本等多个维度展开分析，为读者使用大语言模型开展历史预料分析提供从多个角度选择适当方法的依据。

为了对《清实录》数据集进行自动文本分类，本文首先构造了文本分类的提示词，并通过调用大语言模型的API接口，将提示词和待分类文本输入大语言模型中，并从输出端获得大语言模型的分类结果，然后结合大语言模型的分类结果与原数据集人工标注结果，计算出F1分数衡量大模型的分类性能。本文选择了六种具有代表性的大语言模型进行测试，分别是DeepSeek Chat、GPT-3.5-turbo、GLM-4-AIR、Llama3.1-70B、Mixtral-8x22B-Instruct和Qwen-Plus。这一选择基于以下三个标准，旨在确保所选模型在本次研究中具有足够的代表性：（1）地域与技术生态的代表性：我们有意选择了来自不同国家和技术生态的模型，以反映全球大模型发展的多元化格局。（2）模型许可协议的代表性：我们的选择涵盖了不同许可协议的模型，包括闭源API模型（GPT-3.5-turbo、Qwen-Plus）和开源模型（Llama3.1-70B、Mixtral-8x22B-Instruct、GLM-4-AIR，以及中国知名的部分开源模型DeepSeek Chat），这有助于我们观察不同技术路线下的模型表现。（3）研究社区的普遍采用：我们所选的模型，尤其是GPT-3.5-turbo和Llama系列，在近期的学术研究中被广泛用作基线模型。表2展示了对本文选择的六种大模型的详细介绍。

（一）《清实录》基准分类预测

首先对《清实录》全文本进行了基准分类预测。为了识别清王朝中央政府的信息供给与信息需求，我们重点关注《清实录》中的两类文本，分别是奏疏和圣谕。奏疏包含了高级官员向皇帝供给的地方知识和政务建议，而圣谕则是皇帝向帝国治理主动提供的指示和要求。我们将所有文本条目划分为三类，分别为圣谕类、奏疏类、非奏谕类，其中圣谕类条目仅包括皇帝对臣子的指示，奏疏类条目包括臣子对皇帝的奏报以及皇帝对奏报的指示；非奏谕类条目包括对于皇帝日常行踪的记载等与本研究无关的信息。三种分类的含义与示例见表3。

研究招募了10余名具有历史学背景的学生作为研究助理，培训其熟悉《清实录》文本编纂风格，掌握编码规则和编码方式，对从十万余条目中随机抽取的3000条训练集进行“背靠背”标注，当两名研究助理同时对于一个变量进行标注的编码结果不一致时则引入第三人重新标注，以此获得了高质量的标注数据集。经过筛选后，该数据集包括500条圣谕类条目、500条奏疏类条目，以及500条非奏谕类条目。笔者首先利用传统机器学习模型进行预测，通过选取逻辑回归 (logistic Regression, LR)、朴素贝叶斯(Naive Bayes, NB) 、K近邻(K-Nearest Neighbor, K-NN)、支持向量机 (Support Vector Machine, SVM)等模型对于训练集进行模型拟合与拟合效果评估，模型的具体参数参见表1。我们发现K近邻(K-NN)预测效果较差，仅为0.2705；逻辑回归(LR)、朴素贝叶斯(NB)、支持向量机(SVM)预测效果均为0.7上下，依然无法实现理想的预测效。

由于本文面向的语料为古代汉语，笔者选择了面向古代汉语一种预训练模型GUWEN-BERT进行预测。GUWEN-BERT利用15,694本古文书籍超过17亿字符的古代汉语语料进行预训练，如表4所示，本研究通过《清实录》中进行人工标注的少量语料对GUWEN-BERT进行微调，最终实现的分类准确率超过99%，可以认为该预训练模型能够充分学习并适应本研究的分类特征，因此笔者最终选择了GUWEN-BERT分类器进行基准分类预测。应用GUWEN-BERT分类器进行分类得到清代奏折数量变化如图2所示。

图 1 清代奏折数量随时间变化趋势（每十年移动平均）

图1展示了清代奏折数量随时间变化趋势（每十年移动平均），横轴表示年份，从1600年代后期延伸至1900年代初期，并标注了清朝历代帝王的年号。纵轴代表奏折条目的数量。可以看出，在清朝的不同时期，奏折数量呈现出明显的波动趋势。清朝早期如顺治和康熙年间，奏折数量相对较少，维持在较低水平。雍正帝的勤政与对密折的亲自批阅极大鼓励了官员上报，密折制度的推广直接导致雍正年间奏折数量的爆发式增长。进入乾隆时期，奏折数量有所增长，但整体波动不大。然而，从嘉庆时期开始，奏折数量显著上升，此后在道光、咸丰、同治和光绪时期持续高位震荡，并伴随着多次急剧的峰值，尤其是在嘉庆末期和光绪初期，出现了奏折数量的显著高峰。这无疑反映出了晚清时期政治危机、内忧外患频繁，奏折数量成为朝廷处理复杂政务的一个重要证据。

（二）奏疏类文本多分类预测

初步梳理《清实录》文本后，我们筛选出圣谕、奏疏及非奏谕三类文本条目，这为进一步针对奏疏与圣谕文本的深入分析奠定了基础。为更系统地了解清廷在不同治理领域的信息供给结构，本研究进一步对奏疏类文本进行了细化分类。具体而言，我们参考既有研究中学者对《清实录》分本的通行分类思路，同时结合大语言模型的文本语义聚合能力，尝试将奏疏类文本划分为八个主要类别，分别为工程类、官吏类、财税类、军事类、礼教类、农业类、外交类与赈灾类，如见表5所示。值得注意的是，目前学界尚无研究依据此八分类体系对《清实录》进行系统化整理，因此本研究采用大语言模型进行初步分类分析，主要目的是验证大模型在史料结构化与语义识别中的可行性与潜力。表5展示了模型在史料自动分类任务中的表现与特征分布，这也是本文方法论上的探索。从分类结果来看，清代奏疏类文本中出现频率最高的为官吏管理类（23.6%）与军事活动类（21.7%），其次为工程类（9.7%）、农业类（9.6%）与礼教类（8.1%）；此外，财税类（7%）、赈灾类（6.3%）与外交类（5.3%）也占有一定比例。这种分布结构为后续关于清朝国家治理重心的分析提供了一个清晰的起点。

在明确不同类别包含范围的基础上，研究助理从随机抽取的3000条文本中为每个条目类别各收集了200条标注数据。我们利用几种基准分类中的传统机器学习模型与GUWEN-BERT进行分类预测。除此之外，由于该分类任务的分类标准主观性较强，需要对文本语义进行深入理解，我们还通过调用大语言模型的API接口并构造适应文本语境的提示词，利用大语言模型进行文本分类。不同模型的分类预测效果如表6所示。

表6结果显示，在对《清实录》奏疏类文本进行细化多分类的任务中，不同模型展现出显著的性能差异。传统机器学习方法，包括逻辑回归、朴素贝叶斯、K近邻和支持向量机，其准确率和F1分数均处于较低水平，未能有效应对古代汉语文本多分类的复杂性，这再次印证了这类方法在处理历史文献深层语义理解上的局限性。GUWEN-BERT作为针对古文预训练的模型，其分类效果相较于传统机器学习方法有了明显提升，但其准确率和F1分数仍未达到理想水平，表明在面对更为细致且带有一定主观判断的多分类任务时，单纯的预训练模型也面临挑战。然而，值得注意的是，Chatgpt3.5作为大语言模型的代表，其分类表现远超所有其它模型，准确率高达0.8711，F1分数也达到了0.7864。这一结果强有力地证明了，在需要深入理解文本语义、处理复杂和微妙语境的历史文献多分类任务中，大语言模型展现出卓越的性能优势。

图2以军事类奏折为例进行分类结果展示。该图展现了清朝近三百年间的军事安全形势。图中的四个高峰期为顺治初年的统一全国、康熙年间的三藩之乱、嘉庆年间的白莲教起义，以及咸丰同治年间的太平天国运动与两次鸦片战争，这都清晰地对应了清朝历史上重大的内部叛乱或外部危机，表明在这些时期，军务是朝廷关注的焦点；而康熙前期、雍正至乾隆中期以及道光中后期的一些低谷，则反映了国家政局相对稳定，军事冲突较少的盛世时期。

图3展现了清朝近三百年间自然灾害与国家兴衰的联系。清初顺治至康熙早期，高频的赈灾奏折反映了战后社会重建时期，朝廷为稳定民心而积极应对频发灾情。雍正时期，赈灾奏折数量相对平稳，体现了对灾害的有效控制。然而，进入乾隆年间，伴随人口激增导致的人地矛盾激化，尽管国力鼎盛，但巨灾频仍。嘉庆、道光时期，清朝国力由盛转衰，内外交困，财政吃紧，图表中赈灾奏折数量的普遍低迷，反映出政府应对灾害能力的衰退。进入光绪时期，虽然清廷尝试“中兴”，但频发巨灾，“丁戊奇荒”就是典型案例。

（三）提示词工程对分类效果的影响

前述分析表明，大语言模型在《清实录》奏疏类文本多分类任务中展现出显著的性能优势。然而，大语言模型的优越性能并非完全依赖于其大参数模型和训练数据，有效的“提示词工程”（Prompt Engineering）对充分发挥其潜力至关重要。提示词工程涉及设计和优化输入给大模型的文本指令，以引导模型理解任务并生成高质量输出。在历史语料分析中，如何针对古文特点和特定分类任务设计提示词，直接关系到分类的准确性、模型的鲁棒性以及研究效率。因此这部分将探讨提示词工程在《清实录》文本分类中的作用，通过对比不同提示词策略下的实验结果，揭示其对分类效能的具体影响，并为研究者利用大语言模型进行文本分析提供实用的方法指南。

1.分类条目

在历史语料分类中，学者们常常面临二分类、三分类乃至多分类任务时，对于分类方法的选择存在困惑。因此首先考察分类维度扩展对不同分类器效能的影响，具体而言，基于实验思维，我们设计涵盖二元分类、三元分类到八分类的递进实验框架，对主流AI分类器的表现差异进行评估，从而揭示分类复杂度与算法适用性之间的动态关联规律。在AI分类器上，本文选取了传统机器学习模型（分别为朴素贝叶斯、支持向量机、逻辑回归）、预训练模型（GUWEN BERT）、大语言模型（分别为Deepseek Chat, gpt-3.5-turbo, llama3.1-70b, qwen-plus）进行比较，并用加权F1分数测量每种人工智能分类器的性能，结果如图4所示。

图4的横坐标表示分类维度，这意味着将逐步增加文本分类的条数进行分类测试可以发现，随着分类任务类别数量的递增，大语言模型展现出显著的分类性能优势，维持接近理论最优水平的分类效能。相比之下，传统机器学习方法的性能衰减最为明显，预训练模型的衰减速度居中，而大语言模型的性能下降幅度最小，表现出更强的泛化与稳健性。

2.情景设定

在大模型的提示词中融入“角色扮演”（Role-Playing）技术，可以有效提升文本分类的效果吗？这种方法通过指定角色的知识背景和判断标准，引导模型关注人为指定的角色特征，从而影响分类的准确性和稳定性。角色扮演可以使模型在分类时更有针对性，如图5所示，我们利用DeepSeek Chat、glm-4-air、gpt-3.5-turbo、llama3.1-70b、mixtral-8x22b-instruct、qwen-plus六种大语言模型进行中文文本分类，在提示词中分别加入和去除了如下的一句话：

结果显示，六种中的五种大模型都在有情景设定的情况下表现出更为优异的分类效果，其中gpt-3.5-turbo、DeepSeek Chat分类效果准确率达到了96%以上，只有qwen-plus在无情景设定的情况下实现了更出色的分类效果。因此我们建议，研究者们可以在提示词中加入适当的情景设定以实现更优的分类效果。

3.样本提示

利用传统机器学习方法进行文本分类，需要一个带标注的训练数据集，但大模型文本分类允许在没有训练数据的情况下直接进行分类。在没有针对任何特定类别进行训练的情况，让大模型根据自身对自然语言的理解，直接对文本进行分类，被称为零样本文本分类。在提示词中加入少量样本示例的提示技术，通常被称为少样本文本分类（Few-Shot Text Classification）。有学者认为，在提示词中加入少量样本可以在大模型中引入外部知识来强化预测能力，允许模型在特定任务上进行少量训练，通过具体的示例缓解标签歧义问题，帮助大语言模型更准确地判断类别。也有学者认为，在一些情况下零样本分类展现出了比少样本分类更好的通用性，这是由于零样本分类依赖于预训练的海量数据，能够有效处理未见过的类别，而少样本分类会受到样本选择偏误的影响。那么在中文文本分类中，我们应该采取零样本分类还是少样本分类呢？

图6通过箱线图呈现了少样本学习场景中提示词样本数量（0-shot、2-shot、4-shot、6-shot、8-shot、10-shot）与模型加权F1分数的关联，横轴为提示词中的样本数量，纵轴为衡量模型性能的加权F1分数。在控制了其他因素的情况下，分别在提示词中加入了随机抽取的样本。本研究使用了文本二分类，因此一组样本提示包含两个样本，格式如下：

图6中箱线的中位数反映不同样本数量下模型性能的集中趋势，如 10-shot 的中位数较高，显示该配置下模型典型性能更优，箱体宽度体现数据离散程度，如 0-shot 箱体较广，表明其性能稳定性较弱，而其他场景箱体较窄则稳定性更强。须线则表示分数的波动范围。整体来看，零样本提示与十样本提示展现出了相似的效果，且随着样本数量增大，大语言模型分类效果上下起伏，不同样本数量下模型加权 F1 分数的分布特征差异不大，样本数量对大模型分类效果并没有产生显著影响。

4.时间－精确率权衡

在大多数文本分类任务中，较低的分类耗时与较高的分类精确率往往不可兼得，需要面临权衡取舍。复杂模型（如深度神经网络、预训练模型、大语言模型）通常能够结合上下文提取更丰富的文本特征，提高分类精度，但计算成本高，推理速度慢。然而利用词向量（如TF-IDF、Bag-of -Words）或预训练词嵌入（Word2Vec、FastText）等方法虽然能够在短时间内获得分类结果，然后却在复杂任务面前难以获得较高的分类精度。那么以大语言模型的视角看待时间-精确率的权衡，能够给自动文本分类提供何种借鉴呢？我们在同一数据集上计算了各种大语言模型分类单个样本所需的用时（单样本推理时延），并观测了大模型的分类效果，结果如图5所示。

图7展示了不同人工智能分类器的单样本推理时延（横轴，以秒为单位）与加权F1分数（纵轴）之间的权衡关系。DeepSeek V3 和 Llama3.1-70B 模型位于图中右上方，在较长的单样本推理时延情况下，实现了不错的分类效果。GPT-3.5-Turbo在损失了一部分分类性能的情况下，大幅度减少了单样本推理时延，是“时间-精确率”权衡的最佳典范。而Qwen-Plus、GLM-4-Air等模型加权F1分数中等，仅仅略高于传统机器学习模型。多种机器学习模型虽然加权F1分数较低，但可以在几乎瞬间完成整个样本的分类。图7告诉我们，如DeepSeek V3 和 Llama3.1-70B 模型位于图中右上方，在较长的单样本推理时延情况下，实现了较好的分类效果。GPT-3.5-Turbo在牺牲部分分类性能的同时，显著缩短了推理时间，在“时间—精确率”权衡方面表现相对更优。相比之下，Qwen-Plus、GLM-4-Air等模型的加权F1分数中等，仅略高于传统机器学习模型。

5.强调类别含义

对于文本分类任务而言，在提示词中强调类别的含义是否能够提升分类效果？为此，我们在控制了其他变量的情况下，在提示词中加入了对不同类别含义的解释，在对于《清实录》奏折的六分类任务中，我们利用大语言模型生成了针对不同含义的解释，例如对“工程类”的含义如下：

图8展示了DeepSeek Chat、glm-4-air、gpt-3.5-turbo、llama3.1-70b、mixtral-8x22b-instruct、qwen-plus六种大语言模型在“强调类别含义”和“不强调类别含义”两种情况下的分类性能。横轴为模型名称，纵轴为加权F1分数值。可以发现，与我们的预估相反，六种大语言模型都在不强调类别含义时呈现出了较为优良的分类效果，却在强调类别含义的时候分类效果不佳。我们建议研究者在使用大模型进行历史语料分类时，除非得出了对于每种类别的精确全面的定义，否则要谨慎考虑在提示词中强调类别的含义。大模型本身就可以依据简短的分类标准达到更优的分类效果。

6.稳健性检验

上述分析基于《清实录》这一具有代表性的大规模政治史料，展示了特定情境下大语言模型的文本分类性能规律。然而，为确保利用大语言模型开展政治语料分析的外部效度和可推广性，我们必须系统考察该方法是否能稳定地推广至其它类型的政治文本，以证明其可复制、可推广的特性。我们深知大语言模型具有内容敏感性（Content-Sensitivity）的特征，且性能受文本语境、类别定义和提示工程等多种因素影响，因此，严格的稳健性检验尤为必要，以排除结论特定于某一历史文献的偶然性。基于此，我们设计了多数据集的交叉验证方案。该稳健性检验不仅限于核心的《清实录》文本，更策略性地引入了具有可比性和独立性的《明实录》文本作为外部验证集。在《明实录》上复现相同的分类实验，能够系统性地评估本文所揭示的性能规律（包括对类别含义强调后的效果变化）在不同历史语料中的一致性和可靠性，从而有力地支撑结论的稳健性。如下三张图汇报了利用《明实录》进行大语言模型分类实验的详细结果。

具体而言，图 9 所示的分析结果与核心数据集《清实录》上的发现高度一致，有力地验证了本研究主要结论的稳定性。图 10 揭示了少量样本提示词配置下的性能变化。虽然F1指数在样本数介8组至10组时呈现出微弱的上升趋势，但未能形成显著且完整的规律性模式。这一观察结果同样支持了我们关于提示词中样本数量对分类性能影响有限的判断。图 11 描绘了模型推理时间与分类效果的95%置信区间关系，其结果与《清实录》实验保持了基本的一致性。

综合上述多项指标的交叉验证，我们发现：本研究基于《清实录》得出的大语言模型运用性能规律具有较高的稳健性，并能有效泛化至具有相似政治史料特征的《明实录》文本中，这表明本文提出的利用大语言模型开展政治语料分析的方法在处理具有类似结构和语义特征的文本时具有泛在适用性。这种跨历史语料的高度

一致性，有力地排除了结论的偶然性或特定语境的局限性，同时也为大语言模型在处理大规模历史政治文本分类任务时的可推广性提供了更为可靠的实证基础。

本文系统探讨了大语言模型在政治史分析中的方法创新，聚焦《清实录》这一典型历史语料，考察了大语言模型在复杂语境中的文本解析能力，尤其在古代汉语、多义隐喻、长篇文体等挑战性任务中表现出显著优势。研究发现：大语言模型在零样本场景下的突破性优势有效突破了传统方法对人工标注数据的强依赖，其精准的语义解码能力在隐喻性文本、古文分类等复杂场景中尤为突出；模型性能呈现“预训练模型-大语言模型-传统机器学习”的三级阶梯结构，但大语言模型凭借无须数据集的零样本分类展现出独特性价比；提示词工程通过情景嵌入策略可有效提升分类准确率，但过度细化的类别描述反而引发分类性能衰减；GPT-3.5-Turbo在“推理时间-分类精度”权衡框架中达成帕累托最优。概言之，大语言模型对古代汉语文本的分类准确率可以媲美预训练模型，大幅领先传统机器学习方法，表明其在历史文本分析中极为重要的方法创新价值。

本文以政治史语料为例展示了大语言模型对计算社会科学范式转变所带来的革命性意义，这为社会科学尤其是历史社会科学研究的方法转型提供了重要启示。首先，本文拓展了历史学对史料分析工具的认识边界。以往历史文献的分类、主题提取与结构化处理多依赖人工识读与定性经验，处理效率低、主观性强，而大语言模型展现出的零样本分类能力，有效突破了传统方法对人工标注的依赖，极大地降低了历史文献量化分析的技术门槛。这一发现意味着，历史学者可以在不具备高强度编程或算法背景的前提下，借助人工智能技术精准高效完成海量史料的初步分类与筛选，从而将更多精力投入到史料解读与理论检验之中。其次，本文验证了大语言模型在处理古代汉语文本上的强适应性，这一突破对于传统史学研究具有革命性意义。历史研究长期面临古代文献的格式混杂、语法古奥等方法难题，而大语言模型对《清实录》中圣谕、奏疏等典型语类的精准分类，不仅提升了史料整理效率，也为构建结构化历史数据库、开展量化历史分析提供了可行路径，彰显了其在古文处理领域的强大潜力。

当然，本文仍有若干局限，值得在未来做更深入的探讨。首先，本文的研究语境仅局限于中文历史语料，尚不清楚大语言模型在多语种历史文献中是否依然适用；其次，我们使用的分类模型依然是“黑箱”结构，缺乏清晰的可解释机制，在因果推断等更高阶分析任务中的应用前景尚不明朗。更重要的是，本文研究设计主要采用了控制变量法，侧重于评估单个提示词策略（角色扮演、强调类别含义等）对分类效果的影响。但在实际操作中，大多数情况下会采用多种策略的组合，例如著名的RISE框架（ROLE, INPUT, STEP, EXPECTATION）。本文并未系统展示多个策略及其不同组合的性能表现，特别是某些单独效果不佳的策略在组合应用时可能产生的加成效果。因此，本研究的结论对于更复杂的应用场景，指导意义还有待提高。总之，本文为大语言模型在政治史料分类中的适用性提供了系统性论证，也为计算社会科学的范式拓展提供了智能化转型的新探索。

（本文原载于社会学理论志公众号） 

注：本平台所载文章，仅供学术交流使用，作者（版权所有人）如不希望被转载，请联系后台删除。