大语言模型诊断精神障碍的一致性及相关因素分析

Abstract

Objective

Insufficient diagnostic evidence and blurred diagnostic boundaries may compromise the reliability of clinical judgment and research labels, whereas standardized diagnostic interviews are resource-intensive and difficult to implement widely. Routinely archived inpatient medical records may therefore provide a practical basis for assisted diagnostic review. This study aims to evaluate the agreement of several commonly used general-purpose large language models (LLMs) with clinical reference diagnoses and the stability of their outputs across repeated runs when reviewing psychiatric admission records, analyze the associations of diagnostic information completeness and diagnostic complexity with Top-1 diagnostic agreement, and explore the characteristics of cases with frequent Top-1 disagreement to inform subsequent manual review.

Methods

A retrospective diagnostic agreement study was conducted using 125 psychiatric inpatient records. The clinical reference diagnoses belonged to 3 Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition, Text Revision (DSM-5-TR) diagnostic categories: schizophrenia spectrum disorders, bipolar disorders, and depressive disorders. The models received only standardized and de-identified admission-stage medical record text. GPT-5.5, Gemini 3.5 Flash, and Qwen 3.7 Max independently assessed diagnostic information completeness and diagnostic complexity for all cases in 3 separate runs. Ten candidate models were first preliminarily screened using a stratified sample of 45 cases. Six models, Qwen 3.7 Max, GPT-5.5, Gemini 3.5 Flash, Qwen 3.6 35B-A3B, DeepSeek-R1-Distill-Qwen-32B, and Gemma 4 26B-A4B, were subsequently selected for formal evaluation. Each model independently evaluated all 125 cases in 3 runs, yielding a total of 2 250 diagnostic judgments. The primary outcome was the Top-1 agreement rate; secondary outcomes included the Top-2 agreement rate and cross-run consistency. A multivariable linear probability model was used to analyze factors associated with Top-1 agreement, and cases with frequent Top-1 disagreement were subjected to exploratory retrospective review.

Results

Across all 3 runs of the 6 models, the overall Top-1 agreement rate was 93.0% (2 092/2 250; 95% CI 89.0% to 96.4%), and the Top-2 agreement rate was 95.6% (2 151/2 250). Cross-run consistency exceeded 92.0% for all models. Based on 375 diagnostic judgments per model across the 3 runs, Qwen 3.7 Max had the numerically highest Top-1 agreement rate among online models, at 94.4%, whereas Qwen 3.6 35B-A3B had the numerically highest Top-1 agreement rate among locally deployed models, at 93.1%. In the multivariable analysis based on all 6 models and 3 runs, after adjustment for diagnostic information completeness, model, diagnostic category, and run, each 1 standard deviation increase in diagnostic complexity was associated with an average 3.11-percentage-point decrease in Top-1 agreement (95% CI -5.66 to -0.57; P=0.017). Diagnostic information completeness showed a positive trend toward association with Top-1 agreement, but the association did not reach statistical significance (P=0.075). Seven cases with frequent Top-1 disagreement were identified. Exploratory retrospective review suggested that the diagnostic disagreements may involve the temporal relationship between mood and psychotic symptoms, integration of cross-sectional presentation with longitudinal course, and missing or ambiguous key information required for differential diagnosis.

Conclusion

At the level of the 3 diagnostic categories of schizophrenia spectrum disorders, bipolar disorders, and depressive disorders, general-purpose LLMs showed high agreement with clinical reference diagnoses and relatively stable outputs across repeated runs. Greater diagnostic complexity was associated with lower Top-1 agreement. Cases with frequent Top-1 disagreement may serve as exploratory signals for manual review but should not be directly interpreted as indicating model diagnostic errors or clinical misdiagnosis. The practical value of such signals requires further validation through independent expert assessment and external samples.

精神障碍的临床诊断主要依赖病史、精神状况检查、量表评估及纵向病程等信息的综合判断^[1-2]。多数精神障碍尚缺乏能够单独确立诊断的客观生物标志物^[3-5]。同时，精神症状具有显著的异质性和动态性，不同诊断类别之间也常存在症状重叠，因此临床诊断需要综合判断症状组合、不同症状之间的发生时序及其在纵向病程中的演变。患者及家属的表达、既往资料的完整性以及医师的问诊和记录方式等因素，也可能影响诊断证据的获取^[1]。因此，依据病历文本开展诊断复核时，需要同时关注2个方面：一是诊断相关信息是否充分，二是基于现有证据进行鉴别和综合判断的难度。

诊断证据不足或诊断边界模糊，不仅会影响临床判断，也可能降低科研病例诊断标签的可靠性。临床方面，发病时间、既往发作、症状持续性及关键鉴别信息的缺失，可能影响诊断归类和后续治疗^{[1, 6]}。科研方面，诊断标签偏差可能导致病例误分类，并进一步影响样本分组、特征筛选、模型训练及研究结果的可重复性。结构化诊断访谈虽有助于规范诊断，但通常需要投入较多的人力和时间，因而难以在临床实践中广泛开展；对于回顾性研究，相关访谈资料也往往难以获得^{[1, 7]}。住院病历作为临床常规留存资料，可为基于病历文本的辅助诊断复核提供数据基础^[8]。

大语言模型(large language model，LLM)具备自然语言理解、信息提取和诊断推理能力^[9-11]，为精神科住院病历的辅助复核提供了新的技术路径。既往研究^[12-15]显示，LLM已在医学知识问答、教学病例和人工构建情景中显示出一定的诊断能力。精神科临床病历研究和诊断基准研究^{[8, 16]}进一步表明，LLM能够依据病历文本作出诊断判断。然而，LLM的诊断表现可能受到诊断类别、信息完整度、诊断复杂度及病历表述方式等因素的影响；当信息不足或诊断边界模糊时，诊断判断可能更具不确定性。此外，模型表现可能随病例的信息条件和诊断难度而变化，单一的总体指标难以充分反映这种差异^[17]。在精神科住院病历中，信息完整度和诊断复杂度与模型诊断一致性的关系仍缺乏系统评估；模型输出的跨轮次一致性以及高频Top-1不一致病例的特征，也尚未得到充分研究。

本研究基于真实精神科住院病历，对入院信息进行标准化和去标识化处理，并通过信息完整度和诊断复杂度评估以及多模型、多轮次诊断，评估通用LLM在精神分裂症谱系、双相情感障碍和抑郁障碍3个《精神障碍诊断与统计手册(第五版-修订版)》(Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition, Text Revision，DSM-5-TR)^[18]诊断大类层面的诊断一致性和跨轮次一致性，分析信息完整度、诊断复杂度与Top-1一致率的关系。在此基础上，进一步对高频Top-1不一致病例进行探索性回顾，分析其主要诊断方向和证据特征。本研究旨在评价通用LLM基于精神科入院病历开展诊断复核的表现及其相关因素，并分析高频Top-1不一致病例的特征，为后续人工复核以及临床诊断质量管理和科研病例诊断标签复核提供参考。

1. 材料与方法

1.1. 伦理声明

本研究为回顾性诊断一致性评估研究，已获得湖南省第二人民医院(湖南省脑科医院)医学伦理委员会批准(审批号：2026K043)。

1.2. 数据来源与预处理

本研究数据来源于湖南省第二人民医院(湖南省脑科医院)精神科2024年5月至2026年5月的住院病历。纳入标准：出院主要诊断明确，入院阶段诊断相关资料可供评估，且出院主要诊断可归入计划的3个DSM-5-TR诊断大类之一，即精神分裂症谱系、双相情感障碍或抑郁障碍。排除出院主要诊断无法归入上述诊断大类、诊断信息严重缺失或临床参考诊断无法确认的病例。最终纳入125例符合上述标准的精神科住院病例，其入院阶段病历用于后续病例属性评估和LLM诊断一致性评估。

依据统一的结构化模板，对纳入病例的入院病历中的主诉、现病史、既往史、个人史、家族史、精神状况检查和辅助检查等诊断相关信息进行整理。除上述去标识化处理外，仅统一病历字段、标题和文本格式，不对原始临床内容作实质性修改。去标识化处理包括删除姓名、住院号和详细住址等直接身份信息，并以研究编号替代；对于可能间接识别患者、但对诊断判断影响较小的信息，则予以删除或概括化处理。模型输入仅包括经上述处理后的入院阶段病历文本，不包含出院主要诊断及住院期间后续新增信息^[8]。临床参考诊断以出院主要诊断及相关临床记录为依据，并按照预先制订的映射规则归入上述3个诊断大类。对于诊断名称不规范或存在映射歧义的病例，由研究团队依据预设规则进行复核。模型输出采用相同的映射规则进行标准化，以保证模型诊断与临床参考诊断在同一诊断层级进行比较。

1.3. 模型与运行环境

本研究共纳入10个候选LLM，包括DeepSeek V4 Pro、GPT-5.5、Gemini 3.1 Pro、Gemini 3.5 Flash、Qwen 3.7 Max、DeepSeek-R1-Distill-Qwen-32B(以下简称“DeepSeek-R1-32B”)、Gemma 4 26B-A4B、Gemma 4 31B、Qwen 3.6 27B和Qwen 3.6 35B-A3B。模型评估于2026年6月至7月完成。GPT-5.5、Gemini 3.1 Pro和Gemini 3.5 Flash通过各自官方网页端运行，采用实验期间平台提供的对应正式版本。对于支持推理强度设置的模型，统一选择平台提供的最高推理档位，其余生成参数采用平台默认设置。Qwen 3.7 Max和DeepSeek V4 Pro通过阿里云百炼平台运行，其中Qwen 3.7 Max采用2026年6月8日版本，DeepSeek V4 Pro采用实验期间平台提供的deepseek-v4-pro版本；两者的思考长度上限均设为 4 000词元(token)，其余生成参数采用平台默认设置。

DeepSeek-R1-32B、Gemma 4 26B-A4B、Gemma 4 31B、Qwen 3.6 27B和Qwen 3.6 35B-A3B共5个模型部署于本地服务器，并在实验期间固定使用相应官方公开模型权重。本地模型采用vLLM 0.19.0部署于Docker容器中，最大上下文长度统一设为32 768 tokens，temperature设为1.0，图形处理单元(graphics processing unit，GPU)显存利用率上限设为0.85，其余未特别设置的生成参数采用部署框架默认设置。所有模型均使用相同的病历文本、结构化诊断复核提示词、任务要求和输出格式^[8]。提示词要求模型仅依据输入的病历信息完成诊断复核，并按照统一格式输出主诊断、候选诊断及相应依据(具体方法见附文1)。各轮运行均采用独立上下文，不保留前一轮的输入和输出，以避免前一轮交互对后续结果产生影响^[19]。

1.4. 病例属性评估与样本构建

为评估病例的诊断信息完整度和诊断复杂度^[16]，本研究选取GPT-5.5、Gemini 3.5 Flash和Qwen 3.7 Max，采用结构化提示词^[20-21]对全部125例病例进行独立评估。每个模型对每例病例完成3轮评估，因此每例病例在信息完整度和诊断复杂度2项属性上分别获得9次评分，各维度得分和总分均取9次评分的算术平均值。2项属性均设置5个评价维度，包括核心症状与精神状态、起病病程与持续时间、功能损害与现实影响、既往诊疗与纵向病史，以及鉴别诊断与排除因素。上述维度依据DSM-5-TR诊断原则及精神科临床诊断的主要证据要求设计。

信息完整度用于评价病历中诊断相关信息是否充分、清晰且可提取；诊断复杂度用于评价基于现有证据进行鉴别和综合判断的难度。诊断复杂度主要考察不同诊断类别之间的症状重叠、病程阶段变化、横断面表现与纵向病史不一致，以及不同诊断解释之间的竞争，不等同于疾病严重程度、症状数量、共病数量或临床管理复杂度。功能损害维度用于评价功能变化对诊断阈值、临床显著性及诊断归类的影响，不单独代表疾病严重程度。各维度均采用0、0.25、0.50、0.75和1.00分5级评分，总分范围为0~5。信息完整度得分越高，表示诊断相关信息越充分、明确；诊断复杂度得分越高，表示诊断判断难度越大。2项属性分别进行评估(具体提示词见附文2和附文3)。上述评分均由LLM完成，尚未经独立临床专家或外部样本验证；其中GPT-5.5、Gemini 3.5 Flash和Qwen 3.7 Max同时进入后续正式诊断评估，因此病例属性评估与部分诊断模型并非完全独立。

为构建候选模型筛选样本，首先在3个诊断大类内分别按诊断复杂度总分由低至高排序，并在每个诊断大类中选取诊断复杂度最低的5例、中位秩附近连续5例和最高的5例，共形成45例分层样本。上述45例均来源于最终纳入的125例病例。候选模型筛选完成后，全部125例病例均进入正式模型评估，其中仍包括上述45例分层样本，因此该45例样本不构成独立验证集。为比较模型在不同诊断复杂度病例中的表现，进一步在各诊断大类内部按诊断复杂度总分排序，并根据病例数尽可能等分为低、中、高3个相对诊断复杂度层级。63例精神分裂症谱系各层级为21例，27例双相情感障碍各层级为9例，35例抑郁障碍的低、中、高级分别为12、11和12例。各层级仅反映同一诊断大类内部的相对诊断复杂程度，不用于不同诊断大类之间的复杂度比较；信息完整度和诊断复杂度的连续得分则用于相关因素分析。

1.5. 模型评估与结局指标

本研究采用两阶段、多模型、多轮次评估流程。第一阶段，10个候选模型分别对45例分层样本独立运行3轮，共形成1 350条诊断输出。模型筛选综合考虑各模型在总体病例、不同诊断大类及低、中、高相对诊断复杂度病例中的Top-1一致率和Top-2一致率，同时兼顾模型系列和部署方式的代表性。最终选取Qwen 3.7 Max、GPT-5.5、Gemini 3.5 Flash、Qwen 3.6 35B-A3B、DeepSeek-R1-32B和Gemma 4 26B-A4B共6个模型进入正式评估，其中前3个为在线模型，后3个为本地部署模型。第二阶段，保留上述6个模型在45例分层样本中的既有输出，并对剩余80例病例分别进行3轮独立评估。最终，6个模型均获得125例病例的3轮诊断结果，共形成2 250条诊断输出。模型输出包括主诊断、按优先顺序排列的候选诊断及相应依据。

主要结局为Top-1一致率，即模型主诊断与临床参考诊断在诊断大类层面一致的比例。次要结局包括Top-2一致率和跨轮次一致性。Top-2一致率是指模型主诊断或首位候选诊断中至少有一项与临床参考诊断大类一致的比例^[22]。Top-1一致率和Top-2一致率均以病例—模型—运行轮次层面的诊断判断为统计单位。跨轮次一致性定义为同一模型对同一病例独立运行3次时，3轮Top-1诊断大类完全一致的病例比例，用于评价模型重复运行的输出稳定性。该指标不反映模型与临床参考诊断的一致程度，也不用于判断诊断是否正确。正式评估报告各模型的总体Top-1一致率、Top-2一致率和跨轮次一致性，并比较其在不同诊断大类及相对诊断复杂度层级中的表现。

为识别高频Top-1不一致病例，每例病例共形成18次诊断判断，即6个模型各独立运行3轮。本研究将同时满足以下两个条件的病例定义为高频Top-1不一致病例：18次判断中至少9次Top-1诊断与临床参考诊断不一致，且至少3个模型分别在各自3轮运行中有不少于2轮出现Top-1不一致。该筛选标准为本研究预设的探索性标准，尚未经独立样本验证，仅用于识别值得进一步回顾的诊断分歧病例，不作为判断模型诊断错误或临床参考诊断错误的标准。研究团队在知晓临床参考诊断和模型主要诊断方向的情况下，对筛选出的病例进行逐例回顾，并依据入院阶段病历文本和模型诊断结果，归纳其主要分歧方向及相关证据特征，包括症状的诊断指向、病程时序、纵向病史和关键鉴别信息。上述病例未进一步接受独立高级临床专家的盲法诊断复核，因此相关分析仅用于描述诊断分歧模式和形成研究假设。精神障碍诊断一致性评估的具体技术路线见图1。

图1.

LLM精神障碍诊断一致性评估的技术路线

Figure 1 Study workflow for evaluating the diagnostic agreement of LLMs in psychiatric diagnosis

A total of 125 standardized and de-identified psychiatric inpatient records were assessed for diagnostic information completeness and diagnostic complexity. A 45-case subset, stratified by diagnostic category and within-category relative diagnostic complexity, was used to screen 10 candidate models. For the 6 selected models, the existing outputs from the 45-case stratified sample were retained, and the remaining 80 cases were evaluated in 3 independent runs. This yielded 3-run diagnostic results for all 125 cases and a total of 2 250 diagnostic judgments for analyses of diagnostic agreement and associated factors, as well as exploratory review of cases with frequent Top-1 disagreement. The 45-case stratified sample was included in the full 125-case evaluation sample and did not constitute an independent validation set. LLM: Large language model; DSM-5-TR: Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition, Text Revision.

1.6. 统计学处理

统计分析使用Python 3.12.13完成。分类变量以例数(率)表示，连续变量以均数±标准差或中位数和范围表示。Top-1一致率、Top-2一致率和跨轮次一致性均报告相应次数、分母和百分比。总体及各模型Top-1一致率的95% CI采用病例层级有放回自助法(bootstrap)估计，重复抽样10 000次。每次以病例为抽样单位，并完整保留同一病例内不同模型和运行轮次的结果，以考虑病例内观察之间的相关性。

以病例-模型-运行轮次层面的Top-1一致状态为因变量，采用多因素线性概率模型分析其相关因素。考虑到本研究主要关注病例属性变化与Top-1一致概率之间的绝对差异，线性概率模型的回归系数可直接解释为调整后一致率的百分点变化。自变量包括信息完整度、诊断复杂度、模型、诊断大类和运行轮次。信息完整度和诊断复杂度评分标准化后，按每增加1个标准差报告效应；模型、诊断大类和运行轮次作为分类变量，参照水平分别为Qwen 3.7 Max、双相情感障碍和第1轮。标准误按病例编号进行聚类稳健校正，以考虑同一病例内不同模型和运行轮次观察之间的相关性。结果报告回归系数、95% CI和双侧P值，分类变量的总体关联采用联合Wald检验。考虑到Top-1一致状态为二分类结局，进一步采用以病例为聚类单位、交换型工作相关结构的logistic广义估计方程进行敏感性分析。在该框架下，同时采用限制性立方样条检验诊断复杂度与Top-1一致率的潜在非线性关联，结点设于标准化诊断复杂度评分的第10、50和90百分位数。

线性概率模型的调整后关联采用边际标准化方法估计。未经调整的结果通过将125例病例按诊断复杂度排序并划分为10个样本量近似相等的组，计算各组Top-1一致率及病例层级bootstrap 95% CI。线性概率模型主要用于估计总体平均关联及其绝对百分点差异，不用于个体诊断概率预测；预测值及其CI仅在图形展示时限定于0%~100%，不影响模型参数估计和统计推断。对高频Top-1不一致病例及其证据特征仅进行描述性分析。分层分析及其他探索性比较未进行多重比较校正，相关结果作探索性解释。正式分析前完成病例-模型-运行轮次组合、模型输出和诊断映射结果的核对，正文、表格和图形均基于同一锁定数据集生成并交叉核验。所有检验均为双侧检验，以P<0.05为具有统计学意义。

2. 结 果

2.1. 信息完整度与诊断复杂度评估及分层样本构建

125例病例中，精神分裂症谱系63例(50.4%)、双相情感障碍27例(21.6%)、抑郁障碍35例(28.0%)。信息完整度总分为3.58±0.25，中位数3.56分，范围3.03~4.14分；5个维度中，核心症状与精神状态得分最高(0.83分)，鉴别诊断与排除因素得分最低(0.53分，图2A、2C)。诊断复杂度总分为2.14±0.87，中位数2.06分，范围0.42~4.28分；其中，核心症状与精神状态维度得分最高(0.54分)，功能损害与现实影响维度得分最低(0.27分，图2B、2D)。按诊断大类分层后，精神分裂症谱系、双相情感障碍和抑郁障碍病例的诊断复杂度总分分别为1.87±0.71、2.58±0.88和2.29±0.99，其中双相情感障碍病例的均数最高。随后在各诊断大类内部按诊断复杂度由低至高排序，分别选取最低5例、中位秩附近连续5例和最高5例，共构成45例分层样本(图2E)。

图2.

诊断信息完整度与诊断复杂度评估及45例分层样本构建

Figure 2 Assessment of diagnostic information completeness and diagnostic complexity and construction of the 45-case stratified sample

A: Distribution of total diagnostic information completeness scores among the 125 cases. B: Distribution of total diagnostic complexity scores among the 125 cases. C: Heat map of scores across the 5 diagnostic information completeness dimensions. D: Heat map of scores across the 5 diagnostic complexity dimensions. In panels C and D, each column represents one case. Cases are ordered in ascending order of their total diagnostic information completeness and diagnostic complexity scores, respectively, and color intensity indicates the score for each dimension. E: Within each diagnostic category, cases were ranked from lowest to highest diagnostic complexity. The 5 cases with the lowest scores, 5 consecutive cases around the median rank, and 5 cases with the highest scores were selected, yielding a 45-case stratified sample. Purple, blue, and red points indicate selected cases with low, intermediate, and high relative diagnostic complexity, respectively; gray points indicate unselected cases.

2.2. 候选模型初步评估与筛选

10个候选模型分别对45例分层样本独立运行3轮，每个模型完成135次诊断判断。各模型总体Top-1一致率为91.1%~100.0%，Top-2一致率为92.6%~100.0%。其中，Gemini 3.1 Pro、Gemini 3.5 Flash和Qwen 3.7 Max的Top-1一致率和Top-2一致率均达到100.0%。在3个诊断大类的低相对诊断复杂度病例中，各模型的Top-1一致率均为100.0%；随着诊断复杂度升高，模型间的Top-1一致率差异逐渐显现，尤其是在双相情感障碍和抑郁障碍的高相对诊断复杂度病例中(图3)。

图3.

候选模型的总体及分层一致性表现

Figure 3 Overall and stratified agreement of the candidate models

Each model completed 3 independent runs on the 45-case stratified sample. Overall Top-1 and Top-2 agreement rates were calculated from 135 diagnostic judgments per model. Within each diagnostic category, Top-1 agreement rates for the low, intermediate, and high relative diagnostic complexity strata were each calculated from 15 judgments per model (5 cases×3 runs). Asterisks indicate the 6 models selected for formal evaluation in the full 125-case sample.

综合各模型的总体及分层Top-1一致率、Top-2一致率，并兼顾模型系列和部署方式的代表性，最终选取6个模型进入125例病例的正式评估。其中，在线模型包括Qwen 3.7 Max、GPT-5.5和Gemini 3.5 Flash；本地部署模型包括Qwen 3.6 35B-A3B、DeepSeek-R1-32B和Gemma 4 26B-A4B。

2.3. 正式评估模型的诊断表现

6个模型均完成125例病例的3轮诊断，每个模型形成375次诊断判断。汇总全部6个模型和3轮运行结果后，总体Top-1一致率为93.0%(2 092/2 250，95% CI 89.0%~96.4%)，Top-2一致率为95.6%(2 151/2 250)。按每个模型3轮共375次诊断判断汇总计算，在线模型中Qwen 3.7 Max的Top-1一致率最高，为94.4%；本地部署模型中Qwen 3.6 35B-A3B的Top-1一致率最高，为93.1%。这两者的Top-2一致率分别为96.0%和98.4%(图4)。

图4.

正式评估模型的总体及分层一致性

Figure 4 Overall and stratified agreement of the models in the formal evaluation

A: Overall Top-1 and Top-2 agreement rates for each model and Top-1 agreement rates across the low, intermediate, and high relative diagnostic complexity strata within each of the 3 diagnostic categories. Each model contributed 3 diagnostic results per case across the 125-case formal evaluation sample. Overall Top-1 and Top-2 agreement rates were calculated from 375 diagnostic judgments per model, whereas each stratified estimate used the number of cases in the corresponding stratum multiplied by 3 runs as the denominator. Diagnostic complexity was stratified within each diagnostic category. B: Radar plots showing overall Top-1 agreement, Top-1 agreement for each of the 3 diagnostic categories, Top-1 agreement in cases with high relative diagnostic complexity, and cross-run consistency. The left and middle plots show the 3 online models and 3 locally deployed models, respectively, whereas the right plot compares the online model Qwen 3.7 Max with the locally deployed model Qwen 3.6 35B-A3B. Cross-run consistency was calculated from 125 cases and represents the proportion of cases for which the same model produced an identical Top-1 diagnostic category across all 3 runs.

低、中、高相对诊断复杂度病例的Top-1一致率分别为99.6%、91.7%和87.6%，Top-2一致率分别为100.0%、94.7%和92.1%，均随相对诊断复杂度升高而逐级下降。在3个诊断大类与3个相对诊断复杂度层级形成的9个分层单元中，抑郁障碍高相对诊断复杂度病例的Top-1一致率最低，为78.7%，相应的Top-2一致率为84.3%。各模型的跨轮次一致性均超过92.0%，其中GPT-5.5最高，为97.6%；Qwen 3.7 Max和Qwen 3.6 35B-A3B均为96.8%。

2.4. Top-1一致率的相关因素

多因素线性概率模型基于125例病例的2 250条病例—模型—运行轮次层面观察进行分析。调整诊断信息完整度、模型、诊断大类和运行轮次后，诊断复杂度每增加1个标准差(0.87分)，Top-1一致率平均降低3.11个百分点(β=-3.11，SE=1.30，95% CI -5.66~-0.57，P=0.017；表1、图5)。按原始量纲换算，诊断复杂度总分每增加1分，Top-1一致率平均降低约3.6个百分点。Logistic广义估计方程敏感性分析结果一致：诊断复杂度每增加1个标准差，Top-1一致的优势比为0.534(95% CI 0.346~0.823，P=0.005)。限制性立方样条分析提示诊断复杂度与Top-1一致率之间存在非线性关联(非线性检验P=0.002，附图1)。因此，线性概率模型估计的3.11个百分点应理解为诊断复杂度总体范围内的平均线性关联。

表1.

Top-1一致率的多因素线性概率模型分析

Table 1 Multivariable linear probability model analysis of Top-1 agreement

变量	β	SE	95% CI	P
诊断复杂度(每增加1个标准差)	-3.11	1.30	-5.66~-0.57	0.017
诊断信息完整度(每增加1个标准差)	3.55	1.99	-0.36~7.45	0.075
模型(参照：Qwen 3.7 Max)
DeepSeek-R1-32B	-2.67	1.29	-5.20~-0.13	0.039
GPT-5.5	-0.53	0.66	-1.82~0.75	0.416
Gemini 3.5 Flash	-1.07	1.07	-3.16~1.03	0.318
Gemma 4 26B-A4B	-2.93	1.32	-5.51~-0.35	0.026
Qwen 3.6 35B-A3B	-1.33	1.49	-4.25~1.59	0.371
诊断大类(参照：双相情感障碍)
抑郁障碍	-11.53	5.08	-21.48~-1.57	0.023
精神分裂症谱系	-3.64	2.83	-9.19~1.92	0.200
运行轮次(参照：第1轮)
第2轮	-1.20	0.61	-2.39~-0.01	0.047
第3轮	-1.07	0.65	-2.34~0.21	0.101

结局为病例-模型-运行轮次层面的DSM-5-TR诊断大类Top-1一致状态，共纳入125例病例的2 250条观察。β、SE和95% CI均以一致率百分点表示；诊断复杂度和诊断信息完整度按每增加1个标准差报告。标准误按病例编号进行聚类稳健校正。分类变量的联合Wald检验结果为：模型P=0.170，诊断大类P=0.051，运行轮次P=0.115。分类变量各水平的P值表示其与相应参照水平的单项比较；上述比较未进行多重比较校正，仅作探索性解释。DSM-5-TR：《精神障碍诊断与统计手册(第五版-修订版)》。

图5.

诊断复杂度与Top-1一致率的调整后关联

Figure 5 Adjusted association between diagnostic complexity and Top-1 agreement

The solid line and shaded area represent marginal predictions adjusted for diagnostic information completeness, model, diagnostic category, and run, together with 95% CI based on case-clustered robust standard errors. Open circles and error bars represent unadjusted Top-1 agreement rates and case-level bootstrap 95% CIs across 10 groups of approximately equal size defined by diagnostic complexity. The linear probability model estimates the average linear association between diagnostic complexity and Top-1 agreement across the overall range of diagnostic complexity. Predicted values and their 95% CI were restricted to the 0% to 100% range for visualization only, without affecting model parameter estimates or statistical inference.

诊断信息完整度每增加1个标准差，Top-1一致率平均升高3.55个百分点，但该关联未达到统计学意义(95% CI -0.36~7.45；P=0.075，表1)。诊断大类与Top-1一致率的总体关联亦未达到统计学意义(联合Wald检验P=0.051)。单项比较中，抑郁障碍病例的Top-1一致率较双相情感障碍病例低11.53个百分点(95% CI -21.48~-1.57，P=0.023)，但该结果属于未经多重比较校正的探索性比较。模型和运行轮次与Top-1一致率的总体关联均未达到统计学意义(联合Wald检验均P>0.05)。

2.5. 高频Top-1不一致病例及证据特征

按照上述筛选标准，共识别7例高频Top-1不一致病例，占全部125例病例的5.6%(表2)。其中，4例临床参考诊断为重性抑郁障碍伴精神病性特征，3例为精神分裂症。7例共形成126次诊断判断，Top-1一致率为11.9%，Top-2一致率为37.3%。其诊断信息完整度总分为3.06~3.67分，其中3例位于全部病例诊断信息完整度的最低10%(附表1)。由于这些病例依据Top-1不一致频次筛选，上述一致率仅作描述，不能用于评价筛选标准的有效性。上述7例未进一步接受独立高级临床专家的盲法诊断复核，因此以下分析仅作为探索性回顾和初步观察，用于描述可能的诊断分歧模式并形成研究假设，不用于判定模型诊断或临床参考诊断的正确与否。

表2.

高频Top-1不一致病例的主要诊断方向与证据特征

Table 2 Predominant diagnostic patterns and evidence features in cases of frequent Top-1 disagreement

病例 编号	临床参考诊断	Top-1 一致率/%	Top-2 一致率/%	主要诊断 方向	关键证据特征
PSY002	重性抑郁障碍伴精神病性特征	0.0	0.0	精神分裂症谱系	阴性症状样表现和功能下降持续约11个月，后出现妄想、幻听；完整抑郁发作及精神病性症状与心境发作的时序未明确
PSY057	重性抑郁障碍伴精神病性特征	5.6	55.6	精神分裂症谱系	反复幻听、关系或被害妄想及怪异行为突出；虽有情绪低落，但抑郁综合征及精神病性症状与心境发作的关系不清
PSY071	重性抑郁障碍伴精神病性特征	5.6	22.2	精神分裂症谱系	抑郁相关症状后出现幻听、妄想、思维松弛和言语紊乱；精神病性症状与心境发作的时序未明确
PSY058	重性抑郁障碍伴精神病性特征	11.1	38.9	精神分裂症谱系	既往长期情绪低落和自伤史，近5周持续出现幻听、幻触及被害妄想；精神病性症状是否完全限于抑郁期未明确
PSY113	精神分裂症	0.0	22.2	双相情感 障碍	急起夸大妄想、活动增多、易激惹及躁狂样表现突出；精神分裂症谱系的纵向病程和独立精神病期证据不足
PSY074	精神分裂症	22.2	55.6	抑郁障碍	孤僻退缩、意志减退、情感低落或淡漠及轻生相关的言语表现突出；缺乏明确幻觉、妄想或思维形式障碍，抑郁症状与阴性症状样表现难以区分
PSY032	精神分裂症	38.9	66.7	双相情感 障碍	既往精神病性发作史支持参考诊断，但本次以睡眠减少、精力和活动增多及易激惹为主；独立精神病期与情绪发作的关系不清

每例病例包含18次诊断判断(6个模型×3轮)，Top-1一致率和Top-2一致率均以18次判断为分母。高频Top-1不一致病例定义为：18次判断中至少9次Top-1诊断与临床参考诊断不一致，且至少3个模型分别在各自3轮运行中有不少于2轮出现Top-1不一致。临床参考诊断保留出院主要诊断名称；主要诊断方向指18次判断中出现频率最高的诊断大类。关键证据特征由研究团队在知晓临床参考诊断和主要诊断方向的情况下，基于模型实际接收的去标识化入院病历进行事后归纳，不包括住院期间后续新增信息，也不代表模型原始输出。病例筛选及证据特征归纳仅用于描述性分析，不用于评价筛选效能，也不用于判断临床参考诊断或模型诊断的正确性。

4例重性抑郁障碍伴精神病性特征病例共形成72次诊断判断，Top-1一致率为5.6%，Top-2一致率为29.2%，模型的主要诊断方向均为精神分裂症谱系。逐例回顾初步显示，此类病例的精神病性症状较为突出，部分病例伴有阴性症状样表现；诊断分歧可能涉及重性抑郁发作证据是否充分、心境症状与精神病性症状的时序关系，以及是否存在独立精神病期等关键鉴别信息。

3例精神分裂症病例共形成54次诊断判断，Top-1一致率为20.4%，Top-2一致率为48.1%，模型的主要诊断方向为双相情感障碍或抑郁障碍。逐例回顾初步显示，诊断分歧可能涉及本次躁狂样、抑郁或退缩表现与既往精神病性病程的整合，以及抑郁症状与阴性症状样表现的区分。

3. 讨 论

本研究基于125例真实精神科住院病历，评估了6个通用LLM在精神分裂症谱系、双相情感障碍和抑郁障碍3个DSM-5-TR诊断大类层面的诊断一致性。总体Top-1一致率和Top-2一致率分别为93.0%和95.6%，各模型的跨轮次一致性均超过92.0%，表明通用LLM基于经标准化整理的入院病历文本，在上述3个诊断大类层面具有较高的一致性和较好的跨轮次稳定性。既往真实病历研究报告的Top-1诊断准确率为59.0%~74.5%，Top-2准确率可接近90%^{[8, 22]}。由于本研究仅比较3个较宽泛的诊断大类，而既往研究一般聚焦于更具体的诊断层级，因此相关结果不宜直接进行数值比较。模型变量与Top-1一致率的总体关联未达到统计学意义，其原因可能与正式评估模型的筛选方式和任务特征有关：进入正式评估的6个模型均经过45例分层样本的前期筛选，模型间性能差异可能因此有所缩小；同时，本研究仅在3个诊断大类层面进行比较，且总体一致率较高，可能进一步降低模型间的区分度。此外，本研究样本量有限，对模型间较小差异的检出能力可能不足。因此，现有结果仅表明在本研究样本和评价框架下未观察到明确的模型总体差异，尚不足以认为各模型的诊断表现完全相同，不支持据此对不同模型进行排序。

诊断复杂度是本研究中与Top-1一致率显著相关的病例层面因素。调整诊断信息完整度、模型、诊断大类和运行轮次后，诊断复杂度每增加1个标准差，Top-1一致率平均降低3.11个百分点；logistic广义估计方程敏感性分析得到一致结果。限制性立方样条分析进一步提示，该关联可能具有非线性特征，因此，3.11个百分点应理解为诊断复杂度总体范围内的平均关联，而非整个范围内固定幅度的下降。较高的诊断复杂度意味着症状、病程和纵向证据可能支持多个相互竞争的诊断解释，需要综合判断心境症状与精神病性症状的发生时序、相互独立性及长期演变。当关键鉴别信息不清时，即使病历已提供较多诊断相关信息，诊断归类仍可能存在困难^[16]。相比之下，诊断信息完整度与Top-1一致率呈正向关联趋势，但未达到统计学意义。这一结果可能与本研究纳入病例的诊断信息整体较为完整、评分分布相对集中有关。由于研究对象均为精神科住院病例，且纳入时已排除诊断信息严重缺失的病例，病例间诊断信息完整度的差异可能相对有限；同时，本研究样本量较小，对较弱关联的检出能力也可能不足。诊断信息完整度反映诊断相关信息是否充分、清晰和可提取，而诊断复杂度反映基于现有信息进行鉴别和综合判断的难度。信息充分并不等同于诊断容易，因此，本研究结果尚不能排除诊断信息完整度与模型诊断一致性之间可能存在的关联。

探索性分层结果和7例高频Top-1不一致病例的逐例回顾表明，部分诊断分歧可能主要涉及心境症状、精神病性症状及纵向病程的鉴别与整合。诊断大类与Top-1一致率的总体关联未达到统计学意义，因此，抑郁障碍病例的单项差异仅能作为未经多重比较校正的探索性结果。4例临床参考诊断为重性抑郁障碍伴精神病性特征的病例，模型主要将其归入精神分裂症谱系。此类病例中精神病性症状较为突出，而重性抑郁发作证据是否充分、心境症状与精神病性症状的时序关系，以及是否存在独立精神病期等，可能是影响诊断判断的重要鉴别信息。3例临床参考诊断为精神分裂症的病例主要被模型归入双相情感障碍或抑郁障碍，其分歧可能涉及当前心境或退缩表现与既往精神病性病程的整合，以及抑郁症状与阴性症状样表现的区分。既往研究^{[2, 14, 23-24]}也报告了类似的诊断分歧。但由于本研究仅识别出7例此类病例，上述结果仅属于初步观察和假设形成，尚不能据此推断普遍的模型诊断分歧机制。此外，这7例由同一组模型输出按照预设的高频Top-1不一致标准筛出，其较低的一致率是筛选条件的直接结果，不能用于独立验证该筛选标准的识别效能。

此外，模型诊断仅依据入院阶段病历文本，而临床参考诊断还可能整合住院期间的持续观察、家属补充、院外资料、量表评估及治疗反应，因此两者所依据的信息范围并不完全一致。同时，本研究的临床参考诊断来源于既有出院主要诊断及相关临床记录，并非由独立专家重新形成的共识性最佳估计诊断，因此临床参考诊断本身也并非绝对正确。对于7例高频Top-1不一致病例，本研究未进一步进行独立高级临床专家的盲法重新诊断，目前无法判断其分歧主要源于模型诊断错误、入院阶段信息不足，还是原有临床诊断存在偏差或不确定性。因此，高频Top-1不一致病例可作为进一步人工复核的探索性提示，但不能作为模型诊断错误或临床误诊的判定标准。临床上，这类病例可提示进一步核查症状时序、纵向病程和关键鉴别信息；科研中，则可作为优先复核诊断标签的对象。其实际识别价值仍需通过独立专家评价和外部样本验证。

本研究存在若干局限。第一，临床参考诊断来源于既有出院主要诊断，而非独立专家形成的共识性最佳估计诊断，这限制了对模型与临床诊断分歧性质的进一步判断。第二，诊断信息完整度和诊断复杂度均由LLM评价，相关评价方法尚未经过独立临床专家或外部样本验证；同时，GPT-5.5、Gemini 3.5 Flash和Qwen 3.7 Max既参与病例属性评分，也参与后续正式诊断评估，因此观察到的关联可能部分受到模型共享偏好和方法学依赖的影响，存在潜在的循环性。未来应引入独立临床专家对病例的诊断信息完整度和诊断复杂度进行评价，并与LLM评分结果进行比较和验证。第三，用于候选模型筛选的45例分层病例同时包含在后续125例正式评估样本中，并非独立验证样本。由于正式评估模型部分依据这45例病例的表现进行筛选，再将同一批病例纳入总体性能计算，可能造成模型一致率的向上偏倚，因此本研究报告的总体表现可能在一定程度上偏乐观。第四，本研究总体样本量有限，病例来源于单一机构，仅正式评估6个模型和3个诊断大类；各模型仅运行3轮，高频Top-1不一致病例的筛选标准亦为本研究预设的探索性标准，尚未经过独立样本验证。此外，研究结果还可能受到提示词结构、模型版本和运行参数等因素的影响。

总体而言，在精神分裂症谱系、双相情感障碍和抑郁障碍3个诊断大类层面，通用LLM与临床参考诊断具有较高的一致性和较好的跨轮次稳定性，且较高的诊断复杂度与较低的Top-1一致率相关。高频Top-1不一致病例的探索性回顾提示，症状时序、纵向病程和关键鉴别信息可能与模型诊断分歧有关，但此类病例仅可作为人工复核的探索性提示，不能直接解释为模型诊断错误或临床误诊。后续研究可引入独立高级临床专家，并与国家级精神医学临床研究中心等高水平临床平台合作，扩大病例来源并开展独立、多中心外部验证，以进一步评估研究结果的可重复性和实际应用价值。

电子补充材料：文内补充材料的获取可访问 https://doi.org/10.57760/sciencedb.xbyxb.0006l。

基金资助

国家自然科学基金(82022024)；中南大学中央高校基本科研业务费专项资金(2022ZZTS0866)。This work was supported by the National Natural Science Foundation (82022024) and the Fundamental Research Funds for the Central Universities of Central South University (2022ZZTS0866), China.

利益冲突声明

作者声明无任何利益冲突。

作者贡献

徐升 研究设计与实施，数据整理与分析，论文构思与撰写；林孜妍 模型部署，数据分析；汪涵俪 数据采集与整理；袁宁 研究协作，数据资源支持；陈超 研究指导，经费支持，论文审阅；刘春宇 研究设计与指导，论文指导与审阅。所有作者阅读并同意最终的文本。

原文网址

http://xbyxb.csu.edu.cn/xbwk/fileup/PDF/2026081578.pdf