独立研究者 Zhiyu Liu、Xinyu Yang 的预印本《用大模型仅凭查询审计临床黑盒预测模型》把大模型关进只有一台计算器的房间,只靠查询盲审临床黑盒预测模型:植入缺陷检出 69/72 过关,但报出的问题 60% 没过预设核验,自称的新发现仅兑现 11%。
业界流行让大模型给临床预测模型写『说明书』,宣称三个能力:说得清它算什么(保真)、找得出它的错(缺陷检出)、还能挖出新知识(假设生成),此前没人能同时检验。对账装置:数据底座用国际卒中试验(International Stroke Trial)19,435 名急性缺血性卒中病人,预测发病 6 个月内死亡或失能风险,按随机月份切分训练与测试;24 个模型副本各植入 1 个已知缺陷,混进 8 个干净模型随机编号,密钥在任何运行前提交。审计者 GPT-6 Astra 内置工具全关,唯一工具是能跑 NumPy 的计算器,只能查到被审模型的 log-odds(对数几率,即模型输出的原始风险分)。站内另一篇《AI 考官的评分偏爱坏行为》查的是考官,这篇查的是侦探。
三个承诺,三个结局
检缺陷过关,但与手写脚本打平:植入缺陷在 72 次盲测中被跑出 69 次(96%,95% CI 80%~99%;同一模型三跑全一致,有效样本实为 24 个缺陷模型),同数据上专门写的脚本把 24 个缺陷全部找到,两者打平。
保真度小胜手工代理,方向出乎意料:大模型写的代理模型(模仿被审模型输出的替身)复现被审模型 log-odds 的平均 R² 为 0.976,分析师手工拟合的 42 项加法代理为 0.959(95% CI 0.016~0.018),32 个模型里 28 个大模型更忠实。作者原以为树模型最难描述,实际神经网络最难被替身复现。R² 是替身复现黑盒输出的贴合度,不是临床准确度(C 统计量 0.789~0.794)。
新知识落空:从干净模型读出的 601 条『未列入已知因子清单』的关系,到更晚分组病人的测试集只剩 68 条成立(11%),不及回归扫描短清单的 28%,随机配对也有 6%。经训练集核验后,大模型 33% 对扫描 30%,预期领先没有兑现;扫描清单外成立的新关系仅 3 条。
报忧过载:狼来了
96 次黑盒运行共报出 1,132 个问题。核验口径是『对模型平均行为的影响超过阈值 0.25』:可核验的 1,089 条里有 655 条(60%,95% CI 53%~67%)未过核验,预期只有 10% 不过。事后分类显示 63% 其实存在只是量小,12% 只对少数病人成立,查无此事的 164 条占全部可核验报告的 15%——六成不合格不等于六成是编的。反常的是,干净模型平均每次报 17.3 个问题,真有缺陷的反而只报 10.0 个。
边界与落地姿势
边界先摆明:单模型、单数据集、未评审预印本 v1(2026-11-18 提交),作者是独立研究者而非临床团队;对照脚本由知道缺陷类型的人所写,作者自认这不能说明盲态下脚本能找到什么;植入缺陷偏大,不能外推到真实世界的小缺陷。代码与全部回复已开源:llm-black-box-model-audit。
落地姿势:模型提假设、程序核验、人后读,而非让大模型独自签字。