独立研究 AI 评估
PR-2026-01 时序基础模型 进行中
PR-2026-01 项目 01
时序基础模型的状态分层评估审计
为交通预测中的时序基础模型开发预注册的状态分层评估自审计框架。项目结合破坏标签语义但保留结构的零假设对照、标签族敏感性分析、跨数据集检验与区间校准诊断,判断条件性能差异是否确实能够归因于所命名的状态,并将被证伪的初始结论转化为四项可测量的可信分层评估前提。
◌ 公开 GitHub 演示与论文正在筹备中
为交通预测中的时序基础模型开发预注册的状态分层评估自审计框架。项目结合破坏标签语义但保留结构的零假设对照、标签族敏感性分析、跨数据集检验与区间校准诊断,判断条件性能差异是否确实能够归因于所命名的状态,并将被证伪的初始结论转化为四项可测量的可信分层评估前提。
构建面向量表式大语言模型评估的审计方法,检验点估计无法体现的两项关键性质:决策规则能否分辨其声称的效应尺度,以及测量流水线能否复现承载核心结论的统计量。通过精确枚举自助法支持集与受控重复运行,识别分辨率不足的阈值和运行间波动,使评估器可靠性成为结果中可测量的一部分,而不再只是未经检验的假设。