标准场景 分析决策 行业 · 证劵与资管

PM-02 · 历史观点回顾验证

当年推的票到底对了没

痛点 全市场每年约二十万份研报 · 几乎没有一份被回头验证过

① 场景引入

一、这件事现在是什么样

投资与组合岗 · 真实业务触发

投决会季度复盘。投资总监要在会上回答董事的问题:「你们的研究到底准不准?」过去两个季度内部底稿的关键预测里,华晟智造海外营收预测 +15%~20% 对上实际 −12.6% 是最大的一次翻车。验证需要把历史底稿的预测值、假设、当时的证据逐条翻出来对上后来的公告——这个活大家都知道该做,但从来排不进任何一个研究员的日程表。

二、痛点 · 每条都有来源

  1. 双随机检查批评「研报依据不充分、结论缺乏审慎性」,但几乎没有机构系统性回头验证自己的预测——监管问研究质量,机构拿不出任何回顾性数据
    依据:证监会 2022 年研报「双随机」检查通报(覆盖 45 家公司 300 篇):点名「数据未标明出处、引自非权威渠道」「工作底稿留存不完整」「未建立舆情监测和应对机制、分析师公开发表言论前内部报备制度」
  2. 通用大模型幻觉率超 25%,靠它「回忆」历史观点必然出错——验证只能基于自家底稿库的真实留档
    依据:某头部券商内测:通用大模型在证券专业问题上幻觉率超过 25%(涉及财务数据、监管规则、产品信息);金融微调模型复杂问题幻觉率仍有 8%-10%
  3. 「部分研究报告无人问津」是行业常态,写完即沉底;预测对了没人记功、错了没人追责,研究质量的改进无从谈起
    依据:泰信基金投资经理自述「每天收到的研报多达 400 份,即便什么都不做也看不完」,重点覆盖 80 多家上市公司、平均每家 20 个点评,「邮箱提醒系统都失灵了」
  4. 投决会成员兼任、频次低(周度/半月度),复盘议题永远排在新标的讨论之后——知道该做但永远排不上,是中小机构的结构性问题
    依据:机构投资个股流程:研究员只有推荐权没有交易权→基金经理决定仓位→投决会审核入池并接受风控质询→合规风控每天检查、超限直接拦截交易

三、换个做法之后

变化不在「快」,在「参与的角色」和「覆盖的范围」

✕ 现在的做法

  • 双随机检查批评「研报依据不充分、结论缺乏审慎性」,但几乎没有机构系统性回头验证自己的预测——监管问研究质量,机构拿不出任何回顾性数据
  • 通用大模型幻觉率超 25%,靠它「回忆」历史观点必然出错——验证只能基于自家底稿库的真实留档
  • 「部分研究报告无人问津」是行业常态,写完即沉底;预测对了没人记功、错了没人追责,研究质量的改进无从谈起
  • 投决会成员兼任、频次低(周度/半月度),复盘议题永远排在新标的讨论之后——知道该做但永远排不上,是中小机构的结构性问题

✓ 交给 Agent 之后

  • 多来源文件一次读入,先做口径与完整性校验,再开始算
  • 每条结论绑定来源文件、字段或条号,可以被审
  • 产出是企业真会流转的正式件(带签批栏),不是一张展示用的表
  • 该拦的地方给出「现在还不能提交」,并给不用干等的替代方案

四、场景闭环

6 步 · 每一步的产出都是下一步的输入

  1. 预测清单提取 · 把要验证的观点列全从底稿库提取验证期内全部关键预测:标的、指标、预测值、假设、证据等级
  2. 实际值匹配 · 对上披露数据逐条匹配公告/财报实际值,出处绑定到页码
  3. 偏差拆解 · 错在哪一层假设错/数据错/时机错分层归因——华晟智造案例归到「假设层:单一渠道证据」
  4. 分档统计 · 研究质量的全貌按证据等级分档统计命中率——证据等级高的预测是否真的更准
  5. 对照投决记录 · 当时的决策环境预测与投决会决议对照:哪些错误预测实际影响了仓位
  6. 留证签批 · 生成投决会验证报告验证报告供投决会复盘,编制/审核签批栏留空

要准备什么:内部研究底稿库(历史预测值+假设+证据等级——RD-03 产出)被验证的主体——星标素材,离开这个库验证无从谈起已披露财报与公告(验证期内的全部标的公告 PDF)实际值的权威来源,自动标页码Wind/Choice 终端导出的行情与财务数据(验证期)用于区间涨跌与业绩的量化对照覆盖池清单与历史投决会决议验证范围与「当时是否入池」的对照

为什么这个场景值得做

优先级评分:痛感 4 × AI 适配 5 ÷ 落地难度 3 = 5.7

最大差异点:市面上没有针对「自家历史观点」的验证工具——研报平台验证卖方研报有第三方做过,机构内部底稿的验证没人做。本场景的价值恰恰在于内部底稿库(RD-03 留档)是独占数据:预测值、假设、证据等级都在库里,验证时逐条对上公告实际值,偏差拆解自动完成。

评分口径:痛感看「这事没做好谁会生气、生气到什么程度」;

AI 适配看「输入是否非结构化、是否要跨部门取数、错了能不能当场看出来」;

落地难度是分母 —— 需要客户先做数据治理的场景,分数会被压得很低。

五、会产出什么

判断标准只有一个:这份东西能不能直接进企业的流程

  • 正式件本体:历史观点验证报告.xlsx 投决会主件 · 预测/实际/偏差/分层归因 · 含签批栏
  • 可派发清单:预测对照明细.xlsx 可派发 · 逐条预测→实际值→出处页码
  • 可派发清单:证据等级分档统计.xlsx 按证据等级×命中率交叉表 · 供议事规则修订参考

这套东西不承诺什么:不做对错的价值评判(对错是事实,责任与管理是投决会的事)、不验证外部机构研报(只验证自家底稿库)、不据此生成考核结论(考核制度是公司治理问题)。验证报告供投决会与合规查阅。

② Live Demo(演示逐步)

演示模式 · 可视化预演 本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。

案例设定:磐沣私募(虚构)投资部。2026 年三季度投决会(9 月末)前,对二、三季度底稿库全部关键预测做一次回顾验证:12 条预测中 9 条已到验证期(对 5 错 4)、31 个关键假设分三档证据等级——「单一渠道转述」档命中率41%,显著低于「公告交叉验证」档的 78%。

预测总数12 条到期验证9 条 · 对 5 错 4关键假设31 个 · 三档结论建议不采信低证据等级假设进仓位决策

输入证券与资管从业者手上能拿到的东西

不需要整理格式、不需要改文件名 · 直接拖进对话框

  • 01_底稿库预测清单.xlsx 验证期内全部关键预测——预测值、假设、证据等级都在底稿库里底稿库自动登记 · RD-03 场景产出
  • 02_验证期公告汇编.xlsx 验证期内标的公告关键数据——实际值的权威来源,逐条带页码研究员汇编 · 2026 年 9月
  • 03_Wind行情与业绩导出.xlsx 验证期内行情与业绩量化数据——区间涨跌对照用Wind 导出 · 文件名即出处
  • 04_投决会决议记录.xlsx 验证期内投决会决议——「哪些错误预测实际影响了仓位」的对照依据投资总监秘书记录
  • 05_验证规则说明.docx 验证的判定规则——对错口径与偏差分层定义投资部与合规共同定版 · 2026 年 6 月

注意标橙色那一份 —— 01_底稿库预测清单.xlsx。它底稿库自动登记 · RD-03 场景产出,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。

提示词就说这么几句

没有模板、没有表单 · 专业规则由 Skill 兜底

把这两个季度我们底稿库里的关键预测都翻出来,对上实际财报,出一份验证报告。 每个预测的假设和当时的证据等级都带上,错了的拆开看错在哪层。 按证据等级分档统计命中率。 这是给投决会看的,对错摆事实就行,不用评判谁。签批栏留空。

验证口径、偏差分层规则、分档统计方法都在能力包里。投资总监只需要说清验证哪个时间段。

触发事情是这么来的

投决会复盘议题永远排在最后——这次把它做成会前材料

投决会季度例会 9 月末召开。以往复盘议题排在最后,经常被新标的讨论挤掉。这次把验证报告做成会前材料:预测对了没人记功、错了没人追责、研究质量的改进就无从谈起——先让数字说话。

第 1 步 · 预测清单提取 · 12 条全部在列

从底稿库自动提取,到期 9 条进入验证,未到期 3 条转下期

演示数据(表格原文)状态条数处理已到验证期9 条逐条对实际值未到期(三季报口径)3 条FC-2026-052 / FC-2026-060 / FC-2026-074 转下期合计12 条提取范围:4 月初至 8 月底全部底稿合计12 条—提取是自动的——预测值、假设、证据等级入库时就登记过(RD-03 的三栏分离制度),这次不用任何人翻旧文件。

这一步的看点 · 从历史里想起了公司踩过的坑2025 年 Q2 稳健一号的底稿里,「渠道库存去化」假设撑起了半导体设备股加仓建议,后来库存周期实际延长了两个季度——那次没人回头验证,同一个错误假设在 Q4 换了个标的又重演了一次。本次验证把两个案例的假设原文并排贴出。这条不靠研究员自己记得——底稿按「假设类型」可检索。

第 2 步 · 实际值匹配 · 对错逐条判定

9 条到期预测:对 5 错 4,每条带公告页码

预测编号标的预测实际判定FC-2026-031华晟智造海外营收 +15%~20%−12.6%(中报 P12)错 · 假设层FC-2026-032华晟智造毛利率 33%~34%31.2%(中报 P16)错 · 假设层FC-2026-035联动精密产能利用率 85%87.3%(中报 P21)对

演示数据(表格原文)FC-2026-048拓荒智能Q2 新签订单 +20%+24%(中报 P9)对FC-2026-041恒宇新材Q2 渠道库存去化完成渠道复验:去化推迟错 · 假设层FC-2026-057中垣建设订单覆盖 1.2 倍1.1 倍(中报 P18)误差内 · 计对FC-2026-063海通材料长协锁定60% 产能62%(公告 P1)对FC-2026-066嘉诚机械海外占比升至 30%26.8%(中报 P14)错 · 时机层FC-2026-070南方精工Q3 获新平台定点定点落地(公告 P1)对判定对 5 / 错 4总命中率 55.6%(5/9)——华晟两条预测(营收与毛利率)的偏差拆解见 RD-03 场景——本报告只统计判定结果与分层归因。

这一步的看点 · 排除性结论「研究员个体差异可以排除——两位研究员在『单一渠道转述』级假设上的命中率分别是 43% 和 39%,差异不显著;问题出在证据分级流程,不是人」——省掉一场伤感情的追责讨论,把议程引向规则修订。

第 3 步 · 偏差拆解 · 4 条错在三层

假设错 3 / 时机错 1 / 数据错 0——错的根源清一色在假设层

演示数据(表格原文)偏差层条数涉及预测共性特征假设层错误3FC-2026-031 / FC-2026-032 / FC-2026-041关键假设均为「单一渠道转述」级证据时机层错误1FC-2026-066方向对(占比提升)但节奏晚了两个季度数据层错误0—出处绑定制度下未出现引用数据错误合计4—假设层占 75%数据层 0 错——这不是安慰:出处绑定(RD-03)解决了「数字抄错」,但解决不了「假设站不住」。两类错误的修法完全不同。

这一步的看点 · 该拦的地方拦住了验证报告的结论是「证据等级为『单一渠道转述』的假设不应采信进入仓位决策」——这不是追责,是拦下一类决策路径。按此规则,华晟 4 月那条预测在投决会当时就应被标注风险。

第 4 步 · 证据分档统计 · 命中率的三档差距

31 个关键假设按证据等级分档:78% / 60% / 41%,单调递减

演示数据(表格原文)证据等级假设数命中数命中率支持决策建议公告交叉验证9778%可直接采信多渠道验证5360%采信但注明渠道局限单一渠道转述17741%不建议进入仓位决策合计311754.8%分档单调递减78% > 60% > 41% 的单调关系说明:证据等级不是形式主义,它就是命中率的分层器。两位研究员各自在「单一渠道」档的命中率 43% / 39%——问题在流程不在人。

这一步的看点 · 把技术动作翻译成钱验证期内 3 个错误假设(华晟营收/毛利/恒宇库存)合计影响仓位约 4,700 万,对应回撤贡献约 −1.1pct、绝对金额约 2,800 万(25.3 亿 × 1.1%)。若「关键假设须两渠道证据」规则早两个季度执行,按78% 对 41% 的命中率差估算,可避免约 6 成该类损失≈ 1,700 万。投决会要决定的不是追谁的责,是这条规则改不改。5投决对照 · 错误预测影响了哪些真实决策

预测与投决记录交叉:3 个错误假设对应 3 个投决议题

演示数据(表格原文)错误预测对应投决议题实际影响当时可拦吗FC-2026-031 华晟营收4/17 华晟维持持仓影响仓位 2.2 亿 · 8 月回撤贡献−0.37pct可(假设证据单一渠道级)FC-2026-032 华晟毛利同上(一并审议)同上可FC-2026-041 恒宇库存5/08 恒宇加仓1pct影响仓位约 2,500 万 · 回撤贡献 −0.11pct可(渠道复验即可证伪)三个议题当时全部通过——投决会没有看到「证据等级」这个字段。本报告的落地建议就一条:投决会材料里给假设分级留一栏。

这一步的看点 · 该拦的地方拦住了「恒宇新材加仓」是本季度唯一可以零成本拦下的决策——其依据假设(渠道库存去化)只要做一次渠道复验就能证伪,而当时没人要求。这条对照写进报告,就是为了下一次「要求复验」有先例可引。

IO验证报告生成 · 三份交付物

投决会主件 + 预测对照明细 + 证据分档统计

交付物清单(表格原文)交付物内容去往历史观点验证报告.xlsx预测/实际/偏差/分层归因 · 签批栏留空投决会预测对照明细.xlsx逐条预测→实际值→出处页码投资部留档证据等级分档统计.xlsx证据等级×命中率交叉表议事规则修订参考

验证报告不能作为追责依据——但规则修订建议必须上会本报告显示「单一渠道转述」级假设命中率 41%,且 3 个该级错误假设已实际影响投决。建议投决会:证据等级不足的假设不应采信进入仓位决策——这是规则问题,不是人的问题。给出两个落地方案:方案一:立即把现存「单一渠道转述」级假设支持的标的列入观察清单——零成本,当日可执行;方案二:修订投决会议事规则,关键假设须两渠道以上证据方可进入仓位议题——成本为零(一次股东会随附表决),下季度生效。两案可并行,绩效考核用途明确排除(验证规则说明第 4 条)。

之后这一次跑完,公司多了什么

不讲省了多久:讲少了几个隐患、沉淀了什么

  • ✓ 研究质量第一次有了可量化的回顾数据:命中率按证据等级分档可见
  • ✓ 一条口径固定下来:关键假设必须两渠道以上证据才可入投决会讨论
  • ✓ 一条历史教训被真正用上:渠道库存假设的错误在两个标的上重演——现在同类型假设会被自动标红
  • ✓ 岗位角色变了:投资总监从「凭印象答董事会」变成「拿分档统计答董事会」

追问现场可能被问到的

答不上来的问题,比答得漂亮的问题更能决定这场演示的结果

  • 这会不会变成 researcher 的考核工具? 报告设计上刻意做了个体匿名化(分档统计不出现个人命中率)——验证的目的是改流程不是追责,一旦变成考核工具,研究员就会开始写「永远正确」的模糊预测,库就废了。
  • 多久跑一次合适? 每季度一次随投决会复盘;财报季(4/8/10 月)后两周内跑,正好赶上验证数据最全的窗口。
  • 外部研报能不能也验证? 技术上可以,但先把自家底稿库验证做扎实——外部研报的假设与证据等级我们拿不到原始留档,验证深度有限。

③ 能力沉淀(Skill / 提示词 / 预期输出 / 人工边界)

1. Skill 能力包

导入之后,同类任务会自动按这套规则走 —— 提示词才能写得那么短

历史观点回顾验证 —— 当年推的票到底对了没 · Skill

SKILL.md 主本 + references(输出骨架 / 判据 / 渲染脚本)· 符合 WorkBuddy Skill 规范

版本 v1.0

view-retrospective-validation.zip

在 WorkBuddy 里直接上传这个 zip 即可导入

包内结构

  • SKILL.md 主本 —— YAML 元信息 + 执行流程 + 硬规则 + 人工边界
  • references/output_template.md 输出骨架(sheet 名 / 分区顺序 / 列头)+ 可直接运行的渲染脚本
  • references/judgement_rules.md 判据与口径 —— 什么情况算异常、什么情况必须拦住

references 不会一次性全读进来 —— Agent 按需取用。所以 Skill 可以写得很细,不会拖慢每次对话。

2. 原始素材

这些就是证券与资管从业者手上真实能拿到的东西 —— 格式不统一是常态,不是问题

📁PM-02 · 演示素材

脱敏构造数据 · 真实业务格式 · 埋点可核验

共 5 份

  • 01_底稿库预测清单.xlsx 验证期内全部关键预测——预测值、假设、证据等级都在底稿库里
  • 02_验证期公告汇编.xlsx 验证期内标的公告关键数据——实际值的权威来源,逐条带页码
  • 03_Wind行情与业绩导出.xlsx 验证期内行情与业绩量化数据——区间涨跌对照用
  • 04_投决会决议记录.xlsx 验证期内投决会决议——「哪些错误预测实际影响了仓位」的对照依据
  • 05_验证规则说明.docx 验证的判定规则——对错口径与偏差分层定义

怎么用

  • 把素材全部拖进 WorkBuddy 对话框(不需要整理格式、不需要改文件名)
  • 粘贴下方提示词发送
  • 拿到正式件初稿 —— 签批栏留空,推荐意见留空,由你填

3. 提示词卡片

把这两个季度我们底稿库里的关键预测都翻出来,对上实际财报,出一份验证报告。 每个预测的假设和当时的证据等级都带上,错了的拆开看错在哪层。 按证据等级分档统计命中率。 这是给投决会看的,对错摆事实就行,不用评判谁。签批栏留空。

为什么这么短就够了:验证口径、偏差分层规则、分档统计方法都在能力包里。投资总监只需要说清验证哪个时间段。

换成你自己的业务:把素材换成你手上的真实文件即可。导入 Skill 之后,

该走几步、什么口径、什么情况必须拦住,Agent 自己知道 —— 你只需要说清这是什么事。

自己组织输入的三步法

  • 用自然语言说清核心需求 —— 就按平时跟同事交代活的方式说:什么事、什么文件、什么要求。不用讲究格式。
  • 调用 Skill 补齐专业规则 —— 导入本页 Skill 后,流程、口径、硬规则 Agent 自己知道。
  • 用「增强提示词」补全遗漏 —— 输入框旁边有增强按钮,把随口说的话补成更完整的表述。

分工:自然语言负责「这是什么事」,Skill 负责「该怎么做」,增强提示词负责「别漏了什么」。

4. 预期输出

不方便现场跑的时候可以直接拿这份给客户看 · 与实跑结果同结构

📋正式交付物

带签批栏 / 冻结首行 / 开筛选 —— 判断标准是「能不能直接进企业的流程」

共 3 份

  • PM-02_历史观点验证报告.xlsx 投决会主件 · 预测/实际/偏差/分层归因 · 含签批栏
  • PM-02_预测对照明细.xlsx 可派发 · 逐条预测→实际值→出处页码
  • PM-02_证据等级分档统计.xlsx 按证据等级×命中率交叉表 ·供议事规则修订参考

Skill 里固化了什么:从历史里想起了公司踩过的坑该拦的地方拦住了排除性结论把技术动作翻译成钱

输入清单:内部研究底稿库(历史预测值+假设+证据等级——RD-03 产出)被验证的主体——星标素材,离开这个库验证无从谈起已披露财报与公告(验证期内的全部标的公告 PDF)实际值的权威来源,自动标页码Wind/Choice 终端导出的行情与财务数据(验证期)用于区间涨跌与业绩的量化对照覆盖池清单与历史投决会决议验证范围与「当时是否入池」的对照

人工边界:不做对错的价值评判(对错是事实,责任与管理是投决会的事)、不验证外部机构研报(只验证自家底稿库)、不据此生成考核结论(考核制度是公司治理问题)。验证报告供投决会与合规查阅。

升为客户真实案例还缺什么:客户当前真实输入文件(不要整理过的)岗位现行 SOP 与审批链(金额分档、谁签字)至少一次真实出过问题的案例客户当前正在用的正式输出模板客户确认的阈值口径(多少天算临期、多少金额算大额)

5. 同一角色下的其他场景

投资与组合岗 · 产出即下一步输入

上下游串起来就是完整链路。每一步的产出都是下一步的输入,不用在不同工具之间来回复制粘贴。

场景内容基于 WorkBuddy 产品能力整理,演示中的企业、人物与数据均为虚构,不代表任何客户的实际成效;痛点引用的公开来源已做脱敏处理。网页版由原资料转换,部分演示表格以原文形式展示。

想把这个场景在你们企业跑通?

顾问会先看你们的数据和流程够不够,再决定从哪一步开始。