价值指标与现状基线

目录

第4章　价值指标与现状基线

第3章形成了本轮范围说明书，核心任务是每日待处理工单的备件与时限核对，以及故障复盘材料提速。“核对太花时间”“复盘要两天”仍是待核实的现场陈述。本章说明怎样把这些陈述变成可复核的测量：先明确指标定义，再设计并实施基线测量，结合价值与成本判断是否值得继续，最后形成可供认定的报告。读完本章，读者应能写出明确的指标定义，说明数据来源、测量方法与局限，并据此提出继续、缩小范围或暂停的建议。

4.1　现状基线概述

本节说明为什么要在构建系统之前测量现状，并给出基线工作的五个步骤及认定分工，见表4-1。现场访谈常用“太慢”“太乱”“总是超时”描述问题，这些说法可以提供调查线索，但不足以单独支撑投入决策或验收。小组需要进一步核实影响范围、发生频度与实际损失。

4.1.1　基线的作用

基线用于描述改造前的现状，在项目中主要支持三项工作。第一，判断是否值得投入：核对耗时、复盘周期、超时限工单比例及成本估计，共同构成初算依据，也可能指向更便宜的流程调整。第二，支持改造前后比较：上线后仍按相同口径重测，才有条件回答“省了多少”；但前后差异还可能来自工作量、人员或季节变化，不能仅凭基线认定因果。第三，减少事后口径分歧：双方事先确认测量规则、数据与局限，后续讨论才能基于同一份记录。错过改造前的现场计时通常无法原样补测；历史系统记录若完整且可信，则仍可按约定口径回溯。

基线既需要可靠的测量，也需要明确的认定责任。数据在客户系统中，取数须经David批准；时限口径由Emma认定，起止点需与Alice核对；测量周期又受项目进度限制。业务签署说明各方认可口径、来源和适用范围，并不能消除测量偏差。因此，小组应在现有约束下取得足以支持决策的证据，同时如实说明尚不能确认的部分。

4.1.2　基线与目标的关系

基线描述现状，目标规定希望达到的结果，二者不能互相代替。当前表现可以作为设定目标的参照，但不应直接成为标准：它可能受偶然事件影响，也可能包含长期未解决的问题。目标还应考虑客户需要、错误代价、改善成本和实现条件，并按第5章的方法形成可检查的验收要求。本章先把现状与测量依据写清，不预先承诺改善幅度。

客户可能在首次会议上提出“把核对降到十五分钟”等目标。小组应登记为待讨论的业务期望，与基线结果分开管理，而不是让测量数据迁就目标。本书的基线报告只描述现状、方法与可靠程度，目标及效果预期放在后续验收文件中。区分文件用途比单纯推迟目标讨论更重要。

4.1.3　工作步骤与认定事项

本章把从“现场的说法”到“可签署的基线报告”拆成五步，全貌见图4-1，每一步的产出、过关标准和需要谁认定见表4-1。达不到过关标准，就退回上一步补齐，而不是带着缺口往下走。

图4-1　指标与基线工作的五个步骤

表4-1　五个步骤、产出、过关标准与认定人

前几步借鉴质量改进中明确指标、编写操作定义、设计取数、验证测量方法并建立基线的做法。FDE项目还需要在大规模投入前完成经济性初算，并由客户认定口径与记录。本章据此组织为五步，不是行业统一流程。实际执行可反复返回前一步，例如核对发现时间戳不可信，就需要调整取数或测量设计；增删步骤时，不能省略它们承担的检查责任。

4.1.4　最小可信基线

时间是FDE小组最紧的约束。界定门之前留给小组的时间通常以周计，不能等三个月的数据，可行的目标是一周内形成最小可信基线：先满足本轮投入决策所需的证据，不把短期观察直接当成最终验收依据。示意安排如下：第一、二天写定义并试算，分别与Alice、Emma讨论起止点和时限口径；第二、三天按David已批准的字段范围导出工单与复盘记录，并抽取少量记录向外场核实时刻；从第二天起，每个工作日的早班在值班席旁现场计时一次，到第五天约四次；第五天填写结果卡和局限，召开不超过一小时的认定会。这只是示意，不是硬性排期。

最小可信基线至少应写明三类信息：统计对象、观察期和样本量，比例指标另列分子与分母；系统记录抽样核对的方式与差异；已知局限及未覆盖情形。是否需要更窄的区间，取决于决策用途。记录偏差大、观察期不典型，或经济性结论对某个参数敏感时，应考虑延长或调整测量。四次早班计时至多支持有限范围的初步判断，不能仅因一周已到就认定证据充分；不足时应提出补测或暂停。

4.2　指标定义

本节完成步骤①和②：把Tom的目标转换为三个可回答的问题，明确指标定义并配置护栏。产出是指标定义0.1版，Alice、Emma、David和Frank分别认定职责范围内的内容，Tom认定整体。指标需在项目开始、实施和结束时保持可复核：不同的人使用同样记录和同一版规则，应得到同样结果。尽早解决定义分歧，通常比在验收时争论更容易；但不能假定此时尚无合同或既定约束，定义仍须与已有文件一致。

4.2.1　目标、问题与指标

Tom的话“减少网络中断”是一个目标。目标说明要往哪里走，却没有规定怎样算达到：可以统计中断次数、持续时长或受影响用户数，也可以要求少一次、少一成，或比较全年与某一个月。每一种解释都说得通，算出的数却不同。指标是一条测量规则，规定使用什么记录、采用什么口径、计算什么数，使不同的人在不同时间，只要依据同样的记录，就能得到同样的结果。质量管理领域把这样的规则称为操作定义（operational definition）：判定准则、检验方法和决定规则缺少任何一项，执行者都可能作出不同解释。

目标与指标之间隔着一层容易被跳过的东西，这就是问题。软件度量领域常用的“目标—问题—度量”方法把顺序固定为：先写目标，再把目标拆成若干要回答的问题，最后才为每个问题选定度量，以免陷入“手边有什么数据就测什么”。图4-2按这个顺序拆开了Tom的目标。“减少网络中断”往下分出两类问题：一类关于网络本身的运行，例如中断发生了多少次、持续了多久；另一类关于运维团队的工作，例如每天早上能不能及时看清哪些故障在等备件、哪些工单快到时限，一次故障之后的复盘材料多久能交到Tom手里。第3章的调查表明，小组这一轮能够触及的是后一类，所以进入指标定义的是三个流程问题：值班主管完成每日核对要多长时间，一次复盘从故障恢复到材料交出要经过多久，有多大比例的工单超出了应遵守的时限。

图4-2　从业务目标到指标定义的分解

图4-2中的分界需要说明。核对耗时、复盘周期和超时限工单比例衡量运维工作的效率与及时性，本书统称流程指标；网络可用率衡量网络运行的结果，属于运行结果指标。过程指标反映较快，也较容易归因于具体改动，但过程改善不等于结果改善：三项流程指标全部改善，网络可用率也不一定提高，中间还隔着备件是否到位、外场能否及时到站、故障类型等多个环节。因此，本章定义的指标不能直接证明网络可靠性改善，要回答这一问题，需要另行设计结果指标和归因方法，那是第23章价值核算的内容。网络可用率仅作为背景信息保留，现状值取自区域分公司的月度通报，小组既不重新推算，也不在报告中把流程指标的变化与它直接挂钩。

4.2.2　指标定义的构成

一条合格的指标定义要回答哪些问题，要看指标的类型：比率型指标要写分子与分母，耗时型指标要写统计量和起止时刻，单纯计数的指标则用不上分母。表4-2列出常见的七项内容，各自对应一类典型的失败。把定义写成统一的模板，还有一个好处：不同指标的口径可以并排比较，遗漏的项一眼就能看出来。

表4-2　指标定义的组成

名称只是标签，不能代替完整定义。例如MTTR在不同资料中可能指平均修复、恢复、响应或解决时间，必须写明本项目采用的含义。统计窗口还要规定跨期事件的归属：月末发生、次月完成的事件按发生还是完成时刻计入，不能由统计者临时决定。判定者与取数人则用于追溯口径、字段和数据质量。还应区分两类阈值：期望改善到什么程度属于目标；识别“超时”“较长退服”的业务判定阈值属于操作定义，应引用已认定的规则及版本。

指标定义还要规定数据如何汇总。同一批耗时数据的平均数、中位数和范围描述的是不同方面。耗时常呈右偏分布，少数长任务会拉高平均数；中位数较能反映中间位置，却不能代替平均数用于总工时估算。因此，本书同时报告平均数、中位数与分布范围，并明确各自用途，而不是因现场习惯说“平均”就只给一个数。样本量和停止规则属于测量设计，另行说明。

4.2.3　起止时刻与时间来源

耗时型指标的争议大多出在起点和终点。以一张故障工单为例，从退服发生到工单关闭，通常涉及以下几个时刻：故障发生，告警产生，有人注意到，电话通知，工单创建，开始处理，外场到场，业务恢复，工单关闭。每一个都可能充当某个耗时的起点或终点，每一个都有人觉得理所当然。第3章的观察留下了一个具体的例子：单站退服时，值班人员先接到电话，约四分钟后才开单；成批退服时，据Alice所说则先开单。同样是“从工单起点到外场到场的时限”，起点取开单时刻，先电话后开单的那几分钟就落在统计之外。几分钟对一个以天计的指标可能影响较小，对一个时限只有两到四个小时的指标，却可能决定一张工单落在线的哪一边，4.2.6的案例会演示这一点。

选择起止点可以从三方面考虑。第一，起止点要覆盖项目准备改变的那段工作：核对耗时若把值班主管的整个早班都算进去，其中大半与核对无关；复盘周期若只计算动手拼装的几个小时，排队和等待就被排除，而这些环节可能才占大头。第二，起止点要有可靠记录：系统自动写入的时刻通常优于人工补填的时刻，同一系统内的时刻通常优于跨系统拼接的时刻。第三，起止点要得到相关人员认可：Tom关心从故障恢复到材料交出的等待时间，Alice关心从接到要求到完成整理的用时，两种算法都有道理。三方面发生冲突时，一个实用做法是以较长的一段作为主指标，同时把全程拆成相邻阶段分别记录，各段相加等于全程，这样分歧被限制在某一段的边界上；哪一段占比最大，也提示了改造的切入点。

时间来源要区分事件发生时刻、记录写入时刻和计算耗时所用的时钟。系统自动记下的可能是接收或录入事件，不一定是业务事件本身；人工补填也可能准确记录外场报告的恢复时刻，不能一概视作录入时刻。应逐字段核实含义、填写方式、时区、精度和时钟同步情况。现场计时能捕捉系统没有记录的起止动作，但依赖观察者判断，也需统一规则。本轮尽量使用已获批的工单字段，辅以现场计时；告警访问尚未获批，跨系统时间差也需核对后才能相减。这些限制写入报告。

4.2.4　三项核心指标的定义

有了前面几项组成，就可以为三项核心指标写出0.1版定义，见表4-3。表中填的是定义，不是结果：基线数字要等测量之后才有，目标值不出现。尚未确定的内容写明由谁确认，不替对方填一个看上去合理的值。

表4-3　三项核心指标的定义0.1版

（1）值班主管每日核对耗时。定义应围绕稳定的任务边界，而不是当前的操作方式。现在需要在告警、工单和备件系统间切换，改造后可能改为审阅一份汇总；若只测“切换系统的时间”，前后便不可比。起点应是开始准备本次核对，终点是结果发给外场班组长。无关事务的打断单独计时并扣除，核对所需的查询、系统等待和记录核验不扣；同时保留总历时、扣除量与净耗时，供不同用途复算。前后测量均应包括产生并确认同一类清单所需的人工工作。

（2）故障复盘周期。名称中去掉“平均”二字，因为“平均”是统计量，把它写进名称，就等于预先规定了汇总方式。终点取首次交出，而不是最终定稿：材料交出后被退回修改，属于另一类问题，应单独登记，不并入周期；同时用返工率和事实错误率防止通过提前提交不完整材料缩短周期。纳入规则要固定在改造前即可确定的触发条件上。若写成“凡做了复盘的故障”，改造后复盘变得容易，Tom可能会要求对更多较小故障进行复盘，新增对象可能更简单，平均周期也会因此下降，此时无法区分下降来自系统改进，还是来自对象构成变化。一般而言，如果指标的分母由被改进的对象决定，指标就可能因分母变化而被动变好。

（3）超时限工单比例。第一，时限取值、起点及受时限约束的动作由Emma确认；动作可能是到场、首次响应或恢复，不能用工单关闭代替。定义引用口径登记表的固定版本，相关条款变化时再复审指标版本。第二，在取数时点，约定动作已完成的按其发生时刻判定；动作尚未完成但已超过截止时刻的，计为超时；动作未完成且尚未到期的，单列未决。全窗口最终比例和当前已决比例应分开报告。第三，Alice手填的“时限”列可用于核对差异，但不能直接作为独立判定依据。备件状态不参与本指标计算。

4.2.5　指标分类与护栏

三项核心指标属于同一类，即业务结果一侧的流程指标。只盯这一类容易得出片面结论：一个核对更快的系统可能核错了，一个又快又对的系统可能没人用，一个又快、又对、又被使用的系统可能贵得不值。所以定义之后还要做一次横向检查，把指标分成四类，各回答不同的问题，再为每个想要改善的指标配一个护栏，即与它成对设置、防止它以牺牲其他方面为代价而变好的另一项指标。四类之间有一条逻辑：业务结果是项目存在的理由；系统质量是产生结果的条件；使用情况是质量转化为结果的通道，没人使用，系统再准确也不会产生业务结果；运行成本是账本的另一侧，结果再好，也要与投入比较。这四类是本书的组织方式，不是行业统一标准，表4-4列出它们在合众通信中的对应。

表4-4　四类指标与各自的护栏

业务结果在本章分为流程效率、及时性与最终运行结果两层。网络可用率还受故障构成、设备和外部事件影响，流程指标改善不能直接推出可用率提高；归因需另行设计对照或分阶段实施。系统质量则关注核对清单是否漏列、多列、写错，以及复盘材料是否有事实错误。第5章建立评估方法和验收标准，本章先记录人工做法的参照。错误代价可能不对称：漏列临近时限的工单可能影响处置，多列也会占用复核时间，持续误报还可能降低注意力。抽取若干班次的核对结果，由另一名具备业务能力的人独立复核，报告差错定义、份数和错误数。改造前的现场表现最好提前取得；若历史产物和证据完整，也可回溯核查，但需说明条件差异。这一要求并非AI项目独有。

使用情况的完整做法见第24章，本章先记录改造前的工作路径，供日后比较。Alice是否持续维护个人核对表，可以作为线索；文件名或日期连续只能说明文件可能仍在更新，不能单凭它认定实际工作仍走旧流程。应在授权范围内结合访谈或操作观察核实。目标用户少时，报告人数和班次数比单独写百分比更便于理解。运行成本口径由Frank认定，估算见4.4。

指标并不是越多越好。每增加一项，就要有人去定义、取数、解释和争论，客户可能在认定会上提出增加项目。一个朴素的检验是：这个指标变化时，能改变哪项决定？答不出来，就不要设；可以收集相关数据，但不纳入报告主表。合众通信这一轮有三项核心指标，主表先为每项选一项关键护栏；有独立高风险时另设必须检查的约束。此外，四类指标通常在不同时间尺度上变化：使用情况与系统质量较快显现，业务结果中的流程层较慢，结果层最慢。因此项目早期可以用先行指标判断方向，但不能用先行指标宣布最终结果，采纳率高只说明系统被使用，不说明结果已经改善。

指标被直接用于考核时，其与业务目标的关系可能改变，通常用古德哈特定律概括。现场可检查四类风险：在异常糟糕的月份启动项目，后续可能因回归均值而自然改善；平静早晨适用的耗时目标，在成批退服时未必合理；通过少核几项压缩时间，指标改善却损害任务质量；推迟开单使从开单起算的时长变短，掩盖真实等待。它们提示小组同时检查样本、流程和原始记录，而不能认定下一期必然变好。

防备不靠穷尽所有可能，而靠设计：指标用于学习，不直接与个人绩效挂钩，Tom已经书面确认观察所得不用于个人考核，这一承诺要延续到指标阶段；成对设置护栏；周期性地抽几件，把报表上的数与原始记录逐一核对；把指标的用途写进认可记录。还有一个简单的自检：设想这项指标明天变好了，能想出几种与真实改善无关的原因？只要出现可信的替代解释，就应考虑补护栏或抽查，而不是按原因数量机械判断。

4.2.6　试算、认定与货币口径

指标定义需由相关角色分别认定。Tom确认业务用途及不支持的推论，Alice核对任务边界与纳入规则，Emma确认时限口径，David确认字段与访问范围，Frank确认货币口径。审批尚未覆盖的字段可以登记为依赖和待申请项，但不得按已经可取处理。可分别请各方审阅相关部分，再由Tom查看整体；认定结果注明人员、时间、版本和未解决事项。

认定之前先做试算：选取三至五个已经发生且记录完整的真实对象，让小组成员和一名未参加定义讨论的当事人分别只依据定义文字计算，再把结果逐项对照。结果不同的地方回到定义中修改，直到两人的计算结果一致。

案例　两位试算者得到两个数

以下为虚构的试算示例，数值不作为合众通信基线。小组把超时限工单比例的定义初稿交给两个人试算：甲是起草定义的小组成员，乙是没有参加讨论的同事。初稿写的是“工单从起点到外场到场的时间超过该类工单时限的，算超时限”，对象是窗口内创建且适用时限的40张工单，时限分为120分钟与240分钟两档。

甲从工单的开单时刻算起，得到6张：4张已到场但超时，2张至今未到场且已超过时限。乙从电话通知的时刻算起，得到8张。多出来的两张是T30和T31：到场时间都是开单后238分钟，时限240分钟，电话比开单早4分钟，按开单算是按时，按电话算就超了2分钟。两个人都没有算错，是定义没有说清起点。

试算的结果是三处修改：定义里写明起点待Emma确认，候选两个；取数时两种起点的结果同时算出，报告里并列；在Emma确认之前，任何场合引用这个比例都要注明用的是哪个起点。此外还有一个小发现：40张里有3张在取数时刻尚未到场也未到时限，初稿没有说明怎么办，于是补上“未决的单列”这一条。

认可记录要写明认定的是什么，也要写明没有认定什么。认定的是定义的文字，不是目标值；同时写下指标不声称证明的事，例如这三项指标的变化不被解读为网络可用率的变化。这句话看似多余，却能避免项目结束时一种常见的误会：客户把流程指标的改善读成结果指标的改善，小组却以为双方早已谈妥。认可后的定义带版本号，此后任何改动都生成新版本，并说明改动前后的数能否直接比较。对方坚持的指标若无法从现有记录计算，如实记为“未定”，不进入验收，也不由小组用自己认为合适的指标默默替代。

货币口径同样要在这个阶段确定归谁认定，而不是现在就换算。三项指标的单位是分钟、天和比例，没有一项是钱，但经济性初算要把节省的时间折成货币，那时才发现单位不同、口径未定，争论会重新开始。合众通信的对接人是Frank。本章请他回答的只是口径问题：一小时的值班主管时间按什么成本计价，是工资加福利的直接成本、含管理费用的全成本，还是被占用时间的机会成本；节省下来的时间如果没有减少编制，也没有减少加班，能否计入收益；哪些成本项在经济性判断里计入，哪些不计。回答记入口径登记表，数字由财务给出，小组不替财务选。

4.3　基线测量

本节完成步骤③：在动手量之前，把怎样量写成文字；取到数之后，先核对它可不可信，再把结果连同局限写出来。产出是测量设计、原始记录、结果卡与局限，由Alice认定起止点，David认定字段。FDE小组面对的不是实验室里的受控对象，而是一个正在运转的值班室，所以这里只讲在现场做得到、又足以支撑决定的做法，测量方法与统计方法本身不是本书的主题。设计要在测量开始之前写下，原因很实际：开始量之后，人会不自觉地让设计去迁就已经看到的数。

4.3.1　测量设计

第3章里的51分钟和52分钟来自一位值班主管、一个早晨和一块手表，样本只有一人一班一天，对象和时段由发起人安排，那个早晨又恰好平静。用来发现问题，这样的观察足够；用来证明现状，不够。原因不在精度，而在设计。一个数能否充当基线，取决于它背后回答了几个问题：测的是哪一类对象，在哪段时间里测，起止事件是什么，中途放弃或没有做完的怎么办，符合条件的对象一共有多少，实际测了多少。缺少这些，同一个数可以有完全不同的读法：一项耗时的中位数看上去很漂亮，也许只是因为被中途放弃的请求根本没进入统计。

所以本书把基线定义为一套测量设计加上它产生的数。数字只是设计的产物，设计不写清楚，数字就不能被别人复核，也不能在改造之后用同样的办法重测。前期观察并不作废，它们的用处是提出问题、设计测量：51分钟里哪几段是核对本身，哪几段是被打断，提示了起止点要怎样写；复盘材料的拼装用了52分钟，而Alice说这类复盘要“两天”，前者是动手的时间，后者是口头描述的总历时，具体起点仍待核实，两者不是同一类数，提示了周期要分段测。它们作为带标注的前期观察保留在报告里，不进入基线的计算，否则一个不具代表性的早晨会以和其他观察同等的权重影响结果。

4.3.2　数据来源

耗时和频次的数据大致有三类来源，表4-5作了比较。现场计时由观察者在场，随被观察者的动作记录起止，适合短而分散的任务。系统记录是从工单、日志等数据库里取出的时刻，覆盖面大，成本低。自述由当事人回忆或填写，包括访谈、问卷和自己记录的时间表。

表4-5　三类数据来源的比较

选择数据来源时先问：事件是否有记录，字段能否对应业务定义？有记录且抽样核对满足用途时，优先使用系统数据。没有可靠记录，再问能否现场记录起止；不能现场观察时，则寻找当时的材料或补充设计，不能直接用回忆代替。本章把回忆性自述作为线索，不纳入耗时基线；按统一规则即时登记的日志属于另一种测量方式，可在验证后使用。核对耗时与复盘动手时间暂用现场计时，复盘周期与超时限比例则按记录取数并核查。

系统时间戳需核实事件含义与填写过程。可在同一小批新发生的对象上，将现场记录与系统记录配对比较；对历史工单，也可向外场核实，但回忆本身有误差，不能当作无误差真值。抽取八张工单只是起步示意，不保证足以代表全部情况。偏差是否可接受，要结合指标用途和临界值判断：几分钟对天级周期可能影响有限，对临近截止时刻的工单则可能改变分类。偏差较大时，应核实字段或改用可靠来源，并量化剩余不确定性；只在报告中写下偏差，不能使不适用的数据自动变得可用。

未经核对的回忆性自述不作为本章耗时基线：Alice说复盘“平均要两天”，值班主管说核对要花不少时间，都应先当作待测的陈述。改造之后，“感觉省了很多时间”同样不是证据。另外，重测要用同一种方法。基线若靠现场计时，改造后系统本身会记录核对的时刻，两种来源之间的差异就会混进“改善”里，所以改造之后的一段时间内，仍要保留同样的现场计时，至少对一部分对象做，把方法差异单独量出来。

4.3.3　样本、观察期与偏差

常见的问法是：测多少次才算基线？给出一个固定数字，比如30，看起来省事，也容易被客户接受，但没有普遍依据。样本量取决于对象之间的差异、是否存在需要分别覆盖的层次（不同班次、不同值班主管、不同故障类型），以及测量目的是粗判量级还是为日后验收提供对照。更合理的做法是先试测几次，粗估差异，再决定测量数量，并在开测前写下停止规则，例如“每位值班主管至少4次，周一至周五每天至少1次，覆盖平静与有退服的早晨，达到后停止；覆盖不到的写入局限”。

能全取就全取。对象总数不大时，抽样没有必要。复盘是最典型的例子：一段时间里值得复盘的故障本来就不多，在固定窗口内列全符合纳入规则的故障，包含没有完成或找不到产物的件，并逐项登记，比从中抽几件更有说服力。工单比例处在另一端，记录全在系统里，在取数与核对成本可接受时，优先全取，直接用全部符合条件的工单。需要抽样的是核对系统记录本身对不对，那是小批的、目的不同的抽样。

代表性比数量更要紧。“一个早晨”的最大缺陷并不是只有一次，而是不知道这一次代表什么。要在测量前列出可能影响耗时的维度，并保证每个维度的主要取值都被覆盖。合众通信的核对可能受三个维度影响：哪位值班主管，因为各人的核对表格式不同；星期几，因为周一早上要处理周末的积压；当天故障的多少，是平静的早晨，还是有成批退服的早晨。覆盖不了的，在报告里写明。样本也不是随机抽出来的：对象和时段多由客户安排，容易偏向平静、愿意配合的班次。降低偏向的办法是把可观察的班次全部列出，从中安排，并记下每次是谁挑的。

观察期应在开测前确定，并尽量覆盖与用途相符的工作周期。至少一周可作为本案例的扩展测量起点，不是所有任务的统一下限，也不保证代表性。节假日、系统变更或人员调整若会在今后业务中出现，不宜一概排除，应分层覆盖或明确本次不适用的范围。基线应在改变相关流程前取得；已经发生的培训、表格整理等准备工作需登记。若项目因近期异常问题启动，还要回溯较长窗口，检查回归均值和时点选择对比较的影响。

表4-6并排列出基线测量中常见的偏差、它们在现场的样子和对策。共同的特点是：偏差不会自己报告自己，只能在设计时预先想到，并留出核对的办法。

表4-6　基线测量中的常见偏差与对策

这些偏差里，观察者效应最容易被夸大或忽略：不能假定观察一定改变行为，也不能假定完全没有影响。可行的做法是降低对单一来源的依赖，事先约定适应期，必要时不把适应期计入正式基线，统一观察流程，再用系统记录交叉核对。基线测到什么程度才够，则要看它服务于哪项决定，这个判断留到4.4.4，在那里转折值会告诉小组，哪个数值得测得更准，哪个数再测也不会改变结论。没有测到的部分，如夜班、节假日、大范围故障期间的核对，不要为了显得完整去推断，而是在局限一节里写明。

4.3.4　结果的表达

“42±5分钟”若不注明含义，可能把不同的不确定性混为一谈。42可以是样本均值或中位数，±5则可能表示标准差、标准误、置信区间半宽或测量不确定性，解释各不相同。报告应先说明样本统计量与分布，再说明区间估计的是哪个总体参数、采用什么方法及假设；计时判断和系统时刻偏差另行报告。常规抽样区间不会自动覆盖所有系统偏差。便利样本若缺少可信的抽样模型，宜以样本描述为主；条件计算的区间也只能注明假设作参考，不能直接推广到全部班次。

比例指标应同时报告分子、分母、取数时点和未决数。例如窗口内40张适用工单中，31张已按时完成约定动作，6张已超时，3张尚未到期且未完成，则当前已决比例为6/37，约16.2%；最终全窗口比例至少为6/40，即15.0%，至多为9/40，即22.5%。这两个范围端点是由未决状态得到的界限，不是置信区间。只统计已完成动作的工单，会漏掉尚未完成却已超时的对象。全取可以准确描述这批记录，却不能消除记录错误，也不代表其他月份；历史窗口并列前仍须抽查字段含义和填写习惯是否变化。

复盘件数少时，应逐件列出分段用时、总周期及完成状态。未交出的件只能说明周期至少已持续多久，这属于右删失；只统计已完成件可能偏向较短周期，但不能断言所有在途件都比已完成件更长。可按故障恢复、提出要求、开始拼装、提交材料等事件划分相邻阶段，核实各段之和等于总历时。动手工时另行计量：它与某一历时阶段并不总相等，且可能来自不同样本，不能混合相加。等待与排队占比若很高，仅加速拼装的改善空间有限；这仍需数据核实。核对耗时则报告分布和偏大值的业务情形，不据少量按人数据评价个人。

报告里每项指标写一张结果卡，字段相同，便于并排阅读，也便于改造之后用同样的字段再写一张。表4-7列出各字段该写什么。

表4-7　一张结果卡的写法

结果卡还应保留第3章单次观察与新测结果的对照。落在新样本范围内，不足以证明前期观察有代表性；落在范围外，也可能来自工作负荷、方法或口径差异，不能直接判定那个早晨不具代表性。应先核实条件，再如实说明差异，不为使结果吻合而改写原始观察。

4.4　经济性初算

本节完成步骤④：结合基线与成本估计，判断是否值得继续投入。产出包括参数表、三种情形、转折值与附条件的建议，Frank认定货币口径，Tom认定价值与投入判断。初算应早于大规模建设，但不必等到全部测量或方案细节确定才开始；可用标明来源的范围估计起步，随证据更新。第6章再比较具体候选并修正成本假设。下面的数字和货币单位均为示意，不是合众通信实测值，也不预设项目实际收益。

4.4.1　初算的目的

经济性初算本书将判断归为三类：范围不变，继续；缩小范围或改变做法后继续；暂停，等取得关键数据后再决定。它不承诺“收益将是多少”，那要留给项目结束后的价值核算；届时才有真实用量、真实成本和对照数据。初算与最终核算的差别在于用途：前者决定是否投入，后者验证投入产生了什么结果。粗到什么程度合适，有一个简单标准：若参数在合理范围内变化仍不会改变判断，就不必继续提高精度。做这笔粗账时要保持口径克制：计价口径由财务认定，哪些价值可以计入由结果责任人认定；小组负责结构、公式和实测数据，不自行选择工时单价，也不替客户判断一张超时限工单值多少钱。

4.4.2　价值的估算

从流程指标到货币价值，最直接的计算是：每月次数×每次净节省时间×工时单价。这里有两点需要注意。第一是“净节省”：系统减少的核对时间，要扣除人工复核系统结果所增加的时间，复核多花一分钟，就可能抵消相当一部分节省。第二，这个乘积表示释放出来的按工时单价折算的产能价值，不等于现金节省。释放的时间可能被用于其他工作，也可能只是转为空闲，工资不会因此自动减少；只有当它减少加班、避免新增编制，或被用于创造可计价的产出时，才会转化为实际收益。因此，初算中应写成“释放的工时”，并明确假设这些时间将如何使用。

基线可用于工时价值的上限检验：假定相关人工用时全部被省去，折算价值是多少。总量采用次数乘平均用时，不能把中位数直接当平均数。设每月核对30次、每次平均40分钟，每月复盘6件、平均动手150分钟，两项合计35小时；按每小时80计，理论上限为2,800。若月度成本为2,300，抵平它需要释放约82.1%的原有工时。这个比例较高，且确认、定稿等工作仍需保留，但仅凭这些事实不能断言无法达到。应进一步估计可节省部分及其用途；上限高于成本只是未被这一检验排除，不等于项目已经合算。

工时之外，价值还可能来自避免的损失：超时限工单带来的后果、一次出错的代价、复盘迟迟不出造成的拖延。这些往往比工时大，也最难估：后果是否带来费用，要由对应的部门确认，复盘延迟的代价要结果的责任人判断。初算里的办法是不猜，而是倒算：先算出成本需要多少这类价值才能抵平，再去问负责的人，这个量级现实吗。倒算把一个无从下手的估计，变成一个可以回答“是”或“不是”的问题。

4.4.3　成本的估算

成本包括一次性构建投入和持续运行支出。前者有小组人力、数据准备、审批配合及培训；后者有调用或算力、基础设施、人工复核及数据规则维护。若按月比较，可把构建投入按明确的分析期折成月度分摊，但这不等于会计摊销，也不改变前期现金支出。客户参与培训、验收和答疑的时间同样计入，并写明承担方。还要避免重复记账：若净节省工时已扣除新增复核用时，成本侧不能再计同一段人工；或按毛节省估值，将新增人工统一计为成本，二者择一并说明。单件成本以被接受的业务结果为单位，价格可用已核实报价或明确的假设，均注明来源、日期和适用条件。

4.4.4　情形分析与转折值

先给不确定参数设定有依据的范围，再构成悲观、基准、乐观三种情形，见表4-8。基线样本的最小值和最大值不是月度平均数的不确定区间，不能直接代入；应结合统计估计、业务波动和测量局限设置参数范围。各参数的相关性也应说明，三种情形不代表有确定概率。对可能低估的成本、高估的收益进行有依据的保守调整，并保留原始估计。乐观情形只是所设假设下较有利的结果，不是理论上限，也不能单独作为投资依据。

表4-8　经济性初算的三种情形（货币单位为虚构）

表4-8的基准情形里，工时价值是1,000，成本是2,300，月度差额为负；只有在乐观情形里，几个有利的取值同时出现，月度差额才为正。第二步是一次只改变一个参数，其余保持基准，看月度差额变化多少，按幅度排序。在这组示意参数下，构建投入的摊销和运行成本对月度差额的影响最大，每次核对的净节省次之，其余参数的影响较小；而无论哪个参数单独取悲观或乐观的值，月度差额都仍在零以下。这种分析的价值在于排序，告诉小组先去把哪几个估计弄准。它也有局限：忽略参数之间的交互，比如运行成本和使用量往往一起变；参数范围的选择本身带有主观性。因此它主要用于识别需优先核实的参数，不应被视为收益预测。

下一步计算使判断改变的转折值。基准工时价值1,000、月度成本2,300，若仅按工时价值计，差额为每月1,300。假设这部分全部来自避免超时限工单，每月避免2张则每张需产生约650的认可价值，避免3张则约433。这只是待核实的组合假设，不是减少工单数量的预测；还需核对相对于真实基线是否合理、损失是否可避免、流程改动能否造成这种变化，以及是否与节省工时重复计价。Emma核实合同后果，Tom认定可计入价值，不能只因损失量级足够大就视为收益已成立。

4.4.5　结论与记录

在这组示意参数下，可以提出一项有条件的建议：先缩小验证范围，优先核实超时限后果及可避免程度，再决定是否追加投入。这个建议并非负净值自动推出，还需明确本次验证预算、完成期限、预期取得的证据和停止条件。若确认工时之外的价值很小，且可实现的工时收益也不足以覆盖成本，就应比较流程调整、规则或共享视图等更便宜的候选，必要时暂停。经济性初算的作用是使投入与证据相匹配，而不是给所有项目保留继续的理由。

初算要留下可以复算的记录，摘要可用一页纸，明细另附：参数表，每个参数写明取值、来源、负责认定的人和状态，状态分已测、待核和假设三种；公式；三种情形的结果；转折值；结论和附带的条件。还要写明没有算的东西：机会成本，也就是做这件事就不能做另一件；对相邻系统的影响；风险带来的成本。结论由结果的责任人认定，口径由财务认定。项目结束后，应保留这张初算表，再另以真实用量、成本和对照数据形成终算，初算与终算之间的差异本身，也是下一个项目估算时最好的参考。

4.5　基线报告与签署

本节完成步骤⑤：前面几步产出的东西，最后都要落到一份文件上，也就是本章的交付物《指标定义与基线报告》。产出是0.2版交各方认定，认定后签署为1.0版，由Tom及各位认定人签署。它首先是一份可复算的记录，也可据此形成汇报材料：别人拿同样的记录、按同样的口径，应当能算出同样的数；改造之后，也应当能用同样的办法再量一次，并把两次的结果放在一起比。基线报告写得好不好，往往要几个月之后才显出来，那时方案改过了，人也可能换了，只剩这份文件说明当初量了什么、怎么量的、有多可靠。

4.5.1　读者与文件分工

决策者读摘要，想知道现状到底有多糟，项目值不值得继续做；认定者，也就是Alice、Emma、David、Frank这些人，读定义和测量设计，想知道口径是不是自己认过的那一个，数从哪里来，可信到什么程度；后来的人，包括几个月后的小组自己、接手的运维人员、做价值核算的财务，读全文，想知道能不能复算，能不能在同样的条件下再量一次。三类读者的问题不同，依据却是同一份记录。只照顾第一类读者，报告成了没有依据的结论；只照顾第三类，决策者读不下去，也就不会据此作决定。

与相邻文件的分工有两条界线。其一，范围说明书说做什么，交付章程说谁来决定，评估集判断系统的回答对不对，基线报告只说一件事：改造之前流程的现状是什么，是怎样量出来的，有多可靠。报告里没有目标值，也没有对改造效果的预期，目标期望与实测现状必须分开，避免混用。其二，原始记录和既有结果不能为迁就后来方案而改写；发现记录或计算错误时，应留痕更正，改造之后的结果另写新的报告，两份报告用同一口径并排，才谈得上比较。

4.5.2　报告的结构

表4-9列出报告的各部分、每一部分要写的内容和最常见的缺陷。部分的名称和顺序并不固定，组织的习惯不同，可以合并或改名，但每一部分回答的问题不能缺：口径是什么，怎么测的，测到了什么，有多可靠，谁认可了什么。界定文档对成功指标的基本要求是写出现状基线、数据来源和刷新频率；把基线当作一套测量设计来写，而不是一个数，是4.3已经讨论过的立场。

表4-9　指标定义与基线报告的结构

摘要最后写，却要放在第一页。它只允许出现正文里已有的内容，不允许出现新的信息：每项指标写明统计量、样本量和主要范围，比例同时给分子分母；然后写最大的一两项局限；最后写需要读者作出的认定或决定。摘要里的数字与正文不一致，是报告里最难挽回信任的错误，写完后逐个数字回查是值得的一步。

4.5.3　排除内容与个人匿名

基线用于评价流程与系统，不用于个人排名。原始记录确需区分观察对象时，可使用编号，把姓名对照表另行保管，并由David确认访问和保留期限；这种处理属于去标识化，不保证匿名。人员少、班次固定时，仅凭编号仍可能认出个人，按班次汇总也未必足够。应结合风险合并时间或人员分组、限制流转，报告因此损失的分析细节。数据用途由Tom与Alice确认，不能仅凭删除姓名就认定个人不可识别。

4.5.4　局限的表述

局限应提供判断依据，而不是只写“样本有限，仅供参考”。逐项说明已知偏差、未覆盖情形，以及结果可用于和不可用于的决定。每项偏差尽量写出可能方向、估计方法和已有处置；目前无法判断方向或量级的，应明确写为未知，并说明需要什么证据。比较发起人安排班次与小组抽取班次的中位数，可以发现差异线索，但两组可能在星期、人员和故障负荷上也不同，不能把差值直接当成选择偏差的大小。重测时需按事先制定的抽样办法减少这些混杂。

没有覆盖的情形要列一张清单，写明这次基线没有观察到什么：夜班、节假日、一次大范围故障期间的核对、新到岗的值班主管的核对，以及观察期里某个星期几仅有一两次的记录。没有遇到不等于不存在，把没覆盖的写出来，后面的人才知道哪些情形的数不能照搬。局限一节的末尾写两句话：这份基线可以用来做什么，不可以用来做什么。以核对耗时为例，可用于判断核对工作的量级、在具有分段记录时识别主要耗时环节、作为同一方法下改造后重测的对照；不可用于论证网络可用率的变化、推断观察之外的班次、评价个别值班主管。这两句话看似简单，却是防止后来者误用数字最直接的办法。

4.5.5　版本、更新与移交

基线报告与指标定义一样带版本号，图4-3是本书采用的约定。报告在认定之前是0.x版：0.1版有定义和测量设计，结果栏尚待测量；测量完成、填入结果与局限之后是0.2版，交各方认定；认定并签署后是1.0版，此后它是改造前后比较的依据。之后只有两种变化：同一口径下补充测量，是小版本更新；若业务状态或观察期改变，还要明确该版代表的新时期，末位加1，如1.1版；口径本身改变，是大改动，主版本加1，成为2.0版，并明确写明它与旧数不可直接比较。这与交付章程的版本约定一致。

图4-3　指标定义与基线报告的版本约定

基线也会过期。如果改造开始前，排班制度、工单系统或故障处置流程发生了变化，几个月前量得的基线就不再描述当前的现状。遇到这种情况，不要在原报告里修改旧数，而要在原报告的变更记录里写明何时、因何过期，重新测量后另出新版本。旧数保留，因为那是当时的事实；新旧两版并存，读者才能看出现状是否发生了变化。

基线的价值通常在项目结束后才兑现，而那时FDE小组可能已经离场。因此，在小组离开之前，应把基线报告、口径登记表、原始记录的存放位置和取数办法一并交给网络运维中心指定的负责人，并写明改造后由谁重测、采用什么方法、多久测一次。这是第25章移交包的一部分。没有人接手的基线，等到Tom问“到底省了多少”时，就只剩一份没人能复核的表格。

4.5.6　签署前的过关清单

第3章末尾列出了界定门要求齐备的几项文件，指标与现状基线是其中之一。表4-10是这一项交给界定门之前的自检清单，把各步的过关标准汇在一处，逐项回答“是”才能签署。

表4-10　基线可签署过关清单

还有一个更省事的检验：把报告交给一位没有参加测量的人，请他不去查别处，只依据报告回答三个问题。基线是几次观察得到的？口径与登记表上的版本是否一致？这个数不能拿来说明什么？答不出来的地方，就是报告缺失的地方。这个办法与4.2.6检验指标定义的办法属于同一类，成本很低，可帮助发现口径、样本和局限说明中的遗漏。合众通信此刻只有0.1版：定义与测量设计已经写成，结果栏是“待测”，所以清单里涉及结果的各项（④至⑧）要等小组按测量设计完成测量之后才能回答。

习题

（1）概念辨析

一家物流公司的单据处理部门有三句话：甲，“让单据处理更快”；乙，“每月从收到单据到录入完成的耗时，取中位数，按收到当天归入当月”；丙，“上月的中位耗时是5.5小时”。判断三句话各是目标、指标定义还是测量结果。对乙，按表4-2的七项内容逐项检查，指出缺了哪几项，并补全。

（2）流程指标与结果指标

某客服团队引入AI助手后，“首次响应时间”缩短了三成，管理层据此宣布“客户满意度提升”。指出这一说法的问题，并说明还需要补充哪些指标、做哪些对照，才能支持或否定这一结论。

（3）数据来源的选择

下面三项需要测量：工单创建到首次响应的时长；一名审核员审核一份合同所用的时间；每份合同中被发现的错误条款数。按4.3.2的数据来源选择原则，为每一项选择表4-5中最合适的数据来源，说明可能出现的偏差，以及拟采取的处置。

（4）偏差识别

一份报告写道：项目选在上月投诉最多的班次试点，改造一个月后该班次的投诉下降了四成，因此系统有效。对照表4-6和4.3.3，指出至少三种可能的偏差，并设计一种更可信的比较方式，说明它能排除哪些偏差、不能排除哪些。

（5）周期与比例的写法

某月恢复的故障共8件，2件按规则无需复盘；其余6件中4件已交出，周期分别为1天、2天、3天、8天，2件仍在拼装，分别已过去5天和9天。（a）只报“平均周期3.5天”错在哪里？（b）含在途件的中位数能否给出一个确定值？给出它所在的范围。（c）按表4-7写出本月复盘周期结果卡的“范围与分布”“缺失与未完成”两栏。（d）若下个月想把无需复盘的2件也纳入统计，会对比较带来什么影响？

（6）经济性初算

某流程每月核对22次，核对耗时的基线平均数为50分钟；每月复盘4件，每件动手时间的基线平均数为180分钟；工时计价为每小时80货币单位（虚构），项目每月成本合计3,000货币单位。（a）做天花板检验：把核对与复盘的动手时间全部省光，每月的工时价值是多少？（b）为了让工时价值恰好抵平成本，需要省下现有耗时的百分之几？这个结果说明什么？（c）写出两种可能的工时之外的价值来源，以及各自应由谁来认定。

（7）用清单检查报告

某份基线报告的结果部分写道：“基线期共完成约30次核对，观察4次，均为周二早班，平均耗时31分钟（±3分钟），系统上线后应降到20分钟以下。”对照表4-10，指出至少四处不通过，并改写成一段合格的结果表述。

（8）口径分歧与客户目标

Emma坚持超时限工单要从电话通知时刻起算，Alice坚持从开单时刻起算，双方都认为对方的算法不合理；同时Tom在认定会上提出，希望把“核对耗时降到15分钟以内”写进基线报告。写出FDE小组的处理办法：口径分歧在定义和报告里怎样保留；Tom提出的目标写在哪里、不写在哪里，理由是什么；认可记录里要写下哪些内容。

（9）综合作业

在一个自选的、有现成记录的业务流程上（如校园服务台、实验室设备预约、图书馆借还处理），为三项指标起草《指标定义与基线报告》0.1版：用表4-2的内容写出三项指标的定义，参照表4-9组织报告，并按表4-11列出测量设计，并写出局限一节和数据用途声明；另写一页纸的经济性初算，参数可以是假设，但要标明状态。报告中不得出现真实个人的姓名。另附不超过800字的说明，交代对口径作了哪些取舍，以及哪些内容尚待认定。

本章交付物

本章交付物是《指标定义与基线报告》0.1版，附更新后的指标口径登记表。

交付物包含两部分。第一部分是报告的模板，即表4-9的结构、表4-7的结果卡与表4-10的过关清单，以及经济性初算的参数表。第二部分是合众通信的0.1版，已填写的是三项指标的定义（表4-3）与测量设计（表4-11），结果栏保持“待测”，待小组按测量设计完成测量后，填入结果与局限，成为0.2版；0.1版可登记经济性参数、来源与待测状态，但不预填虚构的基线结果；必要的范围假设另行标明。0.1版不预先写出任何基线数字：这些数应当来自测量，而不是来自案例设定。随报告附上的指标口径登记表，把表4-3中已经确定的内容登记在案，涉及Emma与Tom的待确认项保持“待确认”，在认定之前不得当作已定口径引用。

表4-11　合众通信指标定义与基线报告0.1版的测量设计