标注规范：项目成败 80% 在这一步
绝大多数标注质量问题不是标注员不认真，是规范没写清楚。好的标注规范有三个特征：一是有大量正反例，每个标注类型至少配 5-10 个例子，尤其要写边界 case——「这句话算事实错误还是表达不清」必须给判定示例；二是规则可执行，不写「标注出质量差的回答」这种主观描述，而是拆成可判定的检查项：有没有事实错误、有没有答非所问、字数是否超标；三是版本化管理，规范一定会改，改了要记录版本，并且评估「老规范标的数据还能不能用」，经常需要小批量重标。我见过最惨的项目是规范改了四版但没留版本号，最后几万条数据混在一起，只能全废。
质量验收：抽检率、一致率、返工机制
质量保证靠三件事。第一是抽检，质检员按 10%-20% 比例抽查，错误率超过约定阈值（一般 3%-5%）整批打回返工，这个阈值要写进和外包团队的合同里。第二是多人标注算一致率，同一批数据分给 2-3 个人独立标，用 Cohen's Kappa 或简单的重合率衡量一致性，Kappa 低于 0.6 说明规范本身有歧义，先改规范再怪人。第三是埋考试题，在标注任务里混入已知答案的「金标准题」，标注员做错的正确率就是他的可信度，低于门槛的直接淘汰数据——这招对付磨洋工和脚本外挂特别有效。
人员组织：自建、外包还是平台
三条路各有适用场景。评测集、核心业务数据建议自建小团队（3-10 人）长期维护，质量可控、知识能沉淀；大规模训练数据、一次性的清洗任务走外包或标注平台（Scale AI、国内的龙猫、百度众测这类），便宜但质检要加码；涉及专业知识的——医疗、法律、代码——必须找有背景的人或者让内部专家抽检，通用标注员标不了「这段代码有没有安全漏洞」。预算上有个经验数：专业领域标注的单条成本可能是通用标注的 5-10 倍，报价差异巨大，一定要先小批量试标再签大单。
用预标注把成本打下来
现在纯人工标注越来越少，主流是「模型预标注 + 人工修正」：先用 GPT-4 级别的强模型把数据标一遍，人工只做核对和改错。实测下来，分类、情感这类简单任务人效能提升 3-5 倍，人的角色从「生产标签」变成「审核标签」。但有个前提要验证：预标注模型的准确率得够高（至少 90% 以上），否则「改错」比「从头标」还慢还容易漏。另外 RLHF 偏好排序、评测打分这类主观标注，模型预标注会引入模型自身的偏见，要谨慎。
PM 在标注项目里的角色
标注不是把需求扔给外包就完事，PM 要盯三个产出：标注规范文档（你是第一作者）、一致率和错误率的周报（决定要不要改规范或换团队）、以及标注数据的使用反馈闭环——算法说「这批数据标得不行」时，PM 要判断是规范问题、执行问题还是需求本身定义错了，这个判断错了项目会空转好几周。