返回技术与思考
AI 系统与人机协作待验证的方法7 分钟阅读

从一次研究到一个 Skill:把专业方法留下来

一次好答案不能说明流程可重复。用研究简报这个例子,拆出输入、检索策略、证据记录、判断节点、异常路径与质量验收。

一份研究简报写得不错,我接下来想问的常常是:这次为什么能做出来?下一周换一个主题、换一个执行者,能不能保持同样的质量?

把最终答案存进模板,还没有回答这个问题。真正决定结果的,可能是检索中改过的一组词、排除过的一类来源,以及某个地方没有轻信第一条结论。

我使用 Skill 这个词,指一份能被人或智能体重复采用的工作方法:它说明何时使用、需要什么、怎样执行、在哪里判断,以及什么结果可以交接。具体载体可以是说明文件、脚本或工作流,文件格式不是这里的核心。

从结果倒查产生结果的条件

以每周研究简报为例,一次成功可能同时依赖清楚的主题、可访问的数据库、合理的时间范围、足够具体的搜索词,以及熟悉领域的复核者。

其中有些是稳定条件,有些是这一次的偶然便利。恰好找到一篇高质量综述,不等于每周都能用同样的检索深度;对一个熟悉主题快速判断,也不等于新人能够照做。

我会把执行过程还原出来:哪些信息开始就有,哪些在途中补上,在哪些位置改变方向,什么材料最终没有进入报告。可复用的方法需要留下这些选择的理由。

输入要让执行者知道缺什么

“研究最近的新进展”不足以启动一个稳定流程。我希望输入至少交代读者、要支持的问题、时间范围、主题边界和产物用途。

如果这些条件缺失,流程应该帮助补齐,而不是默默选择一个默认答案。例如,面对研究人员的简报与面对产品团队的简报,对方法细节和应用条件的侧重不同。

稳定格式可以减少遗漏,但不能代替理解。填上“机器人”这个主题,并没有明确研究的是交互、运动控制还是市场应用。输入检查应当能暴露这种过宽的定义。

检索策略也需要成为产物

我希望保存搜索词、渠道、日期、筛选依据以及明显的覆盖缺口。否则,下周看到结果不同,很难知道是领域发生了变化,还是执行者只换了一种搜索方式。

没有检索到,也需要区分原因:没有符合条件的材料,来源不可访问,搜索表达太窄,或执行在途中停止。它们不能全部写成“暂无研究”。

资料进入简报前,应保留它回答的问题、原始来源,以及支持结论的具体位置。结论与引用仅仅放在同一页,还不足以说明引用支持这句话。

这样留下的检索过程,才有机会被其他 Agent、脚本或同事复现。工具可以不同,研究问题与覆盖口径需要能够对齐。

把机械操作和专业判断分开

去重、格式转换、检查链接等规则明确的步骤,可以尽量固定。比较两篇研究是否讨论同一个构念、某种方法能否适用于当前任务,则需要领域判断和足够上下文。

我不会把后者简单命名为“AI 分析”,然后当作已经处理。流程应说明判断的输入、需要考虑的条件,以及什么时候交给人复核。

人参与的位置也要有具体产物。比如,指出两篇材料的冲突来自任务不同,或确认当前只能写成假设。只记录“专家已审核”而没有判断内容,下一个执行者仍然学不到方法。

在演示里模拟审批,可以检查流程是否连贯,但模拟结果应保持演示状态。它不能进入正式记录,冒充真实授权。

异常路径揭示一个 Skill 是否成熟

正常材料上跑通,只能说明主路径存在。来源互相矛盾、文件打不开、输入超出范围,才会暴露方法是否依赖执行者临场补全。

我会为常见异常写清下一步:重试什么、换用什么、保留什么缺口、在哪里停止。停止应当产生可交接的状态,例如“缺原始方法全文,当前无法比较样本选择”,而不是只返回失败。

也不能为所有可能性写无限规则。先记录真正遇到过的异常,以及会显著影响结论的失效方式;随着使用补充。一个巨大但没人能维护的说明文件,可能反而把方法藏起来。

用新的任务检查能否复用

最有说服力的检验,是换一批材料、换一个主题或换一位执行者,再检查结果和过程。只重跑写 Skill 时用过的成功案例,很容易把对案例的熟悉误认作方法的泛化。

我会看来源追溯、关键遗漏、适用条件、异常处理和人工复核成本。文风相似、段落齐全,是较容易达到的要求,却未必是专业质量的主要部分。

修改流程时保留版本和触发原因,并用固定的一组典型任务检查有没有破坏旧能力。这里的固定任务是回归依据,新的材料则继续用于检验适用范围,两者不能互相替代。

方法留下以后,还需要有人使用和修正

Skill 不应成为一次项目结束时的漂亮附件。我想知道下一次谁会打开它,使用中哪里仍要问资深同事,出现新例外后改动会回到哪里。

专业经验里也有难以立即写成规则的部分。把它标成需要判断的节点,并保留正反例,比过早编成一条确定规则更诚实,也更有教学价值。

我的目标不是让每次研究产生完全一样的答案,而是让不同答案有可以理解的原因。资料变了,结论可以变;方法变了,要说得出为什么。

这进一步需要一个能被团队找到、更新和使用的知识系统。一次工作变成方法,方法再回到下一次工作,经验才开始持续积累。

可以带走的材料

以下材料为本站整理的空白模板或指令示例,可下载后按任务改写。它们不包含客户数据,也不是上述项目的原始交付物或效果证明。