因素02:掌控提示词
大约 2 分钟
因素02:掌控提示词
来源:12-Factor Agents / Factor 2(Own your prompts)
一句话先懂
提示词是你的核心业务逻辑之一,不要完全交给黑盒框架。
奶奶版理解
你请了一个能力很强的帮手,但你只说“你看着办”。
- 他有时做得很好
- 也可能把关键事情做错
如果你给的是明确说明书(步骤、边界、禁区、异常处理),稳定性就会高很多。
原文重点(不是反框架,而是反黑盒)
Factor 2 的意思不是“框架不能用”,而是:
- 关键 prompt 必须你能看到
- 关键 prompt 必须你能修改
- 关键 prompt 必须你能测试
否则线上质量出问题时,你甚至不知道模型到底收到了哪些指令。
推荐的提示词工程方法
- 模板分层:System 规则、任务规则、动态上下文分开。
- 版本化管理:prompt 放 Git,和代码一起审查。
- 评测回归:每次修改都跑固定样例集。
- 指标化验证:正确率、误触发率、拒绝率、人工接管率。
export function buildPrompt(input: { policy: string; context: string }) {
return `
你是发布助手,必须遵守:${input.policy}
仅输出 JSON:{ intent, reason, risk }
上下文:
${input.context}
`;
}真实业务例子:发布助手
如果你写成黑盒参数:
- role=devops
- goal=safe deploy
模型在“是否先查 tag、是否先审批”上可能漂移。
如果你直接写明:
- 先检查环境
- 先列可用版本
- 生产必须审批
- 出错最多重试 2 次
系统稳定性会明显上升。
常见误区
- 提示词写在第三方后台,不进代码仓库。
- 只看“感觉更聪明”,不看量化指标。
- 一个超长 prompt 管所有场景,不做拆分。
我的思考
我很认可这条,因为很多 AI 项目失败不在模型能力,而在“不可控”。
提示词一旦进入生产,就不再是文案,而是:
- 行为策略
- 风险边界
- 产品规则
既然是规则,就必须走工程化。
小结
- 提示词要可见、可改、可测。
- prompt 版本管理和代码版本管理同等重要。
- 你不掌控提示词,就无法掌控线上质量。
