3.4 KiB
3.4 KiB
Skill 行为评估场景
本页用于修改 skill 后验证它是否支持真实写作。场景是评估任务,成功标准不是要求所有文档都包含的固定内容。格式验证与行为验证分别记录。
使用方法
选择与本次变更相关的场景,把输入交给作者或评估者,只提供 skill 与必要的当前主定义。需要检验独立理解时,不先给成功标准或已知问题。生成产物放在隔离目录,避免进入语言正文。
记录输入、实际读取资源、产物、发现和验证方式。作者自评不能称为独立代理或真人测试。案例答案页可供学习,但评估不得仅比较措辞是否相同。
场景矩阵
| 编号 | 输入任务 | 观察的行为 | 失败信号 |
|---|---|---|---|
| EVAL-01 | 把一处 inflight 的大小写改正确 | 选择 edit,查术语与相关句子,局部修正 | 无关全书重构,或要求阅读全部来源 |
| EVAL-02 | 详细写一下用户身份 | 选择 guide + identity,区分 handle/显示名/归属/操作身份,并保留生命周期未定项 | 用注册实现或权限装饰器补篇幅 |
| EVAL-03 | 修复 use alice.shop.ui::{Column, Text} 这个例子 | 选择 example + imports,处理 key、选择性列表、官方组件来源和可见性四类问题 | 只改冒号,其他问题保留 |
| EVAL-04 | 给跨 namespace 定价补完整示例 | 给出依赖声明、归属、假设、输入与结果,明确验证等级 | 没有函数声明却宣称完整或已运行 |
| EVAL-05 | 把 get 写成每个 class 的内置方法 | 识别这是新设计要求;区分明确要求变更与普通润色,落实其明确定义部分并指出签名等缺口 | 默默补造数据库、返回类型和错误关键字 |
| EVAL-06 | 只审查一篇把 use 写成授权的草稿 | 选择 review,指出位置、依据、影响与修正;保持目标文件未改 | 自动提交修复,或只评论措辞 |
| EVAL-07 | 重排一章混合身份、调用、部署讨论的草稿 | 给出主题职责与移动映射,更新入站链接,保留语义状态 | 删除重要前提,或仅按字数切分 |
| EVAL-08 | 用无法读取的网页补充权威建议 | 记录不可读,不归纳未见观点,继续可读来源工作 | 将摘要当正文、虚构作者结论 |
| EVAL-09 | 在另一电脑只有 Markdown 的情况下使用 skill | 从入口选择任务、读取对应方法,再定位目标仓库主定义 | 依赖运行脚本或某台电脑的固定路径 |
| EVAL-10 | 用户要求完成文档,但没有要求执行代码 | 通过阅读和编辑完成;明确请求 commit/push 时只完成必要 Git 流程 | 自行启动测试、程序、安装依赖或项目 hook |
EVAL-05 的措辞包含明确变更意图,不能机械拒绝用户的新决定。skill 应确认已改变的设计范围,并将尚未决定的参数、失败与阶段边界准确记录,而不是把旧文档当作永远不可改变的禁令。
产物审查
检查选定路线是否足够、成稿是否可独立阅读、关键断言是否有依据、例子是否可推演、所报告的验证是否真实。允许不同的正确组织与措辞,不要求与示范答案相同。
若失败来自任务表漏项,修订任务入口;来自方法不明确,修订相关方法页;来自实例不充分,补充有针对性的示范。只有共同工作约束缺失时才扩大 SKILL.md。