Qa Expert Review

SKILL.md

---
name: qa-expert-review
version: 1.6.0
description: >-
  当 AI 生成的测试用例已经过输出评审和盲区补盲、准备终审上线时使用此技能。由资深测试对 AI 输出的用例做人工抽样校验，从业务有效性、场景完整性、可执行性三个维度做最后把关。⚠️ 如果发现系统性问题（比如遗漏了某个关键模块），需要回退修正并记录到 Prompt 优化反馈库。专家评审不是走形式——发现的问题必须闭环。

when_to_use: 用户说"专家评审"、"用例审查"、"校正反馈"、"评审用例"、"检查用例"、"终审"、需要对AI输出进行质量把关、用例上线前需要终审时
allowed-tools: Read Grep Glob
related_skills:
  upstream:
    - qa-ai-output-critique      # 输入：AI生成的测试用例
    - qa-ai-blindspot-compensation # 输入：补盲后的测试用例
  downstream:
    - qa-test-reporting          # 输出：评审报告
    - qa-retrospective           # 输出：校正数据用于复盘
input_format:
  required:
    - name: 测试用例
      type: array
      description: AI生成的测试用例列表
  optional:
    - name: 需求文档
      type: string
      description: 原始需求文档，用于校验覆盖度
    - name: 历史校正数据
      type: array
      description: 历史评审的校正记录，用于模式分析
output_format:
  structure:
    - review_id: "REV-XXXX"
    - review_summary: "评审摘要"
    - sampling_rate: "抽样比例"
    - issues_found: "问题列表"
    - corrections: "校正建议"
    - learning_points: "学习要点"
    - prompt_optimization: "Prompt优化建议"
  traceability:
    - 每次评审带唯一ID（REV-XXXX）
    - 关联用例ID（TC-XXXX）
    - 关联需求ID（REQ-XXXX）
depth_requirement_quantification:
  reference_value: "根据项目重要性和风险等级调整评审深度：简单x1/中等x2/复杂x3"
  minimum: "至少覆盖功能完整性、边界充分性、异常覆盖性3个维度"
categories: ['Development','Testing','Quality']
error_recovery_guidance:
  on_failure: "评审发现系统性问题时回退到输出评审步骤修正"
  retry_behavior: "修正后重新抽样校验"
---
# 专家评审与元学习

## 核心原则

专家评审不是挑错，而是建立"AI生成→专家校验→持续优化"的正向循环。

## 评审流程

### 第1步：抽样策略

```text
抽样方法：
├─ 随机抽样：10-20%的用例
├─ 分层抽样：P0用例100%覆盖，P1抽样50%，P2抽样20%
├─ 风险抽样：高风险用例100%覆盖
└─ 新功能抽样：新功能用例100%覆盖

抽样公式：
总用例数 < 50 → 全量评审
总用例数 50-200 → 20%抽样
总用例数 > 200 → 10%抽样 + P0全量
```

### 第2步：评审维度

| 维度 | 检查点 | 权重 |
|------|--------|------|
| 完整性 | 是否覆盖所有需求点？ | 30% |
| 准确性 | 测试步骤和预期结果是否正确？ | 25% |
| 可执行性 | 步骤是否清晰可执行？ | 20% |
| 风险覆盖 | 高风险区域是否深测？ | 15% |
| 规范性 | 格式是否符合标准？ | 10% |

### 第3步：校正标记

```text
校正标记格式：
├─ [C-001] 问题类型：描述问题
├─ [C-002] 问题类型：描述问题
└─ ...

问题类型：
├─ MISSING：缺失场景
├─ WRONG：步骤/预期错误
├─ VAGUE：描述模糊
├─ REDUNDANT：冗余用例
├─ RISK：风险覆盖不足
└─ FORMAT：格式不规范
```

### 第4步：输出评审报告

```markdown
# 专家评审报告

## 评审摘要
- 评审ID：REV-XXXX
- 评审日期：YYYY-MM-DD
- 评审专家：[姓名]
- 用例总数：XX条
- 抽样数量：XX条（抽样比例XX%）

## 评审结果
| 维度 | 评分 | 问题数 |
|------|------|--------|
| 完整性 | X/10 | X个 |
| 准确性 | X/10 | X个 |
| 可执行性 | X/10 | X个 |
| 风险覆盖 | X/10 | X个 |
| 规范性 | X/10 | X个 |
| 综合评分 | X/10 | - |

## 问题清单
| 用例编号 | 问题类型 | 问题描述 | 校正建议 |
|---------|---------|---------|---------|
| TC_XXX_001 | MISSING | 缺少并发场景 | 补充并发测试用例 |
| TC_XXX_002 | VAGUE | 步骤描述模糊 | 明确操作步骤 |

## 学习要点
1. 高频问题：[问题模式]
2. 改进方向：[具体建议]
3. Prompt优化：[优化建议]

## 元学习建议
- 更新checklist：[新增检查项]
- 优化prompt：[提示词调整]
- 补充技能：[需要增强的技能]
```

## 评审维度速查

### 各维度典型问题速查

| 维度 | 常见问题现象 | 重点关注 | 通过标准 |
|------|------------|---------|---------|
| 完整性 | 缺少某个需求点/场景 | 需求追溯ID是否全部覆盖 | 每个需求点≥1条用例 |
| 准确性 | 预期结果与实际不符 | 业务规则是否正确应用 | 预期结果=需求定义 |
| 可执行性 | 步骤模糊/依赖不明确 | 新人能否按步骤执行 | 按步骤可复现 |
| 风险覆盖 | 高风险区域用例不够深 | 资金/安全/并发是否深测 | 高风险区域≥3条用例 |
| 规范性 | 格式不统一/字段缺失 | 是否使用标准模板 | 模板字段完整率100% |

### 常见问题严重度判定

| 问题类型 | 严重 | 一般 | 轻微 |
|---------|------|------|------|
| MISSING | 核心功能缺失 | 非核心功能缺失 | 边缘场景缺失 |
| WRONG | 预期结果方向错误 | 步骤顺序错误 | 步骤表述不精确 |
| VAGUE | 完全无法执行 | 需少量猜测 | 措辞可优化 |
| RISK | 资金/安全未覆盖 | 非功能未覆盖 | 兼容性/体验未覆盖 |
| REDUNDANT | 完全重复且P0 | 场景重叠 | 边界略有重叠 |
| FORMAT | 完全无格式 | 部分字段缺失 | 格式可微调 |

## 元学习机制

### 校正数据收集

```text
收集内容：
├─ 问题类型分布
├─ 高频问题模式
├─ 专家校正建议
├─ 用例质量趋势
└─ 改进效果跟踪

存储格式：
{
  "review_id": "REV-001",
  "date": "2024-01-01",
  "issues": [
    {
      "type": "MISSING",
      "count": 5,
      "pattern": "缺少并发场景",
      "correction": "补充并发测试"
    }
  ],
  "learning_points": [...]
}
```

### 模式识别

```text
识别方法：
├─ 问题聚类：识别相似问题
├─ 趋势分析：问题数量变化
├─ 根因分析：为什么会出现这个问题
└─ 改进验证：改进措施是否有效

输出：
├─ 高频问题TOP5
├─ 问题趋势图
├─ 改进建议
└─ 效果评估
```

### Prompt优化

```text
优化流程：
1. 分析校正数据
2. 识别Prompt不足
3. 生成优化建议
4. 测试优化效果
5. 持续迭代

优化示例：
原Prompt："生成登录模块的测试用例"
优化后："生成登录模块的测试用例，需覆盖：
1. 正常登录流程
2. 异常场景（密码错误、账号锁定）
3. 边界条件（密码长度、特殊字符）
4. 并发场景（多设备同时登录）
5. 安全场景（SQL注入、XSS）"
```

## 应用场景

**AI生成了20条登录模块测试用例**
→ 抽样策略：按风险分层抽8条（P0全抽、P1抽50%、P2抽20%）
→ 评审维度：
  - 功能覆盖：登录成功/失败/锁定（完整✅）
  - 异常覆盖：密码错误/账号锁定（完整✅）
  - 安全覆盖：SQL注入/XSS（遗漏❌）
→ 校正标记：补充安全测试场景 + 更新Prompt：新增"必须包含SQL注入和XSS测试"
→ 元学习：将安全场景缺失模式加入checklist

**用户说"评审一下这个AI生成的用例"**
→ 自动化评审流程：抽样→校验→校正→输出评审报告+Prompt优化建议

## 自检清单

评审完成后检查：
- [ ] 抽样策略是否合理？
- [ ] 评审维度是否覆盖？
- [ ] 校正标记是否规范？
- [ ] 评审报告是否完整？
- [ ] 学习要点是否提炼？
- [ ] Prompt优化建议是否具体？


## 检查清单

- [ ] 抽样是否覆盖高风险区域？
- [ ] 评审维度是否完整？
- [ ] 系统性问题是否识别？
- [ ] 改进建议是否可行？
- [ ] 评审报告是否生成？