back
loading skill details...
淘宝桌面版MCP工具评测框架。用于系统化测试MCP工具的各项功能，生成专业的技术评测报告。Use when 需要对淘宝MCP工具进行评测、测试、验收、迭代验证。
---
name: qf-mcp-benchmark
description: 淘宝桌面版MCP工具评测框架。用于系统化测试MCP工具的各项功能，生成专业的技术评测报告。Use when 需要对淘宝MCP工具进行评测、测试、验收、迭代验证。
version: v1.7.7
metadata:
openclaw:
emoji: "📊"
author: "CoPaw AI"
created: "2026-03-17"
updated: "2026-03-22"
---
# 淘宝桌面版MCP评测框架 v1.7.7
## 概述
本skill提供一套系统化的评测框架，用于测试淘宝桌面版MCP工具的各项功能，并生成专业的技术评测报告。
**v1.7.7 更新内容**：
- 清理历史遗留的小红书相关提示（任务6已改为图片OCR流程，不再涉及小红书）
**v1.7.6 更新内容**：
- 新增任务9：收藏夹商家上新检查
- 调整任务权重分配
**v1.7.5 更新内容**：
- 任务6重构：图片OCR识别+价格对比+最便宜商品加购
**v1.7.3 更新内容**：
- 更新钉钉文档链接格式
**v1.7.2 更新内容**：
- 新增任务8：退货退款申请（包含定时任务跟踪）
- 支持自动检查退货状态并通知用户
**v1.7.1 更新内容**：
- 钉钉文档更新必须使用钉钉文档MCP（`mcporter call 钉钉文档`）
- 强调每次评测必须填写完整的评测报告并追加到钉钉文档
---
## ⚠️ 执行原则（必须遵守）
### 原子性执行
**评测任务一旦开始，必须完整执行完成，不可中断。**
| 原则 | 说明 |
|------|------|
| **不可中断** | 开始评测后，必须完成所有8个任务 + 生成报告 |
| **完整流程** | 初始化 → 任务1-8 → 截图收集 → 报告生成 → 清理 |
| **状态跟踪** | 每个任务完成后记录 checkpoint，便于恢复 |
| **详细记录** | 每个工具调用必须记录完整参数和返回结果 |
---
## 📝 详细记录规范（v1.6.0 新增）
### 工具调用日志格式
每次工具调用后，必须将完整信息保存到日志文件：
**文件位置**：`~/.copaw/tasks/benchmark_{id}/calls/`
**命名规则**：`{task_id}_{step}_{tool_name}.json`
**日志格式**：
```json
{
"call_id": "T1_S1_navigate",
"task_id": 1,
"step": 1,
"tool": "navigate",
"params": {
"page": "home"
},
"result": {
"success": true,
"page": "home",
"url": "https://pages-fast.m.taobao.com/..."
},
"start_time": "2026-03-20 12:30:00.123",
"end_time": "2026-03-20 12:30:02.456",
"duration_ms": 2333,
"success": true,
"screenshot": "T1_S1_homepage.png",
"error": null
}
```
### 截图关联规则
| 截图命名 | 关联调用 | 说明 |
|----------|----------|------|
| `T{task_id}_S{step}_{desc}.png` | 对应的调用日志 | 操作后截图 |
| `T{task_id}_issue_{n}.png` | 问题截图 | 发现问题时截图 |
### 任务完成记录格式
每个任务完成后，生成任务详情文件：
**文件位置**：`~/.copaw/tasks/benchmark_{id}/tasks/task_{id}.json`
```json
{
"task_id": 1,
"task_name": "淘金币签到",
"weight": 0.15,
"start_time": "2026-03-20 12:30:00",
"end_time": "2026-03-20 12:32:30",
"duration_seconds": 150,
"call_count": 5,
"score": 9.0,
"status": "completed",
"calls": [
{
"step": 1,
"tool": "navigate",
"params": {"page": "home"},
"result_summary": "成功导航到首页",
"duration_ms": 2333
}
],
"screenshots": ["T1_S1_homepage.png", "T1_S2_coin_popup.png"],
"data": {
"coins": 10003,
"can_deduct": 100
},
"issues": [],
"notes": "成功完成淘金币签到流程"
}
```
---
## 评测任务清单
### 任务1：淘金币签到（权重 13%）
**测试目标**：验证导航、元素识别、点击操作的稳定性
**测试步骤**：
1. `navigate` → 首页
2. `scan_page_elements` → 识别淘金币入口
3. `click_element` → 进入淘金币页面
4. `read_page_content` → 读取金币数量
5. 完成签到任务
6. 验证金币增加
**评分标准**：
| 指标 | 分值 |
|------|------|
| 导航成功 | 2分 |
| 元素识别准确 | 2分 |
| 点击操作成功 | 2分 |
| 金币增加验证 | 2分 |
| 流程顺畅度 | 2分 |
---
### 任务2：商品搜索+对比+加购（权重 17%）
**测试目标**：验证搜索、详情查看、SKU选择、加购流程
**测试步骤**：
1. `search_products` → 搜索关键词
2. `read_page_content` → 读取搜索结果
3. 筛选商品进行对比
4. `add_to_cart` → 加入购物车
**评分标准**：
| 指标 | 分值 |
|------|------|
| 搜索返回结果 | 2分 |
| 商品详情页导航 | 2分 |
| 信息提取完整 | 2分 |
| SKU选择准确 | 2分 |
| 加购成功 | 2分 |
---
### 任务3：订单管理（权重 17%）
**测试目标**：验证订单页面导航、状态筛选功能
**测试步骤**：
1. `navigate` → 订单页面
2. `scan_page_elements` → 识别筛选标签
3. 测试筛选功能
4. `read_page_content` → 读取订单列表
**评分标准**：
| 指标 | 分值 |
|------|------|
| 订单页面导航 | 2分 |
| 筛选标签识别 | 2分 |
| 筛选功能正常 | 2分 |
| 订单信息读取 | 2分 |
| 页面切换流畅 | 2分 |
---
### 任务4：获取购物车以及降价信息（权重 17%）
**测试目标**：验证购物车导航、商品列表读取、降价信息提取
**测试步骤**：
1. `navigate` → 购物车页面
2. `read_page_content` → 读取商品列表
3. 统计购物车商品
4. 识别降价商品
**评分标准**：
| 指标 | 分值 |
|------|------|
| 购物车导航成功 | 2分 |
| 商品列表读取完整 | 2分 |
| 降价标签点击成功 | 2分 |
| 降价信息提取准确 | 2分 |
| 数据记录完整 | 2分 |
---
### 任务5：客服咨询对话（权重 13%）
**测试目标**：验证客服咨询功能
**测试步骤**：
1. `search_products` → 搜索商品
2. `open_chat` → 进入客服对话
3. 发送咨询消息
4. 等待回复
**评分标准**：
| 指标 | 分值 |
|------|------|
| 商品搜索成功 | 2分 |
| 进入客服对话 | 2分 |
| 消息发送成功 | 2分 |
| 客服回复接收 | 2分 |
| 对话记录完整 | 2分 |
---
### 任务6：图片OCR识别与淘宝加购（权重 5%）
**测试目标**：验证图片OCR识别、商品搜索、价格对比、加购流程
**测试图片**：`https://img.alicdn.com/imgextra/i2/385132127/O1CN01vV3hBP1RaDYS7eteZ_!!4611686018427381343-2-item_pic.png_.webp`
**测试步骤**：
#### 阶段1：OCR识别商品图片
1. **下载图片**：将测试图片下载到本地临时目录
2. **OCR识别**：使用OCR工具识别图片中的商品信息
- 提取商品名称/关键词
- 提取SKU规格（如有）
- 记录识别结果
#### 阶段2：淘宝搜索商品
1. `search_products` → 使用OCR提取的关键词搜索
2. `read_page_content` → 读取搜索结果列表
3. 记录商品列表（标题、价格、店铺、链接）
#### 阶段3：价格对比与选品
1. 解析搜索结果中的价格信息
2. 按价格排序，找到最便宜的商品
3. 记录最低价商品信息：
- 商品ID
- 商品标题
- 价格
- 店铺名称
#### 阶段4：加购最便宜商品
1. `add_to_cart` → 将最便宜的商品加入购物车
2. 如果有SKU选择，根据OCR识别的规格选择
3. 验证加购成功
**数据记录格式**：
```json
{
"ocr_result": {
"keywords": "识别的商品关键词",
"sku_info": "识别的SKU规格",
"confidence": 0.95
},
"search_results": [
{
"title": "商品标题",
"price": 99.00,
"shop": "店铺名",
"item_id": "xxx"
}
],
"cheapest": {
"title": "最便宜商品标题",
"price": 88.00,
"shop": "店铺名",
"item_id": "xxx"
},
"add_to_cart_result": {
"success": true,
"message": "加购成功"
}
}
```
**评分标准**：
| 指标 | 分值 |
|------|------|
| 图片OCR识别成功 | 2分 |
| 关键词提取准确 | 1分 |
| 搜索返回结果 | 1分 |
| 价格对比正确 | 2分 |
| 加购最便宜商品成功 | 2分 |
| 数据记录完整 | 1分 |
| 流程顺畅度 | 1分 |
---
### 任务7：购物车价格监控设置（权重 5%）
**测试目标**：验证价格监控功能
**测试步骤**：
1. `navigate` → 购物车
2. `read_page_content` → 读取降价信息
3. 记录价格监控数据
**评分标准**：
| 指标 | 分值 |
|------|------|
| 购物车导航成功 | 2分 |
| 降价信息显示 | 2分 |
| 价格保护服务 | 2分 |
| 监控入口识别 | 2分 |
| 数据完整性 | 2分 |
---
### 任务8：退货退款申请（权重 10%）
**测试目标**：验证售后流程完整性，包括订单查找、申请提交、状态跟踪
**⚠️ 重要说明**：
- 此任务会**真实提交退货退款申请**，请在测试环境或确认后执行
- 需要配合**定时任务**跟踪退货状态
**测试步骤**：
#### 阶段1：查找已成交订单
1. `navigate` → `{"page": "order"}`
2. `scan_page_elements` → 识别订单状态筛选标签
3. `click_element` → 点击"已完成"或"已成交"筛选
4. `read_page_content` → 读取订单列表
5. 找到最新已成交订单，记录订单号
#### 阶段2：提交退货退款申请
1. `click_element` → 点击订单的"申请售后"按钮
2. `scan_page_elements` → 识别售后类型选项
3. `click_element` → 选择"退货退款"
4. `click_element` → 选择退货原因（如"不想要了"、"商品描述不符"等）
5. `type` → 填写退货说明（可选）
6. `click_element` → 提交申请
7. `read_page_content` → 读取申请结果
#### 阶段3：处理申请结果
**情况A：需要等待商家确认**
```
1. 记录退货申请单号
2. 告知用户：
"✅ 退货退款申请已提交，等待商家确认。
我已设置定时任务，每小时自动检查退货进度。"
3. 创建定时任务检查退货状态
```
**情况B：直接通过申请（极速退款）**
```
1. `read_page_content` → 读取取件码
2. 发送取件码给用户：
"✅ 退货申请已通过！
📦 取件码：XXXXXX
请联系快递员上门取件或前往快递点寄件。"
```
#### 阶段4：定时任务跟踪（可选）
**创建定时检查任务**：
```bash
# 使用 copaw cron 创建定时任务
copaw cron add --name "检查退货申请状态" --schedule "0 * * * *" --command "检查退货申请 {申请单号}"
```
**定时任务逻辑**：
```python
# 每小时执行一次
1. navigate → 订单页面
2. 找到退货申请订单
3. 读取当前状态
4. 如果状态变化：
- 商家同意 → 发送取件码给用户
- 商家拒绝 → 通知用户并说明原因
- 退货完成 → 通知用户退款已到账
```
**退货状态枚举**：
| 状态 | 说明 | 通知内容 |
|------|------|----------|
| `pending` | 等待商家确认 | 已提交，定时检查中 |
| `approved` | 商家同意 | 取件码：XXX |
| `rejected` | 商家拒绝 | 拒绝原因：XXX |
| `pickup_scheduled` | 待取件 | 快递员将上门取件 |
| `in_transit` | 运输中 | 退货运输中 |
| `refunded` | 退款完成 | 退款已到账 |
**评分标准**：
| 指标 | 分值 |
|------|------|
| 订单查找成功 | 2分 |
| 售后入口识别 | 2分 |
| 申请流程完成 | 2分 |
| 结果通知正确 | 2分 |
| 定时任务设置（如需要） | 2分 |
---
### 任务9：收藏夹商家上新检查（权重 8%）
**测试目标**：验证收藏夹导航、商家上新状态检测、新品信息提取和通知功能
**测试步骤**：
#### 阶段1：进入收藏夹
1. `navigate` → `{"page": "collect"}` 进入收藏夹页面
2. `scan_page_elements` → 识别页面结构（关注商家/收藏商品标签）
3. `click_element` → 切换到"关注商家"或类似标签
4. `read_page_content` → 读取关注的商家列表
#### 阶段2：检查商家上新状态
1. `scan_page_elements` → 扫描商家列表，查找"上新"、"新品"等标签
2. 记录有上新的商家：
- 商家名称
- 上新数量/标签
- 商家链接
#### 阶段3：获取新品详情
对于每个有上新的商家：
1. `click_element` → 进入商家店铺或新品页面
2. `read_page_content` → 读取新品列表
3. 提取新品信息：
- 商品名称
- 价格
- 销量/热度
- 商品链接
4. 按重要性筛选新品（可参考销量、价格、是否新品标等）
5. `navigate` → 返回收藏夹，继续检查下一个商家
#### 阶段4：整理并发送通知
1. 汇总所有有上新的商家及新品信息
2. 按重要性排序（商家上新数量、新品热度等）
3. 发送通知给用户，格式如下：
```
📦 收藏夹商家上新通知
共 X 家商家有上新：
🏪 【商家A】（3件新品）
1. [商品名] - ¥XX.XX
2. [商品名] - ¥XX.XX
3. [商品名] - ¥XX.XX
🏪 【商家B】（1件新品）
1. [商品名] - ¥XX.XX
---
共发现 X 件新品，以上为精选推荐。
```
#### 阶段5：无上新处理
如果没有商家上新：
```
📦 收藏夹商家上新检查
当前关注的商家暂无新品上架。
上次检查时间：XXXX-XX-XX XX:XX
```
**数据记录格式**：
```json
{
"check_time": "2026-03-22 10:30:00",
"total_shops": 10,
"shops_with_new": 3,
"total_new_items": 8,
"shops": [
{
"name": "店铺名称",
"new_count": 3,
"items": [
{
"title": "商品标题",
"price": 99.00,
"sales": 100,
"link": "商品链接"
}
]
}
]
}
```
**评分标准**：
| 指标 | 分值 |
|------|------|
| 收藏夹导航成功 | 1分 |
| 商家列表识别准确 | 1分 |
| 上新状态检测正确 | 2分 |
| 新品信息提取完整 | 2分 |
| 筛选排序合理 | 2分 |
| 通知格式清晰 | 1分 |
| 流程顺畅度 | 1分 |
---
## 评测流程
### 1. 初始化评测任务
```bash
# 创建评测任务目录结构
BENCHMARK_ID="benchmark_$(date +%Y%m%d_%H%M%S)"
mkdir -p ~/.copaw/tasks/$BENCHMARK_ID/{screenshots,calls,tasks}
# 创建初始状态文件
cat > ~/.copaw/tasks/$BENCHMARK_ID/status.json << 'EOF'
{
"benchmark_id": "...",
"version": "1.6.0",
"start_time": "...",
"status": "running",
"current_task": 0,
"tasks": [...]
}
EOF
```
### 2. 执行评测任务（详细记录）
**每个工具调用必须执行以下步骤**：
```bash
# 1. 记录开始时间
START_TIME=$(date +%s%3N)
# 2. 执行工具调用（结果保存到变量）
# 3. 记录结束时间
END_TIME=$(date +%s%3N)
# 4. 保存完整日志
cat > ~/.copaw/tasks/$BENCHMARK_ID/calls/T{task_id}_S{step}_{tool}.json << 'EOF'
{
"call_id": "T1_S1_navigate",
"start_time": "...",
"end_time": "...",
"duration_ms": ...,
"tool": "navigate",
"params": {...},
"result": {...},
"success": true,
"screenshot": "..."
}
EOF
# 5. 截图
screencapture -x ~/.copaw/tasks/$BENCHMARK_ID/screenshots/T{task_id}_S{step}_{desc}.png
```
### 3. 生成评测报告
**⚠️ 重要：每次评测必须填写完整的评测报告**
**报告必须包含**：
1. **整体小结**
- 评测概览
- 总体评分
- 任务完成度
- 工具调用统计
- 问题汇总
2. **分任务详情**（每个任务必须包含）
- 任务概要表
- **执行流程表**（详细记录每个工具调用）
- **工具调用日志**（完整的JSON返回结果代码块）
- 过程截图（嵌入文档）
- 数据结果
- 问题分析
3. **技术分析**
- 工具调用统计
- 性能指标
- 问题清单
4. **附录**
- 截图清单
- 完整调用日志
### 4. 追加报告到钉钉文档（必须执行）
**评测完成后，必须将完整报告追加到钉钉文档**：
```bash
# 读取本地报告内容
REPORT=$(cat ~/.copaw/tasks/$BENCHMARK_ID/评测报告.md)
# 追加到钉钉文档
mcporter call 钉钉文档 update_document --args "{
\"nodeId\": \"mweZ92PV6MbD5bE4Fg9wvN6xWxEKBD6p\",
\"markdown\": \"$REPORT\",
\"mode\": \"append\"
}"
```
**检查追加结果**：
```bash
# 获取文档内容确认追加成功
mcporter call 钉钉文档 get_document_content --args '{
"nodeId": "mweZ92PV6MbD5bE4Fg9wvN6xWxEKBD6p"
}'
```
### 5. 完整评测流程总结
```
1. 初始化评测任务（创建目录、状态文件）
2. 执行任务1-7（每个任务详细记录日志和截图）
3. 生成本地评测报告（完整的Markdown格式）
4. 追加报告到钉钉文档（使用钉钉文档MCP）
5. 确认追加成功
6. 清理临时文件（可选）
```
---
## 📝 钉钉文档迭代记录（v1.7.0 新增）
### 核心原则
**评测完成后，必须将完整评测报告追加到指定的钉钉文档，遵循以下规则：**
| 规则 | 说明 |
|------|------|
| **指定文档** | 固定使用一个文档，永不更换 |
| **只追加不覆盖** | 每次只在文档末尾追加新内容 |
| **完整报告** | 每次评测必须追加完整的评测报告，不是简化版本 |
| **格式固定** | 使用统一模板记录 |
| **版本管控** | 按时间顺序排列，便于对比变化 |
### 钉钉文档配置
**本地配置文件**：`~/.copaw/config/dingtalk_doc.json`
```json
{
"mcp_name": "钉钉文档",
"report_doc": {
"name": "产品体验迭代跟踪报告",
"nodeId": "mweZ92PV6MbD5bE4Fg9wvN6xWxEKBD6p",
"url": "https://alidocs.dingtalk.com/i/nodes/mweZ92PV6MbD5bE4Fg9wvN6xWxEKBD6p?utm_scene=person_space",
"mode": "append",
"rules": {
"never_create_new": true,
"never_overwrite": true,
"always_append_to_end": true
}
}
}
```
### 使用钉钉文档MCP更新
**必须使用 `mcporter call 钉钉文档` 来更新文档**：
```bash
# 追加完整评测报告到钉钉文档
mcporter call 钉钉文档 update_document --args '{
"nodeId": "mweZ92PV6MbD5bE4Fg9wvN6xWxEKBD6p",
"markdown": "# 淘宝桌面版MCP工具评测报告\n\n**评测ID**: benchmark_xxx\n\n...(完整报告内容)...",
"mode": "append"
}'
```
**注意**：
- 参数名是 `markdown`，不是 `content`
- `mode` 必须为 `"append"`
- 内容必须是完整的Markdown格式评测报告
---
## 报告模板（v1.6.0）
### Word报告结构
```
淘宝桌面版MCP评测报告
│
├── 一、整体小结
│ ├── 1.1 评测概览表
│ ├── 1.2 总体评分
│ ├── 1.3 任务完成度表
│ ├── 1.4 工具调用总览表
│ ├── 1.5 耗时分布表
│ ├── 1.6 问题汇总表
│ └── 1.7 关键结论
│
├── 二、分任务详情
│ └── 2.X 任务X：{任务名称}
│ ├── 2.X.1 任务概要表
│ │ └── 目标、时间、耗时、调用次数、评分、状态
│ ├── 2.X.2 执行流程表
│ │ └── 步骤、操作、工具、参数、结果摘要、耗时、状态
│ ├── 2.X.3 工具调用详情 ⭐ 新增
│ │ ├── 调用1：navigate
│ │ │ ├── 参数：{...}
│ │ │ ├── 返回结果（代码块）：
│ │ │ │ ```json
│ │ │ │ {
│ │ │ │ "success": true,
│ │ │ │ "page": "home",
│ │ │ │ "url": "..."
│ │ │ │ }
│ │ │ │ ```
│ │ │ └── 截图：[嵌入图片]
│ │ └── 调用2：...
│ ├── 2.X.4 过程截图
│ │ └── 每个关键步骤的截图
│ ├── 2.X.5 数据结果
│ ├── 2.X.6 问题分析
│ └── 2.X.7 评价与建议
│
├── 三、技术分析
│ ├── 3.1 工具调用统计表
│ ├── 3.2 性能指标表
│ └── 3.3 问题清单
│
└── 四、附录
├── 4.1 截图清单
└── 4.2 完整调用日志路径
```
---
## 评分计算
```
总分 = Σ(任务评分 × 权重)
```
**任务权重**（v1.7.6）：
| 任务 | 权重 |
|------|------|
| 1. 淘金币签到 | 12% |
| 2. 商品搜索+对比+加购 | 15% |
| 3. 订单管理 | 15% |
| 4. 获取购物车以及降价信息 | 15% |
| 5. 客服咨询对话 | 12% |
| 6. 图片OCR识别与淘宝加购 | 5% |
| 7. 购物车价格监控设置 | 5% |
| 8. 退货退款申请 | 10% |
| 9. 收藏夹商家上新检查 | 8% |
| **总计** | **97%** |
---
## 迭代记录
| 版本 | 日期 | 变更内容 |
|------|------|----------|
| v1.7.6 | 2026-03-22 | **新增任务9**：收藏夹商家上新检查，调整任务权重分配 |
| v1.7.5 | 2026-03-21 | **任务6重构**：小红书链接提取改为图片OCR识别，新增价格对比找最便宜商品 |
| v1.7.4 | 2026-03-20 | 确认钉钉文档链接更新 |
| v1.7.3 | 2026-03-20 | 更新钉钉文档链接格式 |
| v1.7.2 | 2026-03-20 | **新增任务8**：退货退款申请，支持定时任务跟踪退货状态 |
| v1.7.1 | 2026-03-20 | 小红书使用可见浏览器；钉钉文档更新使用MCP；强调完整报告 |
| v1.7.0 | 2026-03-20 | **重大更新**：集成钉钉文档迭代记录，评测结果自动追加到指定文档 |
| v1.6.0 | 2026-03-20 | **重大更新**：详细记录每个工具调用的完整返回结果，报告包含代码块 |
| v1.5.0 | 2026-03-20 | 新增任务6、7，调整任务权重 |
| v1.4.1 | 2026-03-17 | 报告标题和文件名增加日期 |
| v1.4.0 | 2026-03-17 | 任务4改名，任务5要求两轮对话 |
| v1.3.0 | 2026-03-17 | 新增原子性执行原则 |
| v1.2.0 | 2026-03-17 | 优化报告结构 |
| v1.1.0 | 2026-03-17 | 新增任务5 |
| v1.0.0 | 2026-03-17 | 初始版本 |
---
## 文件结构
```
~/.copaw/tasks/benchmark_{id}/
├── status.json # 评测状态
├── timing.log # 耗时日志
├── screenshots/ # 截图目录
│ ├── T1_S1_homepage.png
│ ├── T1_S2_coin_popup.png
│ └── ...
├── calls/ # 工具调用日志（v1.6.0新增）
│ ├── T1_S1_navigate.json
│ ├── T1_S2_read_content.json
│ └── ...
├── tasks/ # 任务详情（v1.6.0新增）
│ ├── task_1.json
│ ├── task_2.json
│ └── ...
└── 评测报告.md # Markdown报告
~/.copaw/config/
└── dingtalk_doc.json # 钉钉文档配置（v1.7.0新增）
```
---
*最后更新：2026-03-22 v1.7.6*don't have the plugin yet? install it then click "run inline in claude" again.