GEO 效果怎么测量才可信？科学方法论与 Python 实现｜微正科技

【摘要】** AI 的输出是概率分布，挑出来的截图既不能当基线、也无法归因。可信的 GEO 效果测量需要五步：冻结的问题集、每题 5–10 轮的多平台采样、五维度结构化标注、提及率/首推率/准确率/负面率四指标、以及趋势化的基线对比报告——且全部原始记录应向客户开放。

**【管理者导读】** 这篇教你识别一件事：服务商月报里的数字是不是真的。读完你能拿到五条验收标准，直接拿去问你的服务商——也可以用它理解我们的诊断报告是怎么做出来的。

## 引言：截图为什么不算数

打开大多数 GEO 服务商的月报，你会看到十几张 AI 回答截图，每张都在说"看，我们做到了"。但只要你对大模型的工作原理稍有了解，就知道这种交付方式存在根本缺陷：

1. **AI 的输出是概率分布**。同一个问题，换种问法、换个时间、换个账号，结果都可能不同。挑出来的截图只代表某一次采样。

2. **截图没有基线**。优化前品牌的提及率是多少？提升了多少？没有基线就没有"提升"。

3. **截图无法归因**。品牌被提到，是因为服务商的工作，还是行业自然的声量变化？

LLM 时代的营销效果测量，必须从"截图艺术"升级为"统计方法"。本文给出一套我们在实际项目中使用的测量框架，并附上可直接改造的 Python 实现。

## 一、测量框架总览

完整的 GEO 效果测量包含五个步骤：

```

① 建问题集（冻结版本，双方确认）

② 多轮采样（每题多轮、多平台、多时段）

③ 结构化标注（提及/位置/准确度/情感/信源）

④ 指标计算（提及率、首推率、准确率、负面率）

⑤ 基线对比与趋势报告

```

## 二、第一步：问题集设计

问题集是测量的"尺子"，尺子不合格，一切数据无效。设计原则：

- **覆盖决策旅程**：品牌词（"微正科技是做什么的"）、品类词（"云南 GEO 服务商有哪些"）、场景词（"制造企业怎么做 AI 搜索优化"）、对比词（"GEO 和 SEO 哪个效果好"），四类配比建议 2:4:3:1；

- **规模 50–100 题**：太小则统计噪声大，太大则成本高；

- **版本冻结**：问题集经客户确认后冻结，所有周期的测量必须使用同一版本，否则数据不可比；

- **记录元数据**：每题标注类型、决策阶段、预期是否应出现品牌。

## 三、第二步：采样协议

概率性系统的测量，核心是采样协议：

- **每题至少 5–10 轮**（轮次越多，提及率的置信区间越窄）；

- **分散在不同时段**（覆盖工作日/周末、不同时段，避免平台负载策略影响）；

- **每轮使用全新会话**（避免上下文污染）；

- **固定平台清单**（如豆包、DeepSeek、元宝、文心、千问）；

- **注意平台开关状态**：实测发现 DeepSeek 关闭"智能搜索"时引用行为完全不同，采样时必须记录联网开关状态。

## 四、第三步：结构化标注

拿到原始回答后，需要标注五个维度。简单场景可用关键词规则+人工复核，规模化场景可借助另一个 LLM 做初标：

**准确度标注必须对照"事实库"做**——品牌名、成立时间、业务范围、资质，每一项错误都要单独记录。AI 把品牌"说错了"比"没提到"更危险。

## 五、第四步：指标体系

四个核心指标的业务含义（基准为经验值，仅作起步参考，实际应以你自己的基线测量为准）：

| 指标       | 含义                            | 健康基准（经验值）        |

| ---------- | ------------------------------- | ------------------------- |

| 提及率     | 品牌在相关回答中出现的比例      | 核心品类词 ≥ 30% 起步    |

| 首推率     | 品牌出现在答案前段的比例        | 反映推荐强度              |

| 描述准确率 | AI 对品牌关键事实描述正确的比例 | 应 ≥ 95%，错误需优先纠正 |

| 负面率     | 含负面描述的回答比例            | 应趋近 0，出现即预警      |

## 六、第五步：基线与报告

- **项目启动前完成首轮测量作为基线**，后续每月同口径复测；

- **报告呈现趋势，不呈现单点**：折线图展示提及率变化，而非挑几张好看的截图；

- **归因说明**：每次显著变化必须附分析（是新增了信源？平台规则调整？竞品动作？）；

- **全部原始记录可导出交付客户**——这是"测量透明"的底线。客户应该能用任何一轮的 session 记录复核你的数据。

## 结语：测量方法本身就是服务标准

我们把这套方法称为"可复核交付"：稿子能审、执行能追、结果能复现。在 GEO 行业泥沙俱下的当下，**一家服务商敢不敢把原始测量数据完整交给客户，是检验其专业度最直接的试金石**。

---

**关于我们**：云南微正科技有限公司 GEO 技术团队。微正科技的 AI 可见度诊断服务基于固定问题集与多轮采样，全部测量原始记录向客户开放。