# 实验结果

介绍 GABench 论文与测试问题，展示图数据智能体在四类任务中的成功率，以及构图智能体相对 PK/FK 规则构图的查询成本改善。

## 论文与问题来源：GABench

以下四类图分析实验采用我们在 GABench 中构建的测试问题。该基准包含 10,400 项任务，考察智能体在图环境中规划步骤、调用工具并依据结果作答的能力。

- [GABench：面向图分析任务的大语言模型智能体综合评测基准 · arXiv:2608.01684](https://arxiv.org/abs/2608.01684)

## 测试问题概述

| 问题类型 | 主要内容 |
| --- | --- |
| 图检索 | 查找节点属性、边关系及整图统计。 |
| 图论 | 计算中心性、最短路径及全局结构性质。 |
| 图机器学习 | 完成节点分类、链接预测和图分类任务。 |
| 图开放式问答 | 结合图证据形成洞察、预测与解释。 |

- NAG：数值属性图，节点带有数值属性。
- TAG：文本属性图，节点带有文本内容。
- TPG：文本配对图，整张图与文本描述配对。

- [任务定义见论文第 3.3 节；图类型见第 2.2 节](https://arxiv.org/html/2608.01684v1#S3.SS3)

## 实验设置与结果说明

图分析智能体的四类实验均使用 GLM-5-turbo 作为基座模型；行名表示 agent harness。原始结果中只写模型名的行对应 OpenClaw。这四张表仅保留 SR（任务成功率），统一换算为百分数并保留两位小数，数值越高越好。

SR 表中每列单独比较：最高分加粗，次高分加下划线；并列成绩使用相同标记。图检索和图论各比较 OpenClaw、iGraph；图机器学习和图开放式问答各比较 Hermes、Claude Code、OpenClaw、iGraph。

- [查看构图实验：与 PK/FK 规则构图对比](/zh/experiments/#graph-construction)

## 图检索问题

按节点、边和整图三个层级展示检索任务的 SR。

**图检索问题 · GLM-5-turbo · SR (%) ↑**

| Agent harness | NAG · Node | NAG · Edge | NAG · Graph | TAG · Node | TAG · Edge | TAG · Graph | TPG · Node | TPG · Edge | TPG · Graph |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| OpenClaw | <u title="次高分">8.33</u> | <u title="次高分">6.25</u> | <u title="次高分">6.67</u> | <u title="次高分">72.91</u> | <u title="次高分">18.18</u> | <u title="次高分">27.27</u> | <u title="次高分">60.00</u> | <u title="次高分">11.11</u> | <u title="次高分">42.86</u> |
| iGraph | <strong title="最高分">31.00</strong> | <strong title="最高分">94.74</strong> | <strong title="最高分">18.67</strong> | <strong title="最高分">100.00</strong> | <strong title="最高分">100.00</strong> | <strong title="最高分">82.50</strong> | <strong title="最高分">100.00</strong> | <strong title="最高分">100.00</strong> | <strong title="最高分">100.00</strong> |

## 图论问题

按节点、边和整图三个层级展示图论任务的 SR。

**图论问题 · GLM-5-turbo · SR (%) ↑**

| Agent harness | NAG · Node | NAG · Edge | NAG · Graph | TAG · Node | TAG · Edge | TAG · Graph | TPG · Node | TPG · Edge | TPG · Graph |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| OpenClaw | <u title="次高分">24.00</u> | <u title="次高分">26.81</u> | <u title="次高分">7.40</u> | <u title="次高分">61.02</u> | <u title="次高分">9.52</u> | <u title="次高分">21.66</u> | <u title="次高分">28.00</u> | <u title="次高分">13.33</u> | <u title="次高分">10.49</u> |
| iGraph | <strong title="最高分">37.53</strong> | <strong title="最高分">38.14</strong> | <strong title="最高分">45.00</strong> | <strong title="最高分">94.44</strong> | <strong title="最高分">88.24</strong> | <strong title="最高分">88.89</strong> | <strong title="最高分">100.00</strong> | <strong title="最高分">100.00</strong> | <strong title="最高分">100.00</strong> |

## 图机器学习

NC 表示节点分类，LP 表示链接预测，GC 表示图分类。这里比较的是智能体完成相应任务的成功率（SR）。

**图机器学习 · GLM-5-turbo · SR (%) ↑**

| Agent harness | NAG · NC | NAG · LP | TAG · NC | TAG · LP | TPG · GC |
| --- | --- | --- | --- | --- | --- |
| Hermes | 61.54 | <u title="次高分">90.90</u> | 54.35 | 87.18 | 7.14 |
| Claude Code | <strong title="最高分">95.23</strong> | 78.57 | <u title="次高分">86.79</u> | <u title="次高分">89.53</u> | <strong title="最高分">88.89</strong> |
| OpenClaw | 26.66 | 65.18 | 19.36 | 36.77 | 26.74 |
| iGraph | <u title="次高分">90.00</u> | <strong title="最高分">100.00</strong> | <strong title="最高分">95.00</strong> | <strong title="最高分">100.00</strong> | <u title="次高分">85.00</u> |

## 图开放式问答

Insight 表示洞察分析类问题，Prediction 表示预测分析类问题；两类任务均以 SR 比较。

**图开放式问答 · GLM-5-turbo · SR (%) ↑**

| Agent harness | NAG · Insight | NAG · Prediction | TAG · Insight | TAG · Prediction | TPG · Insight | TPG · Prediction |
| --- | --- | --- | --- | --- | --- | --- |
| Hermes | 0.00 | <u title="次高分">8.22</u> | 1.28 | 15.12 | 16.28 | 8.11 |
| Claude Code | 7.63 | 3.70 | <u title="次高分">18.59</u> | <u title="次高分">20.00</u> | <u title="次高分">29.63</u> | <u title="次高分">20.69</u> |
| OpenClaw | <u title="次高分">7.65</u> | 3.22 | 13.56 | 10.47 | 14.29 | 12.50 |
| iGraph | <strong title="最高分">25.00</strong> | <strong title="最高分">8.60</strong> | <strong title="最高分">55.00</strong> | <strong title="最高分">42.50</strong> | <strong title="最高分">35.00</strong> | <strong title="最高分">21.00</strong> |

## 构图智能体实验

以主键、外键（PK/FK）规则构图为基线，比较构图智能体优化图模式后，查询成本的下降幅度。优化查询集用于搜索和评估候选图模式，留出查询集用于检验这些改进在另一组查询上的表现。

**构图智能体与 PK/FK 规则构图对比 · 对比基线: PK/FK**

| 数据集 | 优化查询集成本下降 | 留出查询集成本下降 |
| --- | --- | --- |
| Amazon | 27.33% | 53.20% |
| AVS | 14.80% | 20.71% |
| MAG | 11.79% | 19.91% |
| StackExchange | 8.40% | 6.74% |

对每个数据集，从提供的两组实验中选取优化成本和留出成本均更低的一组：Amazon、AVS 采用第一组，MAG、StackExchange 采用第二组。同一行的两项下降率均来自同一组实验，保留原表报告值；这里展示的是各数据集的最优结果汇总。

这里的百分数表示相对 PK/FK 规则构图的成本下降幅度，数值越大，改善越明显。各行对应不同数据集，不作跨数据集的名次比较。

- [了解构图智能体的优化与验收流程](/zh/construction/)