#论文与问题来源:GABench
以下四类图分析实验采用我们在 GABench 中构建的测试问题。该基准包含 10,400 项任务,考察智能体在图环境中规划步骤、调用工具并依据结果作答的能力。
#测试问题概述
| 问题类型 | 主要内容 |
|---|---|
| 图检索 | 查找节点属性、边关系及整图统计。 |
| 图论 | 计算中心性、最短路径及全局结构性质。 |
| 图机器学习 | 完成节点分类、链接预测和图分类任务。 |
| 图开放式问答 | 结合图证据形成洞察、预测与解释。 |
- NAG:数值属性图,节点带有数值属性。
- TAG:文本属性图,节点带有文本内容。
- TPG:文本配对图,整张图与文本描述配对。
#实验设置与结果说明
图分析智能体的四类实验均使用 GLM-5-turbo 作为基座模型;行名表示 agent harness。原始结果中只写模型名的行对应 OpenClaw。这四张表仅保留 SR(任务成功率),统一换算为百分数并保留两位小数,数值越高越好。
SR 表中每列单独比较:最高分加粗,次高分加下划线;并列成绩使用相同标记。图检索和图论各比较 OpenClaw、iGraph;图机器学习和图开放式问答各比较 Hermes、Claude Code、OpenClaw、iGraph。
#图检索问题
按节点、边和整图三个层级展示检索任务的 SR。
| Agent harness | NAG数值属性图 | TAG文本属性图 | TPG文本配对图 | ||||||
|---|---|---|---|---|---|---|---|---|---|
| Node | Edge | Graph | Node | Edge | Graph | Node | Edge | Graph | |
| OpenClaw | 8.33 | 6.25 | 6.67 | 72.91 | 18.18 | 27.27 | 60.00 | 11.11 | 42.86 |
| iGraph | 31.00 | 94.74 | 18.67 | 100.00 | 100.00 | 82.50 | 100.00 | 100.00 | 100.00 |
#图论问题
按节点、边和整图三个层级展示图论任务的 SR。
| Agent harness | NAG数值属性图 | TAG文本属性图 | TPG文本配对图 | ||||||
|---|---|---|---|---|---|---|---|---|---|
| Node | Edge | Graph | Node | Edge | Graph | Node | Edge | Graph | |
| OpenClaw | 24.00 | 26.81 | 7.40 | 61.02 | 9.52 | 21.66 | 28.00 | 13.33 | 10.49 |
| iGraph | 37.53 | 38.14 | 45.00 | 94.44 | 88.24 | 88.89 | 100.00 | 100.00 | 100.00 |
#图机器学习
NC 表示节点分类,LP 表示链接预测,GC 表示图分类。这里比较的是智能体完成相应任务的成功率(SR)。
| Agent harness | NAG数值属性图 | TAG文本属性图 | TPG文本配对图 | ||
|---|---|---|---|---|---|
| NC | LP | NC | LP | GC | |
| Hermes | 61.54 | 90.90 | 54.35 | 87.18 | 7.14 |
| Claude Code | 95.23 | 78.57 | 86.79 | 89.53 | 88.89 |
| OpenClaw | 26.66 | 65.18 | 19.36 | 36.77 | 26.74 |
| iGraph | 90.00 | 100.00 | 95.00 | 100.00 | 85.00 |
#图开放式问答
Insight 表示洞察分析类问题,Prediction 表示预测分析类问题;两类任务均以 SR 比较。
| Agent harness | NAG数值属性图 | TAG文本属性图 | TPG文本配对图 | |||
|---|---|---|---|---|---|---|
| Insight | Prediction | Insight | Prediction | Insight | Prediction | |
| Hermes | 0.00 | 8.22 | 1.28 | 15.12 | 16.28 | 8.11 |
| Claude Code | 7.63 | 3.70 | 18.59 | 20.00 | 29.63 | 20.69 |
| OpenClaw | 7.65 | 3.22 | 13.56 | 10.47 | 14.29 | 12.50 |
| iGraph | 25.00 | 8.60 | 55.00 | 42.50 | 35.00 | 21.00 |
#构图智能体实验
以主键、外键(PK/FK)规则构图为基线,比较构图智能体优化图模式后,查询成本的下降幅度。优化查询集用于搜索和评估候选图模式,留出查询集用于检验这些改进在另一组查询上的表现。
| 数据集 | 优化查询集 | 留出查询集 |
|---|---|---|
| Amazon | 27.33% | 53.20% |
| AVS | 14.80% | 20.71% |
| MAG | 11.79% | 19.91% |
| StackExchange | 8.40% | 6.74% |
对每个数据集,从提供的两组实验中选取优化成本和留出成本均更低的一组:Amazon、AVS 采用第一组,MAG、StackExchange 采用第二组。同一行的两项下降率均来自同一组实验,保留原表报告值;这里展示的是各数据集的最优结果汇总。
这里的百分数表示相对 PK/FK 规则构图的成本下降幅度,数值越大,改善越明显。各行对应不同数据集,不作跨数据集的名次比较。