开始使用

实验结果

介绍 GABench 论文与测试问题,展示图数据智能体在四类任务中的成功率,以及构图智能体相对 PK/FK 规则构图的查询成本改善。

#论文与问题来源:GABench

以下四类图分析实验采用我们在 GABench 中构建的测试问题。该基准包含 10,400 项任务,考察智能体在图环境中规划步骤、调用工具并依据结果作答的能力。

#测试问题概述

问题类型主要内容
图检索查找节点属性、边关系及整图统计。
图论计算中心性、最短路径及全局结构性质。
图机器学习完成节点分类、链接预测和图分类任务。
图开放式问答结合图证据形成洞察、预测与解释。
  • NAG:数值属性图,节点带有数值属性。
  • TAG:文本属性图,节点带有文本内容。
  • TPG:文本配对图,整张图与文本描述配对。

#实验设置与结果说明

图分析智能体的四类实验均使用 GLM-5-turbo 作为基座模型;行名表示 agent harness。原始结果中只写模型名的行对应 OpenClaw。这四张表仅保留 SR(任务成功率),统一换算为百分数并保留两位小数,数值越高越好。

SR 表中每列单独比较:最高分加粗,次高分加下划线;并列成绩使用相同标记。图检索和图论各比较 OpenClaw、iGraph;图机器学习和图开放式问答各比较 Hermes、Claude Code、OpenClaw、iGraph。

#图检索问题

按节点、边和整图三个层级展示检索任务的 SR。

基座模型GLM-5-turbo
SR (%)
选择图类型 · 图检索问题
图检索问题 · SR (%) ↑
Agent harnessNAG数值属性图TAG文本属性图TPG文本配对图
NodeEdgeGraphNodeEdgeGraphNodeEdgeGraph
OpenClaw8.336.256.6772.9118.1827.2760.0011.1142.86
iGraph31.0094.7418.67100.00100.0082.50100.00100.00100.00
最高分次高分数值越高越好

#图论问题

按节点、边和整图三个层级展示图论任务的 SR。

基座模型GLM-5-turbo
SR (%)
选择图类型 · 图论问题
图论问题 · SR (%) ↑
Agent harnessNAG数值属性图TAG文本属性图TPG文本配对图
NodeEdgeGraphNodeEdgeGraphNodeEdgeGraph
OpenClaw24.0026.817.4061.029.5221.6628.0013.3310.49
iGraph37.5338.1445.0094.4488.2488.89100.00100.00100.00
最高分次高分数值越高越好

#图机器学习

NC 表示节点分类,LP 表示链接预测,GC 表示图分类。这里比较的是智能体完成相应任务的成功率(SR)。

基座模型GLM-5-turbo
SR (%)
选择图类型 · 图机器学习
图机器学习 · SR (%) ↑
Agent harnessNAG数值属性图TAG文本属性图TPG文本配对图
NCLPNCLPGC
Hermes61.5490.9054.3587.187.14
Claude Code95.2378.5786.7989.5388.89
OpenClaw26.6665.1819.3636.7726.74
iGraph90.00100.0095.00100.0085.00
最高分次高分数值越高越好

#图开放式问答

Insight 表示洞察分析类问题,Prediction 表示预测分析类问题;两类任务均以 SR 比较。

基座模型GLM-5-turbo
SR (%)
选择图类型 · 图开放式问答
图开放式问答 · SR (%) ↑
Agent harnessNAG数值属性图TAG文本属性图TPG文本配对图
InsightPredictionInsightPredictionInsightPrediction
Hermes0.008.221.2815.1216.288.11
Claude Code7.633.7018.5920.0029.6320.69
OpenClaw7.653.2213.5610.4714.2912.50
iGraph25.008.6055.0042.5035.0021.00
最高分次高分数值越高越好

#构图智能体实验

以主键、外键(PK/FK)规则构图为基线,比较构图智能体优化图模式后,查询成本的下降幅度。优化查询集用于搜索和评估候选图模式,留出查询集用于检验这些改进在另一组查询上的表现。

对比基线PK/FK
成本下降 (%) ↑
构图智能体与 PK/FK 规则构图对比
数据集优化查询集留出查询集
Amazon27.33%53.20%
AVS14.80%20.71%
MAG11.79%19.91%
StackExchange8.40%6.74%
按数据集选取最优结果下降幅度越大越好

对每个数据集,从提供的两组实验中选取优化成本和留出成本均更低的一组:Amazon、AVS 采用第一组,MAG、StackExchange 采用第二组。同一行的两项下降率均来自同一组实验,保留原表报告值;这里展示的是各数据集的最优结果汇总。

这里的百分数表示相对 PK/FK 规则构图的成本下降幅度,数值越大,改善越明显。各行对应不同数据集,不作跨数据集的名次比较。

iGraph技术文档