Sizhong Qin、Yi Gu 等人的一篇论文《Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows》,提出了一种以工件为中心(artifact-centered)的LLM智能体工作平台 StructureClaw,并配套发布了包含150个受控场景的可执行benchmark。在十个智能体-模型配置的对比实验中,使用通用技能基线的平均成功率仅为56.8%,而采用完整自动工作流的平均成功率达到88.6%。
工程工作流评估的痛点
解决一个结构工程请求需要的不是一个单一答案,而是一系列相互依赖的工件链:需求解读、可计算模型、验证记录、求解器输出、规范检查记录和最终报告。现有的LLM评估大多围绕问答或脚本生成展开,很少验证完整的证据链,因此可能奖励那些输出流畅但底层工作流不完整、内部不一致或不可执行的智能体。
StructureClaw 的核心观点是:评估LLM智能体的工程能力,不能只看最终回答的质量,而必须追踪从需求输入到最终报告之间的每一个中间工件是否可追溯、一致且可执行。
StructureClaw 架构与工作流程
StructureClaw 是一个以工件为中心的工作平台,LLM智能体通过受控的工程技能、类型化工具、共享工件状态和本地分析后端来执行任务。其标准工作流为:描述需求、生成模型草稿、验证、运行分析、规范检查、生成报告。
平台支持三种分析引擎:OpenSees(开源静态/动态/非线性分析)、PKPM SATWE(商业结构静力检查)和 YJK 8.0(建筑结构设计软件)。技术栈采用 Next.js 前端、Fastify API 后端、LangGraph 智能体运行时,以及 Python 分析后端。
StructureClaw-Bench 评估体系
StructureClaw-Bench 是一个可执行的benchmark,包含150个受控场景,覆盖三个维度:标准工作流执行、交互鲁棒性和多模态结构模型重建。一个场景的成功需要所有工件级和执行级断言在单次运行中通过,而非仅检查最终输出是否正确。
实验结果显示,十个智能体-模型配置在相同50个标准案例上的平均成功率从通用技能基线的56.8%提升到完整自动工作流的88.6%。交互评估和多模态重建评估暴露了两个突出的剩余挑战:安全处理无效数值输入和保持夹具一致的结构模型重建。
行业意义与推广前景
StructureClaw 提出的工件中心评估方法具有跨领域推广潜力。结构工程只是LLM智能体在专业领域的第一个应用场景,该方法论同样适用于电气设计、机械工程和土木建筑等其他需要完整证据链的专业工作流。
开源代码和benchmark已发布在 GitHub structureclaw/structureclaw,并提供 npm 包 @structureclaw/structureclaw,支持本地安装和即开即用。