锁死日志，烤出考卷
一条把工业只读运行日志自动编译成可回放智能体评测基准的流水线
1问题
想象你在工厂车间捡到个生锈的铁盒，里面塞满过去半年机器吐出的只读记录。这些记录只有冷冰冰的事实切片，没有操作指令，更没有标准答案。现在的智能体评测就像让考生对着满墙碎纸条硬猜下一句台词。没人知道怎么把这些死数据变成能一步步跑的考题。硬凑的题目，模型答对了是运气，答错了不知道怪谁，更没法拿回实验室重复验证。这堵墙挡着所有想认真做工程评测的人。前人试过人工手写提示词，试过爬虫抓公开题库，要么量级拼不过工业数据的海啸，要么根本对不上现场的真实环境，最终只能眼睁睁看着好模型在虚拟玩具箱里刷高分，真下产线一碰就碎。大家熬了几轮终于明白，与其硬逼模型去猜谜，不如给日志安一套自动化组装线，先把死料煮成活剧本再说。
2翻译
顺着刚才那个铁盒子的例子，我们看看这条组装线到底怎么转。它第一步不搞玄学，先干粗活：把杂乱的历史记录和元数据统一格式，倒进一个只读工具箱。这个工具箱就是承重墙，映射了方法的核心组件——所有能调用的环境反馈全被封装成固定接口，模型拿到手就知道边界在哪。接着进入编译环节。系统盯着工具箱的能力反向拼装任务剧本，同时自动生成黄金答案和佐证材料。这里要放三组硬数字来感受差距：传统人工捏考题一天累死能出二十道，还得天天被打回重写；这套流水线一次吞吐五百三十份原始记录，精准筛出三百五十六道训练题、八十七道验证题和八十九道测试题，产能翻了十几倍且不用返工；更关键的是五十三道代码预检卡点，实际触发拦截的缺陷数是零。这就带出一个关键验证结果：两个完全独立的团队按同一套图纸从零搭建，导出的十一组工具库清单和发布的划分集严丝合缝，差异绝对为零。这篇没有反直觉副发现，流水线追求的是确定性交付而非打破常识，我直接跳过强求。
3核心概念
拆开来看，主角手里有三样东西必须拎清楚。第一样是只读工具箱。它不是随便堆砌的函数列表，而是把原始日志里能提取的所有环境反馈打包成固定接口。回到铁盒子例子，模型不能再凭空喊帮我调参，只能按规矩查当前水压或读取昨日峰值，动作空间被彻底锁死。第二样是质量门控与证据溯源。这是典型的设计选择，论文不追求题目数量庞大，宁可牺牲覆盖率也要保纯度。每个任务上线前，系统必须同时产出解题依据和得分标尺。如果模型跑偏，你能指着证据说错在哪一步，而不是扯皮题目歧义。第三样是确定性编译流水线。它把出题从艺术创作降维成机械装配。输入日志，经过清洗、匹配、过滤、格式化，输出带类型约束的多回合剧本。每一步都有版本锁，换台电脑跑结果一模一样。
4洞见
真正的智能体评测不该靠人工堆数据，而该像搭积木一样把现成日志编译成可回放的考题。
5博导审稿
孩子，这篇选题眼光很准。现在大模型评测泛滥，但工业场景的脏数据根本没法复用。你把只读日志变基准的思路是对的，避开了数据合成的幻觉泥潭。方法成熟度方面，流水线设计干净，但得提醒你注意一个隐忧：只读日志本身可能缺失关键上下文。如果原始记录没记故障前的误操作习惯，编译出的任务就会显得过于理想化，模型在这类基准上得分高，未必代表它能处理现实中的复杂人机偏差。实验诚意这块，双端复现严丝合缝，零拦截率确实漂亮，但样本量五百多稍微单薄了些，长期能不能扛住大规模数据洪峰还得看工程承压。写作功力扎实，不玩虚的，代码和全套产物全开源很加分。判决：weak accept。路子走通了，确定性值得肯定，但泛化风险和小样本局限需要后续跟进。
6启发
这意味着你可以直接把现有系统的运行日志接上这条流水线，把它换成你团队的专属压力测试场。迁移视角：把你后台的 API 调用记录抽出来，喂给同样的编译逻辑，瞬间多出几十道业务排查考题。混搭视角：把论文的质量门控逻辑嵌到你现在的自动化测试脚本里，让跑批任务自带错题本功能，不合格的直接打回重做。反转视角：别人都拼命给模型加指令让它猜意图，你干脆切断猜测通道，逼模型严格按日志边界执行。专治花架子。