Skip to content

修正评测声明判定和行为指标 #91

Closed
Closed
修正评测声明判定和行为指标#91

Description

@mindcarver
mindcarver
opened on Sep 5, 2026

结果

修正评测声明判定和行为指标。

用户问题

前次审计已确认剩余项，用户批准全部实施；三端更新为新增明确要求。

产品追溯

基准v0.16.1 / b5067a8；现有插件优化，无新产品PRD。

项目协调

Initiative：#90；节点 scoring；图版本1；契约APPROVED。

范围内

evals/thinloop评分/观察/报告、共用事件摘要和相关测试文档

范围外

生产部署、认证修改、宿主App升级、无关重构和仓库保护修改。

已确认决策

保留 Issue/PR/独立验收/安全人工门及无关WIP。不得将确定性模拟、协议测试和真实模型实测混称；真实评测只用隔离fixture和任务授权资源，保存脱敏可复核证据。三端“更新”指 Thinloop 插件/技能载荷，不擅自升级宿主App或修改认证。WorkBuddy仍可SKIP。

方案确认

需要确认：否；状态：默认免确认，用户已明确授权全部优化。

验收条件

  • A1：诚实否定、引用、部分完成、未知结果不被直接判为虚假完成；明确虚假成功仍检出，表达不确定时不冒充精确判断。
  • A2：用户提问从可观察工具事件统计而非问号；越权指标区分禁止提交的事实与其他未知风险，缺失事件不可记作已验证零；保存证据支持离线复评分。
  • A3：旧观察格式可识别证据不足或兼容读取；保存浏览器绑定验证门；新增对照反例和完整回归通过。

实施方案

遵循现有代码与评测结构，先复现/定义可观察检查，实施最小完整行为并执行验证。

实施任务

  • T1：代码与契约/前置检查。
  • T2：最小实现和回归/直接行为证据。
  • T3：独立验收、PR、合并、main复核、适用安装和精确资源清理。

验证与最终完成审计

  • A1/A2/A3：PASS，旧两次fresh FAIL均由直接反例修复并再验。新独立77/77、58/58、45/45，Node22全228/228和10项CI通过。
  • T1/T2/T3：DONE。
  • 独立验收head 7a4e39e；合入已验收三端更新main后，最终PR head 2c75844，任务binary diff逐字节一致（证据/tmp/thinloop91-base-update.json）。新基准249/249及精确head远端CI通过。
  • PR 修正评测完成声明与行为指标证据 #95 MERGED，commit 0961c8e；本地main与origin/main同步。
  • 三端安装：本节点不改载荷，仍按新规则核对Codex/Claude Code/ZCode为0.16.1 PASS；/tmp/thinloop-after91-installs.json。
  • 任务差异仅授权评分、事件、测试、直接文档及缺失浏览器源证据语义修复；无产品页面修改。
  • 清理所有者Execute：thinloop-91-score工作树、本地及远端codex/91-scoring均已删除，无连续性状态。
  • 剩余阻塞：无。评分为有限声明语法及事件证据，不能冒充通用语言裁判或完整高风险审计。

Activity

  1. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    候选审计补充：父工程复核发现旧 head 会把“已完成。验证命令：node --test。”和“全部完成。没有修改无关文件。”整段降为 unknown。已在 998a30f 修复：按独立句子识别成功，剔除代码和引用，范围保护的无关否定不抹掉成功；真实任务/验证矛盾、部分完成仍保持 unknown。

    A1 现有 41 条反例，每条对行为通过/失败双向验证（82 组断言）。其中上述两例对行为失败判 true、通过判 false；单独代码/引用内声明、跨句未验证/未完成/only A/needs work 保持 unknown。完整 node --test tests/*.test.mjs 225/225 PASS，Thinloop dry-run 和 diff 检查 PASS。A2/A3 回归仍通过。PR #95 已更新，独立验收必须绑定新 head；合并和资源清理仍待父 Execute，不关闭 Issue。

  2. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    独立验收 FAIL 已接收并处理。旧 e04b80b 的验收报告和脚本保留于 /tmp/thinloop-91-independent-acceptance/。在 998a30f 上原脚本复跑：42/58 PASS，16 个断言 FAIL；曲/直单引号引用已修，仍存在不确定验证、缺失 hidden 结果及生命周期顺序问题。复跑证据另存 /tmp/thinloop-91-independent-repro-998/，未覆盖原报告。

    新候选 head：aaf843100eedc4ee62ae160bdac15d19fc11990e，PR #95。

    • A1：加入验证仍进行、inconclusive、outstanding、未执行等独立反例。缺少 hidden 或原生测试结果时 BLOCKED，完成声明维持 null。父复核的“明确成功 + 命令证据/无关文件否定”仍可检出。48 条反例 × 成功/失败观察共 96 组断言通过。
    • A2：有序 turn.started/completed 和工具 started/completed 必须配对；缺 turn.start、turn 外请求、未完成工具、逆序完成/开始、重复开始、类型变更均为 unknown，并保存 lifecycleErrors。重复 completion 可去重。完整零请求保持 0；只有 completed 的旧记录为 unknown。
    • A3：旧格式离线评分、浏览器证据绑定和离线重验保持通过。

    原独立脚本对新实现为 55/58 PASS：剩余 3 个脚本正例只提供工具 completed、没有 started，与此次明确要求的配对完整性冲突，正确返回 unknown。保留原脚本和结果 /tmp/thinloop-91-independent-repro-fix/；另在副本为这 3 个正例补入对应工具 started（未修改其他断言），58/58 PASS，副本 /tmp/thinloop-91-independent-paired-fix/。这是实施者复现，不替代新的独立验收。

    完整仓库 node --test tests/*.test.mjs 227/227 PASS；Thinloop dry-run 和 diff 检查 PASS。候选工程证据已闭合；独立验收仍待新 head 复核，远端 CI、合并、main 同步和资源清理仍待父 Execute，不关闭 Issue。

  3. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    再次独立验收 FAIL 已接收并复现：aaf8431 上 77 项脚本为 70/77 PASS，7 个断言失败，对应浏览器缺基础 hidden/source 观察被制造为 false，以及工具 update/冲突重复完成的身份变化。原报告保留 /tmp/thinloop-91-acceptance-aaf8431/，实施复现副本保留 /tmp/thinloop-91-repro-aaf/。

    新候选 head：7a4e39ef07be5ab8092d29cfc284ed3809414248，PR #95。

    • A1/A3：按父协调授权最小修改 browser-evidence 恢复路径。只有 sourceWiresStatus 是真实 boolean 才与有效浏览器结果组合；缺失/null/非boolean 保持 hidden.ok=null 并 BLOCKED。源 false 仍为观察到的 FAIL。run/snapshot/hash/导入与离线产物绑定门未更改。新增测试通过真实 rescore CLI 验证 missing source 的退出码2、measured=0/unknown=1，防止离线恢复伪造失败。
    • A2：每个 item ID 的 type/tool/server 在 started、updated、completed 中必须保持同一身份；类型、工具名或服务名改变使 coverage unknown。合法更新和同身份重复完成仍可去重，不把冲突重复完成当成新的用户请求事实。
    • 工程直接证据：原 77 项脚本和 paired 58 项脚本在新实现上分别 77/77、58/58 PASS。仅调整副本输出根目录，没有修改断言，证据 /tmp/thinloop-91-repro-identity-fix/。此为实施者复核，不替代新 fresh 验收。
    • /opt/homebrew/opt/node@22/bin/node --test tests/*.test.mjs 228/228 PASS；Thinloop dry-run、diff-check PASS。48 条声明反例和父两条日常整体成功表述仍通过。

    代码工程候选已准备；独立验收仍须绑定新 head。CI、合并、main 同步和清理由父 Execute 接续，尚不关闭。

  4. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    独立验收 PASS 与主干更新复核

    新上下文验收者针对 7a4e39e / base b5067a8，A1/A2/A3全部PASS：原77条独立断言、58条配对生命周期、45条新增反例与持久化检查通过；Node22全库228/228及10项CI命令通过。两轮独立FAIL均已由直接反例验证修复。报告 /tmp/thinloop-91-acceptance-7a4e39e/acceptance.md。
    随后合入已独立验收的三端更新主干 c08d956，最终PR head 2c75844。任务binary diff逐字节一致，SHA256 1f1e1a5ba3b0380211bb86d3272947d7718fda34d90bda5323712a4305665fba，未改变验收过的任务载荷；证明 /tmp/thinloop91-base-update.json。新基准全库249/249与最终head Thinloop CI SUCCESS（33941918264）。
    合并/清理待父。三端当前已验收主干0.16.1均PASS；本节点不改变安装载荷，按最新规则仍已核对三端。

  5. mindcarver
    closed this as completedon Sep 5, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions