Skip to content

精简QuickDev与Issue模板并完成真实成对验证 #94

Closed
Closed
精简QuickDev与Issue模板并完成真实成对验证#94

Description

@mindcarver
mindcarver
opened on Sep 5, 2026

结果

精简QuickDev与Issue模板并完成真实成对验证。

用户问题

前次审计已确认剩余项，用户批准全部实施；三端更新为新增明确要求。

产品追溯

基准v0.16.1 / b5067a8；现有插件优化，无新产品PRD。

项目协调

Initiative：#90；节点 compact；图版本1；契约APPROVED。

范围内

skills/scd-quickdev/、相关契约测试、evals/compact/、版本清单及发布文档

范围外

生产部署、认证修改、宿主App升级、无关重构和仓库保护修改。

已确认决策

保留 Issue/PR/独立验收/安全人工门及无关WIP。不得将确定性模拟、协议测试和真实模型实测混称；真实评测只用隔离fixture和任务授权资源，保存脱敏可复核证据。三端“更新”指 Thinloop 插件/技能载荷，不擅自升级宿主App或修改认证。WorkBuddy仍可SKIP。

方案确认

需要确认：否；状态：默认免确认，用户已明确授权全部优化。

验收条件

  • A1：QuickDev主入口减少重复细则并按明确触发条件加载参考；清晰低风险任务使用紧凑Issue结构，复杂/页面/迁移按需展开。
  • A2：保留Issue边界、独立验收、页面真实浏览器、三本账、高风险确认、main验证及清理；模板变化通过结构与行为检查。
  • A3：固定旧版0.16.1与候选载荷，在相同模型/任务/环境完成至少三类代表任务的重复成对实测（包含简单修复、恢复、完整交付/保护场景），记录样本、载荷大小、真实用量和行为差异；发现回归则修复/回退相应精简。
  • A4：合并后的组装版本通过所有工程门和完整交付回归，版本统一0.17.0并更新ZCode/Claude Code/Codex；完整证据在Issue关闭前具备。

实施方案

遵循现有代码与评测结构，先复现/定义可观察检查，实施最小完整行为并执行验证。

实施任务

  • T1：DONE；读取实时契约、冻结实验方案与旧/当前载荷，保留原关键语义并建立条件加载检查。
  • T2：DONE；分阶段精简、五节低风险Issue模板、263项测试、冻结后12次成对实测、逐文件证据封存及0.17.0组装。
  • T3：工程检查和PR #98完成；最终独立验收、合并/main复核、最终三端更新和父Execute清理待完成。

验证与最终完成审计

  • A1/A2：PASS，主入口18586→6066 bytes、总载荷40759→32825 bytes，分阶段参考及五节紧凑Issue保留所有必要门；早期与最终新上下文验收通过。
  • A3：PASS。三类任务两次重复、两臂各6次；12/12真实subject和离线重放通过、12/12完整入口读取；168个sealed文件hash通过，秘密扫描0项。输入954203→679504，输出6092→6365，缓存输入810624→586112；已知工具项51→57。未知字段保留null；不声明普遍提速/成本/统计显著改善。
  • A4：PASS。263/263最终主仓测试（原始.DS_Store保留），全部版本/路由/评测定义/dry/交付protocol/图表/strict插件门通过；main CI run33945506938 SUCCESS。
  • 三端：已实际执行native刷新/链接更新并最终复核Codex、Claude Code、ZCode全部Thinloop0.17.0 PASS，完整载荷及各自支持的Hook接线匹配。/tmp/thinloop-0170-final-installs.json；实际安装Claude handler和真实Cordis插件事件亦通过。现有会话需新建或重载；不冒充三端完整模型会话验收。
  • T1/T2/T3：DONE。
  • PR#98已独立PASS并合并0f314e4；合并后主工作区发现测试把.DS_Store当Skill，PR#99只修catalog筛选4+/1-，独立复现红→263绿并保留元数据，已合并最终61da362815d610f6a22ea45b4c681cc5ff04ff81。未改变冻结Skill或实验数据，无需重跑模型。
  • 最终main与origin/main同步；Skill目录与193966b冻结版本逐字节相同。
  • Execute清理：thinloop-94-compact工作树、codex/94-compact及codex/94-macos-tests本地/远端分支均不存在；无任务连续性文件。主仓原三项未跟踪浏览器证据保留。实验归档在仓库外保留，不是未清理的开发工作树。
  • 证据：/Users/carver/workspace/mindcarver/test/thinloop-compact-eval/20260905-issue94/；/tmp/thinloop94-final-acceptance.TsoL7n/review.md；/tmp/thinloop94-fix-acceptance-maocyowi/review.md；/tmp/thinloop-0170-main-final-tests.log。
  • 剩余交付阻塞：无。未创建发布Tag。

Activity

  1. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    已冻结的对照实验方案

    比较基准 v0.16.1 提交 b5067a8 的 QuickDev 载荷与本 Issue 候选；使用相同模型/推理设置/隔离方式、同一 fixture 和 prompt，只改变规范技能载荷。至少三个代表任务：清晰局部缺陷、CSV 中断恢复、保护无关脏改动。每任务两次重复、每次包含baseline/candidate，交错顺序，共12个真实subject；固定公开主机与CLI版本，隐式路由与显式调用不能混称。
    主指标：直接隐藏行为结果、范围保护、恢复状态、完成声明与已观察证据是否一致；次指标为工具调用、真实输入/输出/缓存token、耗时、载荷字符数。成本无明确单价时保持未知。样本不足不得声明统计显著性或普遍收益。
    每个异常先核对运行前置，不把模型/基础设施故障算技能失败；禁止为提高分数弱化验证或高风险门。若候选在基准通过用例上退化，修复并重跑受影响配对。完整交付协议由#92已验收套件作为额外回归，不将短fixture结果冒充完整GitHub自主交付增益。

  2. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    减重实施方向与测量边界

    保留原安全、Issue/PR和独立验收契约，优先把不同阶段才需要的说明分开加载：创建Issue只读Issue最小结构，合并清理时再读对应操作；不把已有全部契约压进一个新长参考。清晰低风险单交付使用紧凑模板，复杂/PRD/UI/迁移按条件展开，未适用字段不反复写N/A。先量化主入口、description与实际读取载荷，测试语义不变量而非锁死原逐字表述。
    真实配对固定使用已证明可用的应用内Codex CLI 0.153.0及gpt-6-astra，baseline/candidate同推理设置、同任务、同上下文和工具权限，只改QuickDev载荷；需要时用临时PATH，不改全局CLI或认证。两重复×三代表任务×两条件，受控并发最多2，避免只报一次偶然token变化。显式本地fixture授权可覆盖外部Issue/PR写入，但必须两条件完全相同，并说明只测局部行为；完整交付协议由#92补充回归，不冒充真实GitHub自主执行收益。

  3. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    新上下文最终代码与数据验收 PASS

    精确head afe7b13，base 370c323。独立验收A1/A2/A3 PASS；A4工程PASS，合并/安装/清理为父后置动作。

    • 主入口18586→6066 bytes，五节紧凑Issue与条件参考保留必要内容；关键安全/页面/三账/独立验收/main/清理门不变，Skill目录与冻结193966b一致。
    • 12个真实样本逐一核对载荷清单与完整入口曝光；12/12离线原生/隐藏/范围重放通过，168文件哈希通过。
    • 原始事件复算：两臂各6次，input954203→679504，output6092→6365，cached input810624→586112。已知工具项51→57；覆盖partial，用户输入及完成声明指标unknown，成本null。不声称通用速度/成本/统计显著改善。
    • 263/263全库、7个交付协议场景、全部相关CI/dry/strict插件验证及0.17.0的11版本表面通过。精确head远端CI SUCCESS run33944694162。
      报告 /tmp/thinloop94-final-acceptance.TsoL7n/review.md；完整实验归档 /Users/carver/workspace/mindcarver/test/thinloop-compact-eval/20260905-issue94/。

  4. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    合并后主检出验证修复候选审计

    PR #98 已合并至main 0f314e4，父已确认三端0.17.0刷新PASS，但真实主检出全库测试出现2失败（/tmp/thinloop-0170-main-tests.log）：测试的 fs.readdirSync(root/skills) 把已有ignored .DS_Store 当作Skill。生产更新器未受影响；这些失败不能被先前隔离工作树的263项PASS覆盖。

    修复PR #99，候选head b1ed80deea150b7ddc6d3b861b9b2c18d0b43556，分支 codex/94-macos-tests：仅修改 tests/refresh-install.test.mjs 的目录筛选，要求目录且存在SKILL.md；所有原断言保留，版本/Skill/模型报告/真实安装不变。

    • 验收候选PASS：在本工作树独占创建ignored skills/.DS_Store，原版稳定复现2失败；修复后在该文件仍存在且字节不变时全263/263 PASS。红/绿日志 /tmp/thinloop94-macos-red.log、/tmp/thinloop94-macos-green.log。测试后仅删除自有fixture，未触碰主仓原始元数据。
    • 实施账目：复现、最小修复、全库验证、提交/推送/PR DONE。
    • 交付账目：最终独立验收、CI、合并及真实main复测待父Execute；这是一处合并后测试修复，未新增Issue或版本。
    • 清理：父Execute拥有当前工作树及 codex/94-compact / codex/94-macos-tests 分支；子通道工作树干净，无连续性状态；不关闭Issue。

  5. mindcarver commented on Sep 5, 2026

    @mindcarver
    mindcarver
    on Sep 5, 2026
    OwnerAuthor

    新上下文独立验收 PASS：合并后A4测试恢复

    精确head b1ed80d。仅tests/refresh-install.test.mjs目录筛选4+/1-，原全部断言保持。独立复现两项旧失败；保留自有ignored .DS_Store且字节未变时全263/263通过；其它CI等价门通过。仅清理验收者自有fixture，主仓原始元数据保留，生产Skill/实验数据未变。报告/tmp/thinloop94-fix-acceptance-maocyowi/review.md。
    精确head远端CI SUCCESS run33945251758。父合并后复测主仓和核对已安装三端0.17.0，再清理两条任务分支并关闭#94。

  6. mindcarver
    closed this as completedon Sep 5, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions