Repository navigation
docs(blog): connect checkpoint research, decision quality and full cost - #6655
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
Reviewer: model_agent; model=gpt-6.1-sol; provider=OpenAI; reasoning_effort=max; declaration_source=runtime_reported.
Exact head: f1bd1706da0eaf93e0d627e1a9f0739824ddb2d0; reviewed base: 0844688b9656c2898bc21e5d9746be49da30f9f2.
动机
受影响的是阅读 LoopX 研究进展、希望判断下一步实验为何值得做的读者。旧文章主要停在早期 Portfolio/Lean,后续 checkpoint、目标投影、Graph 反例与完整研究成本没有连成一条可读的叙述;直接追加一张分数表又容易把跨版本观察误当成同条件效果。
本头沿已有双语章节组织原目标、证据采用、完整研究段成本、决策前捕获和后续方案。它保留早期时间窗,把“分类改善但原生总分下降”“代理改善但未迁移”以及输入模式混杂放在结论旁边,帮助读者区分工程修复、实际采用、观测结果和待验证假设。
本轮验证了页面构建、表内算术和实际阅读路径;成本均值的取样范围及被引用提案的启用条件仍缺少清楚说明。完整研究资格继续开放,本评审不授予新实验、产品默认值或其它材料的发布权限。
[P2] 成本段落必须区分各项统计的分母。 英文第 141 行和中文第 147 行先说 14 个案例、56 行结果,紧接着给成交、费用和 Sharpe 均值以及 10/14 回撤变差,读者会自然把这些值理解为同一组案例。页面没有说明这些均值是否来自全部 14 个案例,还是其中一个公开子集;14 个案例与 56 行本身不能回答均值取了哪些变体和案例。应在两种语言中逐项写清样本范围、变体配对及聚合口径,并提供可在现有公开安全边界内核对的来源绑定。若均值来自 5 个公开案例,就明确写 5,并与全 14 个案例的回撤计数分开。当前独立算术只能核对已列数字,不能验证未披露的分母;不能把新的二次汇总或 replay 当成原始实验效果认证。
[P2] 原目标段落需要同步提案当前的显式启用条件。 本文第 96–97 行及中文第 97–98 行把 #6654 的同源原目标投影直接描述为选择工作前的行为,却没有说明开关。实际依赖新头 ee0e20d0da7e83db5dbd3636a26fd20926114689 的公开协议明确 planning_horizon_goal 默认关闭;现有 build_quota_planning_packet 也以该布尔值保护 Goal 来源读取。请双语写明这是待合并提案、默认关闭、显式启用后的投影;关闭时保持原路径,并区分 #6649 已交付行为与 #6654 候选行为。当前文章的“安装/CLI 验证”不能让读者误以为普通默认路径已经包含它。此处仅核对相关依赖源码和公开协议,不替代该新头的完整独立评审。
改动思路
先按修改前的 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md 判断,固定版本 0844688b9656c2898bc21e5d9746be49da30f9f2;该文档与本轮先读的 main 基线版本逐字节相同。4. Claim Ladder 要求观测与因果/产品晋升分层;5.3 Fairness and treatment integrity 要求说明输入、版本和其它变化;5.4 Result separation 与 6.2 Efficiency 要求原生结果、成本、控制观测分开。当前文章保留了大部分交流边界,没有把一组正数或一次恢复验证升级成普遍收益;但统计分母和当前启用条件还需要按上述两点补齐。
| 读者的问题 | 当前文章给出的区分 |
|---|---|
| 为什么更高的分类质量仍没进步? | 并列质量项、时间罚、最终分和解题时间,保留 incumbent |
| 为什么不能只看一次 solver 的 CPU 秒数? | 把研究所在完整 wakes 的墙钟、命令和用量放在旁边,说明组成与未知 |
| fresh/retained 能否解释为 stride 效果? | 明确两臂均启用 stride,并披露共同的隐式 TurnEnvelope 输入 |
| 下一批已经启动了吗? | 明确为待冻结方案,donor 的 stride 与显示开关、预算和后续单因子对照分别列出 |
这些关系适合一张紧凑对照表说明。表格解释源码表达,实际阅读通过生产构建后的页面验证。复用既有文章、锚点、样式和语言入口是合适的边界;无需新增研究报告框架、配置页或用户准备步骤。
具体改动
完整读取两个 HTML 文件的全部新增/删除正文、链接和属性,并与原章节及既有布局核对,共 151 行新增、81 行删除。历史 Lean 数值、共同窗口计数和原开篇保持;新的研究过程分布在原有相关章节,避免把最近数据覆盖旧版本记录。
关键代码讲解
#goal-anchor、#decision-followthrough、#research-cost在原“续行、证据、成本”章节中补充来源到达、紧邻决定复核和完整研究段的区别。公开 Goal 可见性与模型是否正确采用分开,文件/会话记忆与 Explore 增量也分开。#checkpoint-research将同点恢复、fresh replan、Graph 总目标及 Portfolio 迁移反例组织成一条链。新表的quality - time penalty = final score三行逐项成立,所列近似增量与四舍五入精度相容。#rerun/#new-study保留旧记录的归属,标明 12/18/18 小时是 donor 原题上限,后续比较按边际窗口和继承约束处理;没有把新计划写成执行回执。- 中文文件复用相同 21 个锚点、15 个页内入口和对应结论。
#measure、#distribution等旧入口保留,旧地址不会因叙述重排失效。
生产站点 build、SEO smoke、8 组双语文章 smoke 通过。独立文档探针 89 项检查通过,覆盖旧数字、锚点、媒体、样式/脚本、公开表内算术和相关文档链接;这里的算术通过不认证底层实验。未把本地机械验证、作者历史研究和产品实际安装混成一个通过数。
Ego 实查 1440px 与 390px 的生产构建:原首屏截图一致;中英文正文、研究方案、Graph 表和语言切换可读,键盘切换语言及 reload 正常。手机上的宽表使用既有局部横向滚动,真实横向输入后可以读到最终分和平均时间,页面自身没有横向溢出。初看截图只露前三列,进一步查出 clientWidth=350 / scrollWidth=600 / overflow:auto,因此不将其误报为列被隐藏。既有图片入口 HTTP 200,特殊图片选择器的初次观察失败已区分为验证脚本问题。
对主干的风险
没有改 runner、评分器、权限、关系词汇、配置开关或脚本;CSS、脚本和媒体引用与真实基线相同。沿现有布局加入文字和表格,回退也只需这两个文件。开发期语义 advisory 后的全树检查通过,diff hygiene 和公开边界检查已执行。按当前策略未查询、轮询或等待 CI。
叙述上最重要的风险是把“来源正确到达”“引用正确”“实际实施”和“原生收益”混为一谈;新文将它们分开,也明确四臂输入模式混杂、单次时序、版本差异和 incomplete/unknown closeout。Graph 的总分与耗时可以在同一表中读回;Portfolio 的本地代理与原生反例没有被删去。
本轮没有取得可用于独立再认证整场实验的匹配研究记录,也没有重放私有轨迹或隐藏评测,因此不为原生运行完整性、全程用量、实验效应或新方案预算准入背书。这是文章交流与研究资格之间保留的边界。#6661 的最新头已外部合入,不改变本文所分析旧实验的冻结输入;相关状态可在下次文章同步时更新。
我的整体评价
REQUEST_CHANGES。文章把近期工程、负结果、成本和下一步问题连起来的方向合理,实际双语阅读路径也已验证;但应先补清统计分母及 #6654 的默认关闭边界,再在新精确头复核。页面构建和表内算术通过,不能代替来源资格或行为披露。
未来维护性检查已做:继续复用现有文章和静态锚点即可,当前没有值得引入的新抽象。后续冻结方案时仍需按已有实验 owner 核对每个研究点的剩余预算、删失窗口、采用和准入;本文的四小时比较目标不会重置原题时限。静态文章评审、研究资格、发布和合并各自保留原有职责。
English verdict: REQUEST_CHANGES — head f1bd170 builds and reads correctly, but the cost paragraph does not identify the sample used for its means versus the 10/14 drawdown count. State each denominator and source binding explicitly. Also synchronize both Goal sections with #6654 at ee0e20d: planning_horizon_goal is default-off and opt-in, and remains a proposal. Eight paired-article and 89 document checks plus real desktop/mobile/keyboard reading do not independently qualify the underlying trials or their complete costs.
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
Reviewer: model_agent; model=gpt-6.1-sol; provider=OpenAI; declaration_source=runtime_reported; reasoning_effort=max.
完整精确头评审:#6655,head 3f7246f9b11689acae003b596e8f441692e92dc0,base 0844688b9656c2898bc21e5d9746be49da30f9f2。未发现当前阻塞问题,结论为 APPROVE。本记录采用作者账号的 COMMENTED 评审形式。
动机
受影响的是阅读 LoopX 研究进展、需要判断一个观察能支持什么结论的读者。
旧文没有把近期故障、接续结果和完整研究成本放在同一条解释链上;此前修订又省略了部分均值的样本口径和 Goal 开关条件,读者容易把代理改善、工程修复和模型收益混为一谈。本次完整更新把这些边界分别说明。
当前两种语言都明确了 Goal 规划开关默认关闭、均值只取五个公开案例而回撤计数取全部十四例,并能展开查看来源类型、分母、时间窗与尚不能复现的部分。
这是一篇保留负结果的阶段性研究说明,不是官方成绩发布、因果收益证明、模型采用证明或新实验启动授权。
公开读者仍不能从文章重建全部原始运行;后续公开数据、完整历史成本及清洁版本上的重复匹配实验仍有独立验收。
改动思路
现有双语静态文章已足以承载这次解释;增加一个原生 details 来源说明即可交代分母和证据层级,不需要新脚本、下载服务、运行时状态或实验控制入口。
本 PR 交付的是可核对数值关系、样本口径和结论限制的双语研究更新;它不把源码修复、归档复算或页面构建升级为科学效果或已安装行为。
文章需要保留真实研究的推进与反证,同时让读者知道每个判断的来源和边界。直接删除所有尚未形成因果结论的观察会丢掉有用失败分析;只列修复 PR、构建成功或最好分数又不能解释实际研究。本次沿既有章节加入失败到恢复的过程、完整研究段成本、质量与时间罚的冲突和接续输入混杂,使用一处可展开表格补齐复核口径,范围合适。
| 读者看到的观察 | 当前允许的推论 |
|---|---|
| Goal 和历史引用修复通过实际入口 | 机制缺口可被定位和验证;模型是否采用仍需观察 |
| Graph 质量项上升,最终分下降 | 时间罚抵消了质量收益;不能只挑分类子项 |
| Portfolio 代理指标改善而原生指标下降 | 本地研究发生了,但迁移与路线潜力不足仍可能存在 |
| 两个/七个完整 Turn 的成本 | 指定研究段的活动与墙钟成本;不是脚本 CPU 或全部历史总价 |
具体改动
- 完整叙事与边界。 英文
section#real及对应中文区分已经合并的原目标修复、仍为候选的普通 horizon 开关、独立的 replan 读取和研究集成采用。明确开关默认关闭、需显式 opt-in;不是让普通历史运行事后拥有这些条件。上下文、Explore 采用、旧引用复盘、Lean 停滞与恢复状态各有实际边界,旧窗口与历史分数未重写。 - 数值口径与负结果。
section#context写明固定 2×2 共 14 案例、56 行;V7 执行方式对照的 fills/cost/Sharpe 均值只取 5 个公开案例,10/14 回撤恶化取全部十四例。独立归档 reducer 重新得到 fills 451.2→235.4、cost 62683.1498857→62682.1844394、Sharpe 差约 0.0001332663。Graph 三个完整公开反馈报告的质量减时间罚等于最终分,资源罚为零;提高质量却没有超过继承 best 的负结果得到保留。 - 完整成本与来源说明。 新增英文
details#observation-basis和中文 对应 disclosure,分开列出报告、逐案例比较、203 条旧 wake 与 10 次后续引用检查、两个/七个完整 Turn 的成本。独立定向复算通过 26 项检查,包括执行引擎/比较/分析摘要关联、失败分母、引用关系及指定完整研究段的成本汇总。这里只读取结束研究的结构化归档并提取数值,不执行归档源码、不接触隐藏评测,也不把摘要关联当作独立重跑评分;25.25 CPU 秒仍是 solver 报告值,原始 provider 事件未重解析。 - 公共页面与兼容。 当前完整变更仅两份 HTML,共 +171/-81;没有新增 JS、CSS、图片或外部数据服务。35 项文档检查保留旧锚点、历史 Lean 数值与窗口、开篇、脚本、样式和媒体,核对本地链接及展示算术。实际生产 build、SEO smoke、两个 publication-base/损坏发现反例、完整语义检查、公开边界扫描与 diff check 通过。缺少本地 Vite 依赖造成的首次构建失败经常规 npm ci 恢复,源码断言未改。当前浏览器在 1440/390 宽度读回两种语言的四行 disclosure,键盘 Enter/Space 可以开启关闭,重载默认关闭,页面无横向溢出。
验收依据是变更前的 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md,完整修订 0844688b9656c2898bc21e5d9746be49da30f9f2,按原规范的 4. Claim Ladder、5.3 Fairness and treatment integrity、5.4 Result separation、6.2 Efficiency 映射。当前头把诊断、工程资格、模型采用、因果效果及公开复现分开,符合阶段性机制研究可以保留负结果的边界。
对主干的风险
最强反例是“测试全绿、文章加减法正确,但均值来自另一个样本群,或者原生整体目标仍变差”。本轮复核了逐案例/变体分母和归档数值关联,而不只重算页面上的比率;中英文现在同时说明五个公开样本与全部十四例的区别,原生整体分与代理指标分列,输入条件混杂也没有因为两臂共同受影响而被忽略。新增加的成本叙事仍明确活动时间、墙钟、继承用量和研究段边界,token 数没有被换算为未经核实的价格。
复核材料文件名的公共接入分类不等于数据读取或官方成绩的权限判断。本轮采用已检查的限定 reducer,仅归约指定结构化历史记录和 solver 可见公开反馈,并将路径与原始归档留在私有证据中;这个做法不授予公开原始数据、读取隐藏评测或改变 countability 的权限。当前文章也如实说明原始归档未公开,公开读者还无法独立重建全部运行。这个缺口被披露,并未伪装成已通过的数据发布验收。
上轮 f1bd 头的两个文字问题已经分别修正:Goal 段补齐默认关闭的条件,固定实验段明确均值与回撤的不同分母。本次仍重审完整两页及调用关系,保留历史图表与旧分数、源码修复与已安装状态、先前 cohort 与未来方案的区分;评审没有把解决两处文字问题当作自动批准依据。文章的冻结时间后发生的研究活动不在本次证据范围,不用未来实验补证当前主张。
我的整体评价
现有双语静态文章已足以承载这次解释;增加一个原生 details 来源说明即可交代分母和证据层级,不需要新脚本、下载服务、运行时状态或实验控制入口。
本 PR 交付的是可核对数值关系、样本口径和结论限制的双语研究更新;它不把源码修复、归档复算或页面构建升级为科学效果或已安装行为。
没有发现当前需要修改后再批准的问题。归档复算和生产页面验证共同支持这次准确、可读的阶段更新;公开数据重建、完整历史成本、模型采用与清洁重复匹配实验仍按文中的缺口保留。邻接简化复核认为沿用原生 details/table 与现有双语页面已经合适,增加通用内容层或交互服务没有当前价值。
这次批准只针对 3f7246f9b11689acae003b596e8f441692e92dc0,不批准外部实验、数据公开、产品 promotion 或合并。旧评审与合并准备状态在单独批准收尾中核对,保留讨论与真实剩余门槛。
English verdict: APPROVE — 3f7246f9b11689acae003b596e8f441692e92dc0. Both languages now state the default-off Goal condition and distinguish five-public-case means from all-fourteen-case drawdown counts. Bounded source-linked reduction, negative results, whole-episode costs, production build/SEO and keyboard/mobile disclosure checks support this scoped update. Public reconstruction, raw cost events, causal benefit and model adoption remain unqualified.
Update the existing bilingual article with the recent Goal/recovery, Explore, planned/stride and checkpoint research. Connect pre-replan capture, fresh/retained decisions, native outcomes and complete episode cost, replacing superseded active plans while preserving historical comparisons, cutoffs and the approved opening.
Graph quality gains are separated from larger time penalties, and Portfolio proxy gains from native transfer. The fixed 2×2 description identifies both factors, uses five public cases for the reported V7 means and all fourteen cases for drawdown counts. A collapsed evidence-method table explains sample selection and limits; original archives were supplied for independent review but are not yet published, so public reproducibility remains limited. The Goal horizon proposal #6654 is explicitly default-off in LoopX and its benchmark runner. Checkpoint/input coupling links to #6661 without treating candidate validation as deployed research behavior.
The next study remains a proposal: planned/Explore donors with stride off, capture independent of TurnEnvelope, followed by same-fresh stride on/off comparisons; fresh/retained remains a separate factor. This article launches no study and changes no runtime, scorer or feedback policy.
Validation: production site build, SEO, eight-pair bilingual smoke, unique anchors, unchanged opening, public-boundary and diff checks. The new disclosure was read in the built site at 1440px and 390px, including keyboard close/reopen; final wording passed the build and smokes again. Archived source arithmetic was independently recomputed for the newer observations; this does not establish causal strategy benefit. Existing paired layout and section owners are reused. Independent exact-head review remains required.