V1.0
原合并模型。Module 1–3 主通道已存在,但 Module 4 的完整回答与评价闭环尚未形成。
内容不全没有同条件有效 token 成绩,不能拿它计算优化降幅。Vérifier d’abord si le Router transmet les bons textes réglementaires, puis comparer les réponses à livre fermé de Codex et de Qwen exécuté en local. Cette page consigne à la fois la référence des modèles avant correction et l’état du routage par répertoire après correction, sans faire passer d’anciennes réponses pour de nouveaux résultats.
版本成本采用 Farmers Branch 2017 同一纯文本、同一问题、同一 Gold 的闭卷记录;与下方五城市总量分开统计。
原合并模型。Module 1–3 主通道已存在,但 Module 4 的完整回答与评价闭环尚未形成。
内容不全没有同条件有效 token 成绩,不能拿它计算优化降幅。补入冻结 Judge 与 Primary 评价包,建立可复现的 Module 4 全文作答基线;整份法规进入 CLI。
121,389 input89,088 cached · 2,394 output · 72.2% 得分新增纯文本封存 Gold 与隔离闭卷考题。主要改变“怎么考”,没有改变全文喂入架构。
120,750 input较 V1.1 少 639(0.5%),属于近似持平。加入目录预编译、Section Router、Coverage Gate 与枚举 Schema,只把相关完整章节交给 Answerer。
67,001 input较 V1.2 少 53,749(44.5%),得分升至 100%。| 版本 | 输入 tokens | 其中 cached | 输出 tokens | 较上一有效版本 | 较 V1.1 全文 | 同题得分 |
|---|---|---|---|---|---|---|
| V1.0 | 不可比 | — | — | — | — | 内容不全 |
| V1.1 | 121,389 | 89,088 | 2,394 | 基线 | 基线 | 72.2% |
| V1.2 | 120,750 | 89,088 | 2,460 | −639(−0.5%) | −639(−0.5%) | 72.2% |
| V1.3 | 67,001 | 38,400 | 1,749 | −53,749(−44.5%) | −54,388(−44.8%) | 100% |
口径:input_tokens 为 Codex CLI 回执值,cached 是其中的子集,不应再次相加。V1.0 因能力缺失排除;V1.1–V1.3 才构成同题、同源、同 Gold 的有效比较。
目录解析和 Coverage Gate 属于模型之前的确定性控制层。只有证据齐全,Answerer 才能获得调用资格。
把 Markdown 标题编译成可追踪的法规 Section。
按问题选择最小但完整的法规范围。
四项证据齐全才放行;失败时回退搜索二级目录。
Codex 或 Qwen 只读同一证据包并输出结构化答案。
### 及以下;只有 Coverage 不全时才检查 ## 目录,并选择能补齐最多缺失项的单个父 Section。Lakeland 现已命中 4.3 - ACCESSORY STRUCTURES,未增加版本号。Qwen 的低分与 4096 context 截断高度相关。本轮保留原始基线,但不把它当成公平的模型能力结论。
四个可答城市全部严格通过
长证据包发生截断,结果只作配置基线
2014 historical Walton County Land Development Code text
仅依据证据,回答同一住宅地块允许的 accessory apartment 最大数量、单套最大面积、能否出租给非家庭成员,以及能否通过 variation、adjustment 或 waiver 偏离这些要求。每项给出条款编号;无证据时不得推断。
选中范围6.02.00. - ACCESSORY USES
证据包仅 3,014 字符;两种模型均完整提取数量、面积与禁止性规则。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| max_accessory_apartments_per_lot 每个住宅地块最多允许的 accessory apartment 数量 |
1 § 6.02.01 |
1 | 1 |
| accessory_apartment_max_sqft accessory apartment 最大面积(平方英尺) |
800 § 6.02.01 |
800 | 800 |
| rental_to_nonfamily_allowed 是否允许出租给非业主家庭成员 |
否 § 6.02.01 |
否 | 否 |
| variation_adjustment_waiver_allowed 是否允许为容纳 accessory apartment 而获得 variation、adjustment 或 waiver |
否 § 6.02.01 |
否 | 否 |
2025 current Lakeland Land Development Code web text
仅依据证据,回答该结构相对 principal structure front façade 的最小后移距离、interior side setback、rear setback 和最大高度。数值分别使用英尺;每项给出条款编号;无证据时不得推断。
选中范围4.3 - ACCESSORY STRUCTURES
目标条款位于二级标题“## 4.3”。新增目录回退后已选中完整 4.3 Section,Coverage 由 FAIL 变为 PASS;模型尚未用新证据重跑。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| front_behind_facade_min_ft 相对 principal structure front façade 的最小后移距离(英尺) |
3 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
| interior_side_setback_ft RA-3 interior side setback(英尺) |
3 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
| rear_setback_ft RA-3 rear setback(英尺) |
3 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
| max_height_ft 最大高度(英尺) |
12.5 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
2026 current Riverside Zoning Code Title 19 web text
仅依据证据,回答 required side/rear yard area 的最大覆盖率、single-story interior side/rear setback、该地块上 accessory structure 的最大 floor area,以及 single-story accessory structure 的最大总体高度。每项给出条款编号;无证据时不得推断。
选中范围Chapter 19.440 - ACCESSORY BUILDINGS AND STRUCTURES
Router 找到完整 Chapter 19.440;Codex 全对。Qwen 在当前 4096 context 配置下返回四项 unresolved。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| required_yard_coverage_max_percent required side/rear yard setback area 最大覆盖率(百分比) |
35 § 19.440.030 |
35 | 未解析 |
| single_story_side_rear_setback_ft single-story interior side/rear setback(英尺) |
5 § 19.440.030 |
5 | 未解析 |
| lot_under_half_acre_max_floor_area_sqft 小于半英亩的 R-1 地块最大 floor area(平方英尺) |
750 § 19.440.030 |
750 | 未解析 |
| single_story_height_max_ft single-story accessory structure 最大总体高度(英尺) |
20 § 19.440.030 |
20 | 未解析 |
2011 historical Miami Gardens Land Development Code web text
仅依据证据,回答通常的 front property line 最小距离、满足例外时仍不得低于的绝对 front setback、accessory buildings 对 rear yard 的最大占用比例,以及 principal building 不存在时能否单独先取得并施工 accessory-building permit。每项给出条款编号;无证据时不得推断。
选中范围ARTICLE X. - ACCESSORY USES AND STRUCTURES
Router 选中了整个 Article X,证据达到 53,741 字符。Codex 全对;Qwen 输入截断后丢失题目字段合同。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| default_front_property_setback_ft 通常的 front property line 最小距离(英尺) |
75 § 34-312 |
75 | 未解析 |
| exception_absolute_front_setback_min_ft 例外情况下绝对不得低于的 front setback(英尺) |
50 § 34-312 |
50 | 未解析 |
| rear_yard_coverage_max_percent accessory buildings 最大 rear yard 占用比例(百分比) |
30 § 34-312 |
30 | 未解析 |
| accessory_permit_before_principal_allowed principal building 不存在且未同步许可/施工时,能否先单独取得 accessory-building permit |
否 § 34-312 |
否 | 未解析 |
2011 historical West Park Code of Ordinances web text
仅依据证据,回答非临街 side/rear yard 可缩减到的最小距离、one-family plot 上 accessory building 的最大层数、one-story accessory building 与其他 principal/accessory building 的最小间距,以及全部 accessory buildings 的 aggregate floor area 最多占 plot area 的百分比。每项给出条款编号;无证据时不得推断。
选中范围ARTICLE V. - DISTRICT REGULATIONS · Sec. 42-202. - Permitted accessory uses for hotels, motels and community residential facilities.
Router 选中 72,047 字符的整个 Article V,并混入无关 Sec. 42-202。Codex 全对;Qwen 截断后围绕尾部无关条款作答。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| nonstreet_side_rear_yard_min_ft 非临街 side/rear yard 最小距离(英尺) |
5 § 42-197 |
5 | 未解析 |
| one_family_accessory_max_stories one-family plot 上 accessory building 最大层数 |
1 § 42-197 |
1 | 未解析 |
| one_story_building_separation_min_ft one-story accessory building 与其他 building 最小间距(英尺) |
10 § 42-197 |
10 | 未解析 |
| aggregate_floor_area_max_plot_percent aggregate accessory floor area 最大 plot area 百分比 |
5 § 42-197 |
5 | 未解析 |