# 어려운 문제 · 본격 실행과 기존 기준선

## 현재 4단계 · 2026-10-25

GLM 5.3 max가 통과한 **HD-2 → HD-18 → HD-14 → HD-15**를 현재 네 단계로 채택합니다. 기준 시간은 **28.72 → 41.36 → 60.21 → 134.97분**, 합계 **265.26분**입니다. 마지막 문제는 사용자가 지정한 134분 과제입니다. 각 단계의 실제 GLM 총시간보다 최소 10분 길어지는 순서이며, 시간 상한은 과제별 GLM 시간의 정확히 2배입니다. 반올림한 표시값으로 상한을 계산하지 않습니다.

딥시크 하네스 low/high/max는 각각 4/4, 독립 재검사도 **12/12 PASS**입니다. 과제 전체 시간 합계는 low 100.20분, high 113.64분, max 128.67분이고 GLM Index는 각각 2.65 / 2.33 / 2.06입니다. GLM Flash max의 새 실행은 HD-2 외부 검사 17/21로 **1/4 FAIL**, 18.36분에 종료했습니다. 나머지 세 과제는 미실행이며 0초·$0 기록을 만들지 않습니다. 첫 실패에서 중단하고, 실패 모델은 맵에서 반투명으로 표시합니다.

딥시크 비용은 공식 비혼잡 시간대 토큰 단가에 따른 추정액으로 총액 $0.43792137 / $0.539851128 / $0.654410298, 과제당 $0.10948 / $0.13496 / $0.16360입니다. 청구서 대조 금액은 아닙니다. GLM·Flash 구독 경로는 과제별 비용을 배분할 근거가 없어 미계측으로 유지합니다. 이 모델들은 USD 축 바깥의 별도 영역에서 같은 Y축으로 표시하고, 비용 기준선·사분면 우열을 만들지 않습니다. 모델 작업 시간과 과제 전체 시간을 함께 보존하며 지수에는 전체 시간을 사용합니다.

원본·관찰 사항은 data/deepseek-harness-hard-2026-10-25.json에 보존합니다. 세 에포트는 동시 실행됐고 GLM과 하네스·경로가 다릅니다. high/HD-2의 범위 없는 dotnet 종료가 다른 에포트에 영향을 주었는지는 미확인입니다. 도구 대기는 원본 시간에 포함하고 커밋 메시지 경고는 기능 판정과 분리합니다. HD-3·4·5는 계속 보류하며, HD-2만 표시하던 직전 화면과 숨긴 GPT 기록은 data/archive/co2-openrouter-hard-before-ladder-2026-10-25.json 및 날짜 선택기에 보존합니다. 이번 갱신의 신규 모델 호출은 0건입니다.

검증: `python scripts/import-hard-ladder-results.py --check`, `node tests/hard-ladder.cjs`. 이전 HD-2 전용 선택은 `node tests/hard-hd2-selection.cjs`로 보관본을 검증합니다. 이전 가져오기 스크립트는 새 결과를 덮어쓰지 못합니다.

## 보류된 4과제 실행 기록 · 2026-10-24

GLM 5.3 max가 네 과제를 모두 통과했습니다. 실행 순서는 **HD-3 → HD-4 → HD-5 → HD-2**로 고정했습니다. 이는 출제자가 정한 순서이며 GLM 소요시간 순으로 재정렬한 것은 아닙니다. 후속 모델은 과제별 GLM 실측 총시간의 정확히 2배를 적용했고 첫 FAIL/TIMEOUT에서 중단했습니다.

| 모델·에포트 | 결과 | 중단 지점 |
|---|---|---|
| GLM 5.3 max | 4/4 PASS | — |
| GPT-6 Luna max / xhigh | 각각 4/4 PASS | — |
| GPT-6.1 Sol low / medium | 각각 4/4 PASS | — |
| Grok 4.7 low | 4/4 PASS | — |
| GLM 5.3 Flash max | 1/4 PASS · TIMEOUT | 2/4 |
| MiniMax M3 기본값 | 1/4 PASS · FAIL | 2/4 |
| GPT-6 Luna high | 2/4 PASS · FAIL | 3/4 |
| GPT-6 Luna medium | 3/4 PASS · FAIL | 4/4 |

10개 조합, 실제 기록 35개입니다. 새 실행 34개와 재사용한 GLM HD-2 기준선 1개를 구분합니다. 탈락 이후 미실행 과제는 0초·$0의 실행 기록으로 만들지 않습니다. 탈락 모델은 같은 Map에서 반투명으로 표시하며, **시도한 구간의 시간·비용을 GLM의 같은 과제 구간과 비교**합니다. X는 실제 시도 과제당 비용, Y는 동일 구간의 시간 지수입니다. 미완주 좌표는 전체 세트 생산성 순위가 아닙니다. 이전 한 과제 파일럿은 날짜 선택의 2026-10-22에 보존됩니다.

원본은 `C:/Projects/Bench/minorbench-hard-production-20261023/`입니다. `plan.json`·문제/판정기 해시·공식 provider 고정·호출 원장을 검증하고 `aggregate/reconciled-20261024/run-records.jsonl`로 정리했습니다. 성공 응답 899개의 generation 영수증을 대조했습니다. 별도 520 오류 1건은 응답·사용량 없이 종료되고 generation 조회도 404였습니다. 원본 오류는 보존하고, [OpenRouter 실패 요청 과금 규정](https://openrouter.ai/pricing)에 따른 비과금 오류로 명시적으로 분리했습니다. 모르는 정상 응답 비용을 0으로 대체한 것이 아닙니다.

```powershell
node tests/hard-production.cjs
```

## 이전 진행 기록 — 2026-10-23

현재 실행: `C:/Projects/Bench/minorbench-hard-production-20261023/status.json`. 고정 대상·에포트·문제 순서는 같은 폴더의 `plan.json`, 운영 설명은 `README.md`입니다. GLM 5.3 max가 HD-3·4·5를 먼저 검증하고, 통과한 문제와 기존 HD-2 통과 기록으로 비교 세트를 구성합니다. 후속 모델은 과제별 GLM 총시간의 정확히 2배를 적용하고 첫 FAIL/TIMEOUT에서 중단합니다. 공식 경로만 사용하며 새 시험 기록은 기존 파일과 분리합니다. 완료 후 감사된 기록은 같은 폴더의 `aggregate/run-records.jsonl`에 생성됩니다.

> 현재 표시는 통과 모델 진하게, 미통과·미완료 모델 반투명입니다. 하단 탈락·페이즈 목록은 없습니다. **시간 상한은 쉬움·중간 GLM×3, 어려움 GLM×2**이며 Map 좌표·이동선·툴팁 패널티가 모두 현재 판정을 따릅니다. [표시·시간 기준 정본](relative-time-policy.md). 아래 HD-1은 이전 파일럿 기록입니다.

## 이전 한 과제 화면 · 2026-10-23 반영

현재 어려운 Map은 기존 HD-2 한 과제의 기준선을 표시합니다. GLM은 27/27 검사 PASS입니다. Flash의 원본은 agent 30분 한도 TIMEOUT이지만 현재 57.44분 상한보다 일찍 중단됐으므로 **INCOMPLETE(재측정 필요)**로 표시하고 실패 패널티를 부과하지 않습니다. 새 본격 실행 결과를 기존 한 과제 결과에 미리 합산하거나 4과제 완주처럼 표시하지 않습니다.

| 모델 | 현재 판정 (원본) | 기존 측정 시간 | 실제 비용 | 외부 검사 |
|---|---|---|---|---|
| GLM 5.3 max | PASS | 28.72분 | $1.97792452 | 21/21 |
| GLM 5.3 Flash max | INCOMPLETE (TIMEOUT) | 30.23분 | $0.15620677 | 20/21 |

이 HD-2 동일 답안 재검증의 모델 추가 호출은 0건입니다. 공식 Z.AI generation 영수증 85+76=161건을 모두 대조했으며 미식별 요청은 0건입니다. 시간에는 최초 실행의 자동 판정 구간을 유지하며, 이후 재검증 시간을 섞지 않습니다. 새 본격 실행의 호출·시간·비용과 구분합니다.

### 판정기 실행 오류 정정

원본 GLM FAIL은 모델 테스트 실패가 아니라 PowerShell에서 단일 FileInfo에 배열을 더하려다 발생한 `op_Addition` 오류였습니다. 원본 FAIL/로그/제출물/문제지/Core/외부 검사는 보존했습니다. 별도 wrapper에서 두 파일 열거를 명시적 배열로 감싼 뒤 정답 구현과 동일 제출물을 다시 검증했습니다. 정답 구현과 GLM은 외부21/21, Flash는20/21입니다. Flash의 실패는 `billion chain17: large-call time budget`이고, 최초 실행 자체도 TIMEOUT이므로 최종 판정을 TIMEOUT으로 유지합니다. 에포트는 두 실행의 turn_context와 원장에서 max를 확인했습니다.

기존 HD-1은 [원본 데이터 보관](../data/archive/co2-openrouter-hard-hd1-before-hd2-2026-10-23.json) 및 아래 기존 설명으로 남깁니다. 새 HD-2 기준선에 합산하지 않습니다.

[HD-2 문제지](../benchmarks/hard/v2/HD-2/fixture/README.md) · [추가 3개 후보와 순차 탈락 규칙](hard-candidate-suite-2026-10-22.md)

---

# 이전 HD-1 파일럿 기록

## 세 단계

| 표시 | 과제 | 기록 처리 |
|---|---|---|
| 쉬운 문제 | FIX-1~5 | 기존 기록 유지 |
| 중간 문제 | CMP-1~4 | 기존 어려운 문제의 이름만 변경. ID·측정값·이력 유지 |
| 어려운 문제 | HD-1 | 새 독립 세트. 우선 GLM 5.3 max 한 번만 실행 |

`hard`라는 기존 내부 task-set key와 `co2-openrouter-complex.json`은 이력 호환을 위해 유지합니다. 공개 난이도는 `difficulty: medium`입니다. 새 어려운 세트는 `key: advanced`, `taskSetId: uwb-hard-recovery-v1`입니다. 각 세트의 기준선·시간·비용을 서로 섞지 않습니다.

## HD-1: 운반 중 저장·복원과 소유권 인계

UWB의 기존 운반 예약·취소(CMP-1), 저장·명령 재실행(CMP-3), 안전한 복원(DES-3), 다중 납품·인계(DES-5) 계약을 결합한 독립 .NET 8 과제입니다. 실제 Unity 월드 전체의 통합 시험은 아닙니다. 설계 문제 원본이 참조한 구현 기준 SHA는 `f127c3d39bc48866059ec428a828a994918250fa`이며 해당 설계 manifest는 구현·시험 소스를 정적으로 검토했다고 명시합니다. 이번 과제는 그 계약을 실행 가능한 새 fixture로 추출했습니다.

모델은 기존 C# 소스를 수리합니다. 요구사항은 [고정 문제지](../benchmarks/hard/v1/HD-1/fixture/README.md)에 모두 공개합니다.

- 예약과 실제 재고·운반 화물의 분리, 작업자·자원별 경쟁 예약
- 납품 효과와 현장 이탈의 별도 진행, 중복 콜백의 멱등성
- 같은 좌표에 다시 생성된 목적지 식별
- 저장 직후 복원해도 이미 적용한 납품을 재적용하지 않기
- 복원 전 epoch/assignment의 오래된 콜백 거부
- 남은 화물의 새 Trip 인계, 네 단계의 실패 주입에 대한 원자적 롤백
- ID 할당기·명령 영수증·진행 상태까지 보존하는 저장 검증
- 자원별 `재고 합계 + 운반 화물 합계` 보존

범위를 무작정 늘리거나 대기 시간을 늘리는 방식이 아니라, 같은 작업의 여러 단계가 겹치는 상황으로 변별합니다. GLM에 대해 보편적으로 '가장 어렵다'는 사실이 입증된 문제는 아니며, 기존 CMP보다 복합적인 첫 고난도 후보입니다.

## 판정과 재현

[과제 정의](../benchmarks/hard/v1/HD-1/task.json) · [소스/판정기 해시](../benchmarks/hard/v1/HD-1/manifest.json) · [외부 판정기](../benchmarks/hard/v1/HD-1/contract.cs)

후보에 복사하는 자료는 fixture뿐입니다. 정답 구현과 외부 판정기는 모델의 작업 입력에 넣지 않습니다. 최종 외부 판정기는 후보 `Src/**/*.cs`만 별도 프로젝트에서 컴파일합니다. 공개 시험이나 프로젝트 설정을 바꿔서 외부 판정을 회피할 수 없습니다.

사전 검증: 깨진 시드는 공개 6개 중 4개 실패, 외부 30개 중 20개 실패입니다. 별도 기준 구현은 공개 6/6, 외부 30/30을 통과했습니다. 외부의 마지막 시나리오는 48개 결정적 실행 순서를 추가로 순회합니다. 48개를 독립 과제나 별도 모델 실행 횟수로 부풀리지 않습니다.

## 이번 실행

- GLM 5.3 (`z-ai/glm-5.3`), `max`, 공식 `z-ai/fp8`만 사용
- 다른 모델·중첩 에이전트 호출 금지, fallback 금지
- Codex 0.153.4, agent 제한 30분, 과제당 1회
- 별도의 금액·토큰 한도를 새로 설정하지 않음
- 공개 시험과 불변 외부 판정을 모두 통과해야 PASS
- 원본: `C:/Projects/Bench/minorbench-hard-pilot-20261022/`

모델 프로세스와 계측 proxy의 수명을 분리합니다. agent가 종료돼도 controller의 proxy가 진행 중 응답의 ID·사용량을 기록합니다. 청구 대조는 측정 시간 밖에서 generation 영수증으로 수행합니다. 로컬 모의 upstream에서 헤더 전 클라이언트 종료 후에도 ID·사용량을 보존하는 회귀 검사를 통과했습니다. 실측에서도 원장 누락 여부를 별도로 확인합니다.

GLM이 못 풀면 그 결과를 그대로 보존하고, 유효한 FGM 기준점이 생긴 것처럼 표시하지 않습니다. 결과를 보고 문제나 판정기를 고쳐 같은 버전의 측정 결과로 덮어쓰지 않습니다.

## 다음 모델의 참가 조건

중간 문제에서 **한 과제라도 FAIL/TIMEOUT인 모델 계열은 모든 에포트에서 제외**합니다. 사용자가 지정한 MiMo, Qwen 계열, Haiku, Gemini 3.8 Flash도 모두 제외합니다. 공식 프로바이더가 거부되는 모델은 우회하지 않습니다.

[참가 판정 스냅샷](../data/hard-eligibility.json)은 기존 중간 기록에 최신 공식 경로 재측정의 실제 판정을 우선 적용합니다. 비용 미확인 한 건 때문에 이미 확정된 TIMEOUT을 PASS로 되돌리지 않습니다. 이 판정 스냅샷은 기존 중간 맵의 비용 데이터를 임의로 확정하거나 교체하는 작업과 별개입니다.

현재 공식 재측정의 Kimi K3 CMP-1은 TIMEOUT이므로 참가할 수 없습니다. DeepSeek은 중간 문제를 통과했어도 공식 경로가 거부되어 실행 대기 대상입니다. MiniMax M3는 네 과제를 통과했습니다(M3.1 무료 경로와 구분). 후보 목록은 실행 지시가 아니며 **이번에 실행하는 모델은 GLM 한 개뿐**입니다.

이전 공식 경로 재측정의 미확인 Kimi 요청은 미확인 상태로 보존하며, 이번 새 과제의 비용에 합치거나 0으로 확정하지 않습니다.


## GLM 기준선 실행 결과

- Run ID: `CR78-HD-1-r1`
- 판정: **PASS**, 검사 **36/36**
- 실제 시간: **18.76분** (시드·하네스 준비 포함; agent 1101.90초 + 자동 판정 8.70초)
- 실제 비용: **$0.616801**
- 토큰: 입력 **1,283,408**, 출력 **45,984**; 캐시 읽기는 입력의 부분집합이며 별도로 중복 합산하지 않음
- 공식 제공사 Z.AI 확인: **29/29 generation 영수증**, 미식별 요청 **0**
- 실제 모델 버전: `z-ai/glm-5.3-20260816`

새 어려운 맵에는 이 HD-1 단독 GLM 기준점만 표시합니다. 다른 모델과 비교한 순위나 기존 CMP와 합산한 지수가 아닙니다.

### 판정기 정정 · 동일 답안 재판정

원본 자동 판정은 외부 29/30으로 FAIL이었습니다. 유일한 실패는 인계 후 옛 Assignment를 폐기한 lease에 다시 명령을 보내고 성공을 요구한 항목입니다. 공개 문제 4·9항은 현재 binding과 다른 lease의 거부를 요구하며, 인계 후 옛 assignment를 유지해야 한다는 규칙은 없습니다. 따라서 이 실패를 모델 오류로 확정할 수 없습니다.

원본 문제지·판정기·FAIL 결과·제출 소스는 수정하지 않았습니다. [별도 판정기 1.1](../benchmarks/hard/v1/HD-1/adjudication/contract.cs)은 현재 Bind로 명령의 멱등성과 payload 충돌을 확인하고, 옛 callback은 lease가 폐기됐으면 상태 불변 거부, 유효하면 terminal no-op을 요구합니다. 두 경우 모두 모든 owner와 물리 수량이 불변이어야 합니다. 과제 요구를 완화하거나 특정 답안의 소스 패턴을 정답으로 인정하지 않습니다.

기준 구현(옛 assignment 유지)과 GLM 제출물(옛 assignment 폐기)이 모두 같은 판정기 1.1의 30개 검사를 통과했습니다. 모델 추가 호출은 0건입니다. 기존 실행 시간·토큰·청구 비용을 유지하고, 최종 결과에는 originalVerdict=FAIL 및 정정된 판정기/제출물 해시를 함께 보존합니다. 이후 비교 실행도 이 평가 revision 1.1을 고정해야 합니다.


### 후속 실행의 평가 정본

후속 모델은 [평가 revision 1.1 과제 정의](../benchmarks/hard/v1/HD-1/adjudication/task.json)와 [정정 판정기](../benchmarks/hard/v1/HD-1/adjudication/contract.cs)를 사용합니다. 문제 프롬프트와 seed fixture는 원본 그대로입니다. 과제 정의를 하네스의 `tasks/HD-1.json`에, 판정기를 `contracts/HD-1-1.1.cs`에 복사한 뒤 새 출력 폴더에서 실행합니다. 원본 1.0을 덮어쓰거나 이미 생성된 GLM 답안을 다시 생성하지 않습니다. 실행 전후에는 원본 fixture manifest와 별도 adjudication manifest의 해시를 검증합니다.

첫 GLM 기록에는 원본 `taskDefinitionSha256`과 `originalVerdict`를 보존하고, 최종 `evaluationRevision: 1.1`과 정정 판정기·동일 제출 소스 해시를 별도로 기록합니다. 채점기 정정으로 달라진 과제 정의 해시를 모델 입력이 달라진 것처럼 숨기지 않습니다.

