# OpenRouter 실행 담당자 → Astra 평가 담당자

> **2026-10-25 사용자 승인 교체:** 설계 표의 DeepSeek는 사용자가 DeepSeek Harness에서 작성한 max·high·low 답안15개와 주 대화의 직접 채점으로 교체했습니다. 이 배치는 비블라인드이며 기존 native 독립 블라인드 배치와 구분합니다. 비용은 공식 주말 비혼잡 시간 토큰 단가로 산출한 값으로, generation 청구 대조값이 아닙니다. 아래 OpenRouter 허용 목록·실행 정책을 변경하거나 새 호출을 허가하는 예외는 아닙니다. [별도 기록](deepseek-harness-2026-10-25.md)

**공식 프로바이더 정책(2026-10-21):** 현재 허용 목록은 개발사 직영 경로의 8모델입니다. DeepSeek는 공식 경로가 계정 정책으로 거부돼 최신 공개 결과와 새 실행에서 제외합니다. 아래 9모델·45답안 채점 기록은 보존한 원본이며, 최신 공개 결과는 나머지 8모델·40답안의 점수·시간·비용을 그대로 유지합니다. 제공사 변경 원장으로 외부 호스팅을 다시 허용할 수 없습니다.

> 원본 9개 모델·45개 답안과 청구 대조를 보존합니다. 최신 웹에는 공식 경로의 8개 모델·40개 답안을 사용합니다. 채점은 **2.0.0-impact 중요도 기준의 Astra / xhigh 블라인드 재채점**입니다. 답안마다 새 native 세션을 사용하며 OpenRouter 채점 호출은 금지합니다. 생성 조건과 이전 시도는 원본 실행 기록에 보존합니다. 점수가 우선이며 시간은 참고값입니다.

이전 900초/65,536토큰 조건은 각 배치 동결본에 보존합니다. 모델 입력·채점표는 그대로 유지하고, 이전 결과와 조건이 달라진 사실을 결과에 남깁니다.

## 1. 실행 전 고정

1. `v1/manifest.json`의 문제·공통 메시지·운영/채점 문서 SHA-256과 실제 UTF-8 파일 바이트를 대조합니다. 비공개 `release.json`의 출제·평가 패키지 해시도 함께 고정합니다.
2. 대상 모델의 **정확한 OpenRouter model ID**, 제공사 라우팅, 지원 에포트, 출력 한도를 배치 명세에 기록합니다. 자동 모델 선택/대체 모델은 사용하지 않습니다.
3. 현재 실행은 문제당 **1회**, **독립 대화**, **클라이언트 전체 시간 제한 없음**입니다. 임의의 비용 예산이나 공통 65,536토큰 상한을 두지 않고, 고정 제공사의 최대 출력 한도를 확인하여 요청에 사용합니다. 제공사 한도가 미확인이면 작은 기본값으로 대신 실행하지 않습니다.
4. 에포트와 thinking 여부는 아래 사용자 확정 목록을 그대로 사용합니다. `thinking on`은 `reasoning.enabled: true`이며 `max`로 임의 변경하지 않습니다. 지원 정보와 요청값을 함께 저장하고, 미지원 설정은 자동으로 낮추지 않습니다.
5. 테스트 입력과 도구 금지는 같고, 제공사별 물리적 출력 한도는 다를 수 있습니다. 점수가 우선이며, 동시 실행 시간은 참고값입니다. 각 모델의 실제 실행 조건을 결과에 남깁니다.

## 2. 모델에 보내는 입력

`POST https://openrouter.ai/api/v1/chat/completions`

- `model`: 배치에 고정한 정확한 ID.
- `messages[0]`: role `system`, `v1/system.md` 파일 내용 **그대로**.
- `messages[1]`: role `user`, 해당 `v1/DES-N.md` 파일 내용 **그대로**.
- `max_tokens`: 실행 직전 고정한 제공사의 최대 출력 한도.
- `reasoning.effort`: 사용자 지정값. Kimi와 MiMo는 에포트 대신 `reasoning.enabled: true`.
- `provider.allow_fallbacks`: `false`; `provider.require_parameters`: `true`. 지정한 제공사 순서도 원장에 저장.
- `stream`: `true`. 전체 시간 제한 없이 헤더 요청 ID, raw SSE, 답안 본문을 증분 저장하고 마지막 usage를 보존합니다.
- temperature/seed 등은 임의 강제하지 않고 미지정으로 통일. 실제 요청 JSON을 보존.
- tools/plugins, 외부 검색, 코드 실행, 추가 대화, 서브에이전트는 없습니다.

응답 `message.content`만 답안입니다. 내부 reasoning 내용은 채점 자료로 보내지 않습니다.
추론에 토큰을 소진하여 `finish_reason=length`이고 본문이 비어 있으면 `TRUNCATED`, 답안 점수 0입니다.
후속 호출로 답안을 완성하지 않습니다.

OpenRouter의 에포트 지원 정보 및 추론/출력 한도 처리는 [공식 reasoning 문서](https://openrouter.ai/docs/guides/best-practices/reasoning-tokens)를 따릅니다. 특정 값이 요청됐다는 기록과 실제 적용이 확인됐다는 기록을 구분합니다. 적용 증거를 받지 못하면 `effectiveEffort: null`, `effortEvidence: "request-only"`입니다.

## 3. 런마다 수집할 기록

| 분류 | 필수 필드 |
|---|---|
| 식별 | `suiteId`, `taskId`, `runId`, `batchId`, `attempt`, `modelId`, `returnedModel`, `provider`, `generationId` |
| 입력 | `systemSha256`, `promptSha256`, `requestSha256`, `protocolManifestSha256`, `releaseSha256`, 원본 요청 JSON 경로 |
| 조건 | `requestedEffort`, `effectiveEffort`, `effortEvidence`, 지원 정보 스냅샷, `maxTokens`, `timeoutSeconds` |
| 시간 | `startedAt`, `endedAt` UTC, monotonic clock으로 잰 `elapsedSeconds` — 요청 직전부터 응답 수신 또는 시간 초과까지 |
| 결과 | `status`, `finishReason`, `answerPath`, `answerSha256`, HTTP 상태·오류 |
| 사용량 | `promptTokens`, `completionTokens`, `cachedTokens`, `reasoningTokens`, 응답 원본 `usage` |
| 비용 | `costUsd`, `costStatus`, generation 조회 원본, 실패 시도 비용 |

누락된 사용량/비용은 0이 아니라 `null`입니다. 토큰 수를 알 수 없으면 원본 응답과 generation ID로 복구합니다.
API 응답의 usage 비용과 generation 조회를 대조합니다. 캐시·추론 비용이 이미 청구 비용에 포함되면 더하지 않습니다.
비용 복구 중에도 답안과 채점 결과는 보존하고 `costStatus: pending`으로 표시합니다.
단순한 “총 토큰 × 입력 단가”를 실청구 비용으로 취급하지 않습니다.
공식 [usage accounting](https://openrouter.ai/docs/cookbook/administration/usage-accounting)에 따라 usage 및 `GET /api/v1/generation?id=...` 원본을 저장합니다.

시간 초과로 응답 ID를 못 받은 요청은 요청 시각·모델·계정 활동으로 청구를 대조하고, 연결이 확정되지 않으면 비용 미확정으로 남깁니다.
통신 장애로 재시도할 때도 이전 요청이 완료·청구됐는지 먼저 확인하고 중복 답안을 최선 답안으로 교체하지 않습니다.
판정은 [scoring.md의 시간 초과 경계](scoring.md#timeout과-infra_error의-경계)를 따릅니다. 과거 한도 있는 배치는 당시 한도를 적용하고, 현재 배치는 전체 시간 제한을 두지 않습니다. 네트워크/HTTP/API 오류는 증거를 남깁니다. 사용량 유무나 모델 이름으로 분류를 바꾸지 않습니다. 사용자 지정 조건 변경 재측정은 새 배치로 기록하며 이전 시도를 보존합니다.

## 4. 평가용 익명화

원본 답안은 수정하지 않고 해시를 보존합니다. 답안 ID를 무작위로 부여하고 모델 ID 대응표는 실행 담당자가 보관합니다.
독립 블라인드 평가를 수행할 때에는 모델명·제공사·비용·에포트·다른 모델의 답안을 전달하지 않습니다. 초기 GLM 직접 채점 기록과 보존한 45개 답안의 독립 블라인드 재채점은 구분합니다. 모델명·가격·문체로 점수를 추정하지 않으며 답안 본문은 원본 그대로 보존합니다.

Astra에 전달할 패키지:

1. 현재 배치에 동결한 `grading-policy.md`와 `grade-schema.json`.
2. 공통 출제문 `system.md` + 해당 문제 원문.
3. 해당 문제의 `rubrics.json` 항목 및 구현 근거 `source-evidence.md` 해당 절.
4. 익명 답안 원문 + `answerSha256`, 문제·채점표 버전/해시, 제출 상태.

OpenRouter 평가 API를 호출하지 않습니다. 답안마다 새 Astra / xhigh native 세션을 만들고 20개 항목을 검토 목록으로 사용합니다. 원인별 중요도 1~5와 정확한 인용·영향·수습을 기록하며 같은 원인은 한 번만 감점합니다. 모든 결함 쌍에서 한쪽 수정 후 다른 결함이 남는지 설명합니다. 실제 turn_context의 모델·에포트, 채점표/답안 해시와 평가 시각을 확인하며 증거가 없으면 추측하지 않습니다.
개인 기억·과거 답안·웹·저장소 검색·실행 도구를 평가에 넣지 않습니다. 필요 근거는 패키지에 직접 넣습니다.
사이트의 모델 실행 비용과 이전 OpenRouter Astra 평가 비용은 별도 원장으로 보존합니다. 직접 채점은 외부 API 청구를 추가하지 않습니다. 구독 사용량을 API 비용 0으로 환산한 것으로 해석하지 않습니다.

## 5. 채점 결과 수신과 사이트 인계

Astra가 반환한 JSON을 현재 배치의 동결 스키마와 검증기로 검사합니다.
20개 검토 항목의 누락/중복, 중요도 1~5 범위 위반, 원인 키 중복, 정확 인용 불일치, 연결 누락, 독립성 쌍 누락, 감점 합계 오류는 유효한 평가가 아닙니다. 기계 검증만으로 의미적 독립성이 증명되지는 않으므로, 익명 원인·영향·수습 검토로 중복 감점과 근거를 추가 확인합니다.
형식 오류만 같은 패키지로 정정 요청하고 이전 응답도 보존합니다. 점수가 마음에 들지 않는다는 이유로 반복 채점하지 않습니다.
판단 충돌은 `REVIEW_REQUIRED`; 운영자가 기준 결함을 고치면 영향받는 모든 답안을 같은 채점표 버전으로 다시 평가합니다.

사이트 담당자에게 실행 원장 JSONL, 익명 답안, Astra 채점 JSONL, 버전/해시 목록, 비용 대조 결과를 전달합니다.
설계 측정 결과는 `data/design-results.json`에 별도 저장합니다. 기존 easy/hard JSON에 설계 점수를 덧붙이지 않습니다.


## 현재 공식 대상과 실행 조건

- [v1/targets.json](v1/targets.json)이 현재 허용 목록입니다. **GLM 포함 8종**, 전체 세트 기준 5문제씩 40답안입니다. 사용자 지정 9종 중 공식 경로가 거부된 DeepSeek를 제외했습니다. 과거 배치를 재개해도 현재 허용 목록과 공식 제공사 설정을 검사합니다. 원래 9종·45답안 조건은 각 배치의 동결본에 보존합니다.

| 모델 | 사용자 지정 설정 |
|---|---|
| GLM 5.3 | max |
| Kimi K3 | thinking on |
| GPT-6.1 Sol | xhigh |
| Claude Opus 5.5 | xhigh |
| Claude Sonnet 5.5 | xhigh — 사용자가 모델명 확인 |
| Grok 4.7 | xhigh |
| Gemini 4 Argon | high — 사용자가 지원 최고값으로 확정 |
| MiMo v2.6 Pro | thinking on |

- Gemini의 미지원 설정을 자동으로 high로 변경하지 않으며, 요청 수용만으로 실제 xhigh 적용을 주장하지 않습니다.
- 평가자는 Astra / xhigh의 답안별 새 native 세션입니다. 모델명과 이전 점수는 전달하지 않습니다. 사용자 결정에 따라 OpenRouter Astra 채점은 중단했고 실행기에서 차단했습니다.
- 응시 모델은 공개 문제 두 메시지만 받습니다. Astra는 익명 답안과 해당 문제의 비공개 채점표/근거만 받습니다.
- 제공사 endpoint를 실행 직전에 고정하고 자동 fallback을 끕니다. 원본 API 요청·응답, generation 청구, 답안과 채점 JSON을 사이트 밖 `C:/Projects/Bench/minorbench-design-runs/`의 배치별 폴더에 보존합니다. `2026-10-20-astra-max`와 `2026-10-20-glm-baseline-64k`는 보존한 이전 배치이며, 선택한 GLM 기준 답안은 `2026-10-20-glm-des4-des5-provider-max`에 있습니다.
- 응시 비용과 Astra 평가 비용을 별도 합산합니다. `effectiveEffort`는 응답 또는 generation에 명시된 증거가 있을 때만 채웁니다.
- 실행기: `prepare`, `answers`, `reconcile`, `summary` 단계. 현재 기준 측정 명령은 실행 기록을 따릅니다. `judge`와 `judge-watch`는 외부 API 호출 전에 거부합니다. 완료한 호출을 재실행하지 않습니다.

## 현재 웹 결과 — 공식 프로바이더

정본은 `C:/Projects/Bench/minorbench-design-runs/2026-10-21-astra-blind-impact-v2/`의
`summary.json`, `verification.json`, `blind/` 채점 원본입니다.
개정 기준은 `frozen/rubrics.json`과 `frozen/grading-policy.md`에 동결했습니다.
20개 항목은 배점 대신 검토 목록으로 사용합니다. 원인별 중요도 1~5점을 차감하고 같은 원인은 한 번만 감점합니다.
원본 9개 모델·45개 답안·900개 검토 항목과 실제 native 세션의 Astra / xhigh 적용 45/45를 검증했습니다. 최신 공개 결과는 DeepSeek를 제외한 8개 모델·40개 답안·800개 검토 항목이며, 기존 채점을 그대로 사용합니다.
웹에는 이 재채점 결과만 사용하며, 이전 평가와의 비교 점수·로컬 경로·비공개 정답 자료는 가져오지 않습니다.
원본 답안 생성 시간·generation 청구 비용과 토큰은 보존합니다. native 채점의 구독 사용량을 USD 0으로 환산하지 않습니다.

결과를 반영하거나 대조할 때:

```bash
python scripts/import-design-results.py --run C:/Projects/Bench/minorbench-design-runs/2026-10-21-astra-blind-impact-v2
python scripts/import-design-results.py --run C:/Projects/Bench/minorbench-design-runs/2026-10-21-astra-blind-impact-v2 --check
node scripts/build-design-suite.cjs
```
