# 설계 답안 평가 규칙 v2 — 중요도

## 현재 적용 기준 — 2026-10-21

**2.0.0-impact**는 실제 영향과 수습 범위에 따라 감점하는 기준입니다.
공개 문제와 기존 답안은 보존하고, Astra / xhigh가 답안마다 새 native 세션에서 다시 읽습니다.
모델명·제공사·에포트·시간·가격·이전 점수는 채점 입력에서 숨깁니다.
Opus 검토로 정리한 문제별 허용 범위를 유지하며, 기존 감점을 단순 환산하지 않습니다.

## 점수

문제당 100점에서 **서로 독립인 원인별 중요도**를 한 번씩 뺍니다.
5문제의 산술 평균이 모델의 점수입니다. 시간과 비용은 별도로 표시합니다.

| 감점 | 실제 영향과 수습 범위 |
|---:|---|
| -1 | 핵심 동작은 유지됩니다. 설명의 작은 공백이나 시험 관측 근거를 보완하면 됩니다. |
| -2 | 한 화면·분기·국소 동작에 제한된 오류입니다. 주변 상태나 영속 데이터 손상 없이 수습할 수 있습니다. |
| -3 | 주요 작업이 정상 완료되지 않거나 재시도·수작업 정리가 필요합니다. 핵심 흐름이나 조건을 수정해야 합니다. |
| -4 | 여러 시스템 상태가 어긋나 전체 흐름의 안전한 정지·재결속·복구가 필요합니다. 국소 수정만으로 노출된 불일치를 수습할 수 없습니다. |
| -5 | 저장 손상, 재고 복제·소실, 중복 정산, 잘못된 소유권 이전처럼 지속되는 데이터 무결성 손상입니다. 오염된 상태를 복구하기 어려운 경로가 근거로 확인됩니다. |

누락만 보고 최악의 피해를 가정하지 않습니다. 확인된 영향과 복구 범위에 도달하는 단계 하나를 적용합니다.
난이도 가중치나 별도 상한·숨겨진 배수는 없습니다. 모든 감점은 공개된 사유의 합계로 설명되어야 합니다.

```text
문제 점수 = max(0, 100 - 고유 원인별 중요도의 합)
모델 점수 = 5문제 점수의 합 / 5
```

## 같은 원인은 한 번만

원인 → 발생 조건 → 영향 → 수정·복구를 하나의 결함으로 기록합니다.
같은 규칙이 설명·처리 흐름·그 규칙을 기대하는 시험에 반복되어도 한 번만 감점합니다.
관련 검토 항목은 하나의 결함에 모두 연결합니다. 영향이 여러 개여도 중요도를 합산하지 않습니다.

예를 들어 필수 owner 재연결 실패를 성공으로 처리하는 규칙이 성공 조건·게시 흐름·시험에 모두 나타나면 하나의 원인입니다.
그 규칙을 고치면 함께 고쳐지는 시험 기대값을 다시 감점하지 않습니다.
서로 다른 결함으로 나누려면 **한쪽을 고쳐도 다른 쪽이 그대로 재현되는지**를 모든 결함 쌍에서 확인합니다.
독립된 문제 사이의 이질적인 결함을 “검증 부족” 같은 추상적인 이름으로 합치지는 않습니다.

## 확인하는 범위

| 검토 영역 | 확인하는 내용 |
|---|---|
| 요구사항과 불변조건 | 유지해야 할 상태·수량·사용자 동작 |
| 책임과 데이터 | 소유자·식별자·입출력·쓰기 권한 |
| 처리 흐름 | 호출 순서·상태 전이·판단 및 반영 시점 |
| 실패와 경계 조건 | 공개된 취소·중복·오류·경쟁 상황 |
| 구현 인계와 검증 | 연결 지점·구체적인 초기 상태와 기대값 |

영역별 4개, 총 20개 항목은 빠짐없이 읽기 위한 검토 목록입니다. 항목마다 점수를 매기지 않습니다.
각 결함에는 정확한 답안 인용 또는 찾지 못한 계약, 중요도, 실제 영향, 수습 방법과 중복 감점하지 않은 이유를 남깁니다.

- 공개 요구를 만족하는 다른 자료구조·클래스 구성·처리 순서를 인정합니다.
- 공개 문제에서 확정하지 않은 정책은 일관된 합리적 가정을 인정합니다.
- 원 구현은 문제의 배경이며, 클래스명·특정 패턴·문서 길이를 정답으로 강제하지 않습니다.
- “원자적”, “멱등”, “검증한다”는 선언은 책임·조건·시점·관측 결과와 함께 확인합니다.
- 문제에 없는 최적화나 실패 유형을 추가 요구하지 않습니다.

## 집계와 기록

이번 재채점 대상은 기존 `COMPLETE` 답안 45개입니다. 원문과 생성 시간·토큰·청구 비용을 보존합니다.
답안을 새로 생성하거나 이전 평가 중 높은 점수를 고르지 않습니다.
입력이나 요구가 충돌해 공정한 채점이 불가능하면 `REVIEW_REQUIRED`로 보류하고, 미완료 평가가 있으면 모델 평균을 게시하지 않습니다.
새로운 빈 답안·미완료 답안의 처리 방식은 해당 실행 계약에서 먼저 고정합니다. 이를 이번 완성 답안의 판정에 소급하지 않습니다.

### TIMEOUT과 INFRA_ERROR의 경계

과거 실행의 `TIMEOUT`과 `INFRA_ERROR` 분류·시도 비용은 원본 기록을 따릅니다.
현재 생성 방침은 점수 우선·시간 참고이며 전체 클라이언트 시간 제한을 두지 않습니다.
통신·인증·서비스 오류는 증거를 남겨 인프라 오류로 기록하고, 좋은 답안을 얻기 위한 재시도는 하지 않습니다.
재채점에 사용한 native 구독 사용량을 USD 0으로 환산하지 않습니다.

## 웹 표시

2026-10-25 사용자가 승인한 DeepSeek Harness 교체는 같은 `2.0.0-impact` 기준의 직접 채점(비블라인드)15답안입니다. 기존 독립 블라인드 채점의 실행 증거를 이 답안들에 재사용하지 않습니다. 표·상세 데이터에 `gradingMethod: direct-nonblind`를 기록하고, 평가 방식 설명도 혼합 방식을 밝힙니다. 점수와 감점 원인은 [별도 기록](deepseek-harness-2026-10-25.md)을 따릅니다.

메인에는 **점수·작성 시간·답안 API 비용**만 표시합니다.
모델을 펼치면 문제별 점수와 원인별 사유, 실제 감점 `(-1)`~`(-5)`를 보여줍니다.
미측정은 `—`이며 예시 점수를 실측처럼 표시하지 않습니다.
이전 버전과는 채점 방식이 다르므로 점수 변화를 모델 성능 향상이나 블라인드 효과만으로 해석하지 않습니다.
