Nhiệm vụ điểm chuẩn

Điểm chuẩn kết quả decode (ADR-0017 §2,5). Mỗi tác vụ là một thư mục ở đây — evals/benchmark/tasks/<NNN>-<slug>/ - được xếp loại theo ẩn verify.sh oracle. Thư mục LÀ hợp đồng; bộ nạp (evals/harness/task_loader.py) xác nhận nó và khai thác oracle-sanity (tests/unit/evals/benchmark/test_oracle_sanity.py) giữ cho mọi lời tiên tri trung thực theo cả hai hướng.

20 nhiệm vụ thực tế nằm trong nhiệm vụ 108-110. README này cùng với bộ nạp/khai thác oracle là định dạng.

Bố cục thư mục

<NNN>-<slug>/
├── task.yaml       # the agent-facing spec (below)
├── setup/          # seeded into the Workspace BEFORE the run
│   ├── ...         # files copied verbatim
│   └── setup.sh    # OPTIONAL, run in the Workspace after seeding
├── verify/         # the HIDDEN oracle — injected only at grade time
│   ├── verify.sh   # REQUIRED: exit 0 (prints PASS) = success
│   └── ...         # OPTIONAL hidden test files
└── solution/       # gold overlay onto setup/ — oracle-sanity ONLY, never in an agent run
    └── ...

task.yaml

id: 001-fix-flaky-test        # unique, non-empty
prompt: |                     # what the AGENT sees — never mentions verify/ or the oracle
  The test suite is flaky. Make `pytest` pass reliably.
max_steps: 30                 # model-request budget (> 0)
difficulty: medium            # easy | medium | hard
tags: [python, testing]       # slice labels (may be empty)
judges:                       # OPTIONAL G-Eval add-ons (ADR-0017 §7)
  - name: minimal_diff
    task_introduction: Judge whether the fix is minimal.
    # Phrase criteria QUALITATIVELY (qualities of a good/bad answer) — never "Score 1 if …" numeric
    # verdicts, which collide with the judge's 0–10 scale (task-114 lesson; see ../../README.md step 6).
    evaluation_criteria: >-
      The fix is fully minimal when only the flaky assertion changed; it is a poor, bloated diff when
      unrelated files churned.

Các khóa không xác định bị từ chối — trường lỗi đánh máy bị lỗi nặng thay vì bị bỏ qua.

Bốn thư mục

• setup/ — đã sao chép nguyên văn vào Không gian làm việc mới trước khi agent chạy. setup/setup.sh (tùy chọn) chạy trong Vùng làm việc sau khi gieo hạt, đối với trạng thái không thể là tệp đã cam kết: git lịch sử, DB sqlite, mã hóa hỗn hợp.
• verify/ — lời tiên tri ẩn giấu. verify.sh là logic chấm điểm (kiểu Terminal-Bench): thoát 0 = ĐẠT, khác 0 = THẤT BẠI. CHỈ được đưa vào Không gian làm việc vào giờ học; agent không bao giờ nhìn thấy nó và prompt không bao giờ đặt tên cho nó. verify.sh chỉ có thể sử dụng bash, python, git, sqlite3 vì vậy nó chạy giống hệt phía máy chủ (oracle-sanity) và trong hình ảnh hộp cát.
• solution/ — một giải pháp vàng chuyên dụng được phủ lên setup/. CHỈ được sử dụng bởi Khai thác oracle-sanity để chứng minh oracle đưa ra câu trả lời đúng; nó không bao giờ đi vào một agent chạy.

Không gian làm việc theo giờ học

harness oracle-sanity và bộ chạy xây dựng Không gian làm việc theo cùng một cách: hạt giống setup/, chạy setup.sh, (agent làm việc, hoặc solution/ được phủ lên), tiêm verify/ tại thư mục gốc Workspace, sau đó bash verify.sh từ gốc đó. Vì vậy verify.sh xem các tệp Workspace tại ./ và ẩn giấu của riêng nó người giúp việc bên cạnh.

Đồng bộ hóa với Opik

python -m evals sync --benchmark nâng cao một mục cho mỗi nhiệm vụ (task_id, difficulty, tags) vào cái decode-benchmark-v1 tập dữ liệu. Idempotent — Opik loại bỏ trùng lặp theo nội dung.