decode bộ đánh giá

Tài liệu khóa học về agent, không phải một phần của nó — phần này evals/ gói hàng không bao giờ được vận chuyển trong bánh xe (ADR-0017 §1). Nó mang theo bốn bản nhạc (Kỹ năng demo, Điểm chuẩn, thăm dò hồi quy và trực tuyến track) trên harness Opik được chia sẻ. Bản đồ bốn đường là running_the_code/05_evals.md; cái này README ghi lại lộ trình đánh giá trực tuyến (ADR-0017 §10, nhiệm vụ 117).

Đánh giá trực tuyến — tính điểm lưu lượng REPL trực tiếp

Mọi đường đua khác điều khiển agent và chấm điểm lượt chạy. Bản nhạc trực tuyến là bản đánh giá sản xuất câu chuyện: nó chấm điểm Dấu vết decode đã được phát ra từ REPL thực phiên và decode run các lệnh gọi (ADR-0014), được ghi điểm trong dự án trực tiếp Opik (settings.opik_project_name — decode / decode-<env>), không bao giờ EVAL_PROJECT_NAME.

Có hai nửa và chúng bổ sung cho nhau:

1. Quy tắc trực tuyến của Opik — thẩm phán Opik tự động chạy trên các dấu vết mới khi chúng đến (thiết lập một lần, trong giao diện người dùng dự án Opik);
2. vượt qua cấp luồng theo kịch bản — python -m evals online, một đơn Thẩm phán cuộc trò chuyện qua Chủ đề gần đây bạn chạy tiếp nhu cầu từ CLI.

1. Quy tắc trực tuyến (được thiết lập một lần, trong giao diện người dùng Opik)

Quy tắc trực tuyến là LLM-với tư cách là giám khảo Opik đánh giá trên mọi dấu vết đến, đính kèm điểm phản hồi sau đó bạn có thể lọc và lập biểu đồ. Thiết lập quy tắc một về chất lượng phản hồi/có căn cứ:

1. Chọn dự án. Mở dấu vết decode dự án Opik trong — decode tại địa phương, hoặc decode-<env> cho một điều khiển từ xa DECODE_ENV (ADR-0014/ADR-0015). Đây là giá trị python -m evals online in dưới dạng dự án trực tiếp, vì vậy hãy chạy nó một lần (bên dưới) để xác nhận tên.

2. Thêm quy tắc đánh giá trực tuyến. Trong Đánh giá trực tuyến của dự án (hay còn gọi là Quy tắc / Tự động hóa), hãy tạo quy tắc mới thuộc loại LLM-as-thẩm phán.

3. Phạm vi. Tốc độ lấy mẫu 1.0 trong khi bạn đang demo (ghi điểm ở mọi dấu vết); một bộ lọc là tùy chọn — để trống để đánh giá mỗi lượt hoặc lọc theo name / tag nếu dự án bận rộn.

4. Chọn mô hình đánh giá. Nhà cung cấp riêng của bộ decode trận đấu để điểm số luôn có thể so sánh với kịch bản vượt qua - ví dụ: gemini/gemini-2.5-flash (mặc định harness; cùng một chuỗi EVAL_JUDGE_MODEL / judge_model() giải quyết).

5. Ánh xạ các biến theo dõi. Trỏ vào quy tắc {{input}} ở đầu vào dấu vết và {{output}} tại đầu ra theo dõi - hai trường giống nhau mà các phép biến đổi theo kịch bản đọc.

6. Viết lời nhắc chấm điểm — CHẤT LƯỢNG. Ghi điểm response_quality (0–10) điểm phản hồi từ các tiêu chí được diễn đạt dưới dạng phẩm chất cần tìm, không bao giờ dưới dạng phán đoán bằng số:

   Đánh giá xem câu trả lời cuối cùng của trợ lý giải quyết yêu cầu của người dùng tốt đến mức nào, căn cứ vào tệp, kết quả đầu ra của công cụ và lời nhắc được đưa ra.

   Câu trả lời có điểm cao sẽ giải quyết trực tiếp những gì người dùng hỏi, chỉ trích dẫn các sự kiện có trong không gian làm việc hoặc lời nhắc và không phát minh ra tệp, hàm hoặc giá trị nào. Một câu trả lời có điểm thấp trôi đi không đúng yêu cầu, mơ hồ hoặc khẳng định những điều không có gì trong dấu vết hỗ trợ.

   Không viết "Điểm 1,0 nếu có căn cứ, nếu không thì 0,0." Một nhị phân/1.0/0.0 hướng dẫn va chạm với thang đo đầu ra 0–10 của chính giám khảo và tạo ra điểm số không mạch lạc (bài học nhiệm vụ-114). Nêu rõ phẩm chất; hãy để thẩm phán đặt chúng lên thang đo của nó.

7. Save, sau đó xem dấu vết. Lượt mới trong dự án đón một response_quality phản hồi ghi điểm ngay sau khi đến nơi. Trên mỗi Dấu vết, bạn sẽ thấy điểm cộng với văn bản của giám khảo lý do; ở cấp độ dự án, bạn có thể lọc (feedback_scores.response_quality < 5) và lập biểu đồ ghi điểm theo thời gian - sự suy giảm về chất lượng câu trả lời trực tiếp sẽ hiển thị mà không cần chạy.

2. Vượt qua cấp luồng theo kịch bản (python -m evals online)

Trong trường hợp quy tắc chấm điểm từng dấu vết tại một thời điểm khi nó xuất hiện, thì toàn bộ lượt vượt qua theo kịch bản sẽ được chấm điểm cuộc trò chuyện. Nó điều hành một thẩm phán ở cấp độ hội thoại (Opik's ConversationalCoherenceMetric, được định tuyến tới nhà cung cấp decode) qua các Chủ đề gần đây trong dự án trực tiếp thông qua evaluate_threadsvà ghi lại điểm của mỗi luồng vào cùng một luồng đó.

# Score every thread in the live project:
python -m evals online

# Scope to recent threads with an Opik OQL filter:
python -m evals online --filter 'start_time > "2026-07-01T00:00:00Z"'

Nó in một dòng trên mỗi luồng - <thread_id>: conversation_coherence=<score> - và tổng cộng. các thread_id là id phiên (REPL) hoặc Kitaru exec_id (decode run), phím hội thoại của Opik (ADR-0014).

Chìa khóa. Cần có thẻ OPIK_API_KEY (để tiếp cận các chủ đề) và khóa đánh giá của nhà cung cấp đang hoạt động (GEMINI_API_KEY theo mặc định). Không có chúng, nó bỏ qua thân thiện - nó in ra những vars nào cần đặt và lối thoát 0, vậy --help và thanh toán không cần chìa khóa không bao giờ có lỗi:

evals online: skipped — set OPIK_API_KEY, GEMINI_API_KEY to score live threads.

** Tại sao lại là dự án trực tiếp chứ không phải EVAL_PROJECT_NAME.** Nhật ký theo dõi điểm chuẩn và hồi quy decode-evals nên chúng không bao giờ gây ô nhiễm dấu vết trực tiếp (ADR-0017 §9). Đánh giá trực tuyến đảo ngược điều đó trên mục đích: chấm điểm lưu lượng truy cập thực tại chỗ là toàn bộ vấn đề, do đó, điểm số của nó sẽ được gắn vào video trực tiếp chủ đề (eval_project_name=None).