Video chỉ tải từ YouTube khi bạn bấm phát. Mở trên YouTube
Cùng Model AI, Hiệu Suất Gấp 6 Lần: Harness Engineering Là Hệ Điều Hành Của Agent
Nội dung video
Harness Engineering là cấu trúc điều phối bao quanh mô hình AI — đóng vai trò như hệ điều hành quản lý bộ nhớ, luồng xác thực và logic kiểm soát — và có thể tạo ra chênh lệch hiệu suất gấp sáu lần trên cùng một mô hình mà không cần thêm tham số. Natural Language Harness (viết quy tắc bằng ngôn ngữ tự nhiên thay vì Python/YAML) đạt hiệu suất tương đương nhưng tiêu tốn ít hơn 13 lần token và nhanh hơn 4,6 lần so với code truyền thống theo kết quả SWE Bench. Kỷ nguyên mới của kỹ thuật AI không còn là cuộc đua thêm tham số hay thêm công cụ — mà là nghệ thuật biết thứ gì cần mạnh dạn cắt bỏ để hệ thống không sụp đổ.
Ý chính
- Phương trình mới: AI Agent = Model + Harness. Harness là "hệ điều hành" quản lý 5 mẫu hình cốt lõi: prompt chaining, routing, parallelization, orchestrating workers, và vòng lặp đánh giá.
- Kiến trúc 3 tác nhân của Anthropic (planner + creator + evaluator) xuất sắc nhưng đẩy chi phí từ $9 lên $200 mỗi tác vụ — không thể mở rộng quy mô.
- SWE Bench: Natural Language Harness đạt 74-76% thành công tương đương code truyền thống, nhưng chỉ tiêu tốn 1,2 triệu token (so với 16,3 triệu) và hoàn thành trong 7 phút (so với 32 phút).
- MetaHarness (Stanford): AI dùng Claude Opus tự viết và tối ưu hóa harness từ hồ sơ lỗi thô. Mô hình nhỏ (2Q) với harness do AI tối ưu đánh bại Opus trên một số tác vụ phức tạp.
- Rủi ro bảo mật: 1/4 agent config mã nguồn mở chứa lỗ hổng nghiêm trọng. NLH dễ bị Prompt Injection vì hệ thống coi văn bản là hiến chương tuyệt đối.
Các phần trong video
Bấm vào mốc thời gian để phát từ đoạn đó.