Video chỉ tải từ YouTube khi bạn bấm phát. Mở trên YouTube
Thuần Hóa AI Khó Đoán: Đánh Giá Liên Tục Multi-Agent Gemini
Nội dung video
Cuộc thảo luận giải thích vì sao hệ thống AI đa tác nhân không thể chỉ dựa vào kiểm tra thủ công, vì cùng một prompt có thể cho ra kết quả tốt hôm nay và sai lệch ngày mai. Audio đi từ code-based graders và LLM-as-judge đến rubric động, trajectory precision, đánh giá lặp ở quy mô lớn và shadow deployment để giảm rủi ro trước khi triển khai. Kết luận quan trọng là kỹ thuật phần mềm truyền thống không biến mất trong kỷ nguyên AI, mà phải tiến hóa để đo được luồng suy luận xác suất.
Ý chính
- Vì sao VIP checks và kiểm tra thủ công tạo cảm giác an toàn giả, nhưng không thể mở rộng cho golden paths của sản phẩm AI.
- Cách code-based graders ép cấu trúc đầu ra như JSON để tạo hàng rào kỹ thuật đầu tiên.
- LLM-as-judge: dùng mô hình mạnh hơn như Gemini Pro để chấm mô hình thực thi nhẹ hơn như Gemini Flash theo tiêu chí rõ ràng.
- Reference-based metrics, trajectory precision và hallucination checks giúp đánh giá cả kết quả cuối cùng lẫn đường đi của agent.
- Rubric động và chạy đánh giá nhiều lần ở quy mô lớn giúp giảm nhiễu xác suất khi chính evaluator cũng là AI.
- Shadow deployment và CI/CD giúp kiểm thử phiên bản mới trên môi trường thật trước khi chuyển traffic người dùng.
Các phần trong video
Bấm vào mốc thời gian để phát từ đoạn đó.