Video chỉ tải từ YouTube khi bạn bấm phát. Mở trên YouTube
Skills ngăn AI tạo lỗ hổng bảo mật thầm lặng: DAX, MCP và Evals thực chiến
Nội dung video
Cuộc thảo luận bóc tách cách AI Agent vô tình tạo lỗ hổng bảo mật nghiêm trọng trong hệ thống Supabase/Postgres khi thiếu 'Skills' — tài liệu cục bộ định nghĩa luật chơi bảo mật và quy chuẩn dự án. Pedro Rodrigues từ Supabase trình bày cơ chế Progressive Disclosure giúp tối ưu context window, cùng hệ thống Evals dùng LLM-as-judge để liên tục kiểm tra hành vi AI trong production — và chứng minh rằng chính eval framework viết sai cũng có thể trừng phạt oan code đúng. Thảo luận kết thúc với câu hỏi mở: liệu AI có ngày tự viết lại Skills của chính nó để tự tiến hóa mà không cần sự can thiệp của lập trình viên?
Ý chính
- Skills vs MCP: MCP cho AI "tay chân" để gọi dịch vụ đám mây; Skills là "cẩm nang nội bộ" cục bộ định nghĩa luật chơi và quy chuẩn bảo mật của từng dự án
- Progressive Disclosure: Cơ chế tiết lộ lũy tiến chỉ nạp frontmatter tối thiểu ban đầu, mở nội dung chi tiết khi AI thực sự cần — tiết kiệm context window và chi phí token
- Demo thực tế: Không có Skills, Claude tạo SQL View thiếu cờ security_invoker = true, khiến bất kỳ người dùng nào cũng xem được toàn bộ dữ liệu lương công ty qua RLS bị bypass
- Evals và LLM-as-judge: Hệ thống kiểm thử phi tất định cho AI — nhưng eval framework viết sai còn nguy hiểm hơn không có eval (Pedro tự chứng minh điều này trong demo)
- Kỷ luật production: Skills phải được bảo trì như documentation, cập nhật cùng pull request khi thay đổi hệ thống; skills lỗi thời gây hại hơn không có skills
Các phần trong video
Bấm vào mốc thời gian để phát từ đoạn đó.