Anthropic - Kỹ Thuật Ngữ Cảnh Hiệu Quả Cho Tác Nhân AI

Nội dung video

Effective context engineering for AI agents - Anthropic 1. Tầm quan trọng và Ràng buộc của Ngữ cảnh • Ngữ cảnh là một nguồn tài nguyên quan trọng nhưng có giới hạn đối với các tác tử AI. • LLMs chịu giới hạn về "ngân sách chú ý" (attention budget), tương tự như bộ nhớ làm việc có giới hạn của con người. Mỗi token mới được đưa vào sẽ làm giảm ngân sách này. • Khi số lượng token trong cửa sổ ngữ cảnh tăng lên, khả năng mô hình nhớ lại thông tin chính xác sẽ giảm—được gọi là suy giảm ngữ cảnh (context rot). • Điều này xuất phát từ kiến trúc transformer, nơi mỗi token phải chú ý đến mọi token khác (dẫn đến mối quan hệ $n^2$ cho $n$ token). Kỹ thuật ngữ cảnh chu đáo là thiết yếu để xây dựng các tác tử có năng lực. 3. Giải phẫu Ngữ cảnh Hiệu quả Mục tiêu của Kỹ thuật Ngữ cảnh hiệu quả là tìm ra tập hợp token tín hiệu cao nhỏ nhất có thể nhằm tối đa hóa khả năng đạt được kết quả mong muốn. Các thành phần chính của ngữ cảnh bao gồm: • Prompt Hệ thống (System prompts): Nên cực kỳ rõ ràng, sử dụng ngôn ngữ trực tiếp và đơn giản, và ở "độ cao phù hợp" (Goldilocks zone). Chúng phải đủ cụ thể để hướng dẫn hành vi hiệu quả nhưng đủ linh hoạt để cung cấp các heuristic mạnh mẽ, tránh việc mã hóa logic phức tạp, dễ hỏng hoặc đưa ra hướng dẫn quá mơ hồ. Prompt nên được tổ chức thành các phần riêng biệt (sử dụng thẻ XML hoặc tiêu đề Markdown) và hướng tới tập hợp thông tin tối thiểu cần thiết để phác thảo hành vi mong đợi. • Công cụ (Tools): Cho phép tác tử tương tác với môi trường và kéo thêm ngữ cảnh. Công cụ phải thúc đẩy hiệu quả token, tự chứa (self-contained), mạnh mẽ, và cực kỳ rõ ràng về mục đích sử dụng. Tránh các bộ công cụ cồng kềnh hoặc mơ hồ gây khó khăn trong việc quyết định sử dụng công cụ nào. • Ví dụ (Examples): Nên chọn lọc một tập hợp các ví dụ đa dạng, điển hình (canon