Phản hồi của công cụ lớn
Tự động chuyển các phản hồi lớn từ công cụ MCP sang môi trường sandbox thay vì làm ngập cửa sổ ngữ cảnh của tác nhân.
Tại sao
- Lệnh gọi công cụ MCP có thể trả về một lượng lớn dữ liệu, điều này có thể nhanh chóng làm đầy cửa sổ ngữ cảnh hiện có.
- Có thể người dùng không thể kiểm soát lượng dữ liệu mà máy chủ trả về chỉ bằng cách điều chỉnh các tham số của công cụ. Việc lấy một yêu cầu kéo duy nhất vẫn có thể trả về một
descriptiontrường dữ liệu rất lớn.
Chức năng xử lý phản hồi từ các công cụ lớn được bật theo mặc định và yêu cầu phải bật chế độ hộp cát của tác nhân (dữ liệu được chuyển tải sẽ được ghi vào một tệp trong hộp cát).
Cách thức hoạt động
Hai ngưỡng bổ sung chi phối thời điểm các phản hồi của công cụ được ghi vào môi trường thử nghiệm thay vì giữ nguyên trong ngữ cảnh: Phản hồi của một công cụ duy nhất quá lớn. Nếu phản hồi của một công cụ riêng lẻ vượt quá ngưỡng cho mỗi lần gọi (mặc định là 6.000 token ), toàn bộ kết quả sẽ được ghi vào một tệp trong môi trường thử nghiệm và được thay thế bằng một bản xem trước ngắn (mặc định là 100 ký tự đầu tiên và cuối cùng ) cùng với đường dẫn tệp.Các lệnh gọi công cụ song song trả về cùng lúc. Khi tác nhân thực hiện nhiều lệnh gọi công cụ song song, không có phản hồi nào được vượt quá ngưỡng cho mỗi lệnh gọi, nhưng tổng kích thước của chúng vẫn có thể làm tràn cửa sổ ngữ cảnh. Nếu tổng nội dung của các lệnh gọi công cụ vượt quá ngưỡng tổng cộng (mặc định là 10.000 token ), hệ thống sẽ xử lý từng phản hồi một – bắt đầu từ phản hồi lớn nhất – cho đến khi tổng số giảm xuống dưới giới hạn. Các phản hồi nhỏ nhất vẫn được giữ nguyên và các phản hồi lớn nhất sẽ được lưu vào ổ đĩa.
Trong mọi trường hợp, nội dung đã được sao lưu vẫn có thể truy cập được – tác nhân có thể đọc, grepxử lý hoặc phân tích tệp đã lưu từ môi trường thử nghiệm bất cứ khi nào cần dữ liệu gốc, thường sử dụng Chế độ Mã để trích xuất chỉ các trường cần thiết.
Cấu hình
Bật hoặc tắt tính năng giảm tải cho từng tác vụ:
config.context_managementtrong tài liệu tham khảo đặc tả tác nhân.
