Tính năng	Chức năng của nó là gì?
Sandbox như một công cụ	Thực thi mã/tệp độc lập mà không cần đưa thông tin bí mật hoặc vòng lặp tác nhân vào bên trong hộp cát.
Kỹ thuật ngữ cảnh	Kỹ năng tiến bộ, công cụ trì hoãn, tác nhân phụ, chuyển giao công việc, Chế độ mã, nén dữ liệu
Phê duyệt công cụ	Tạm dừng trước khi ghi/xóa các công cụ MCP
Đặt câu hỏi làm rõ	Làm rõ vấn đề một cách có cấu trúc trong quá trình chạy
Giao diện người dùng tạo sinh	Biểu đồ, bảng và thẻ được truyền tải liên tục vào khung chat.
Xác thực OAuth MCP trong cuộc trò chuyện	Nút kết nối khi cần xác thực trình kết nối.

Sandbox như một công cụ

Không giống như các hệ thống chạy toàn bộ tác nhân bên trong máy ảo, TrueForge giữ vòng lặp tác nhân trên máy chủ và chỉ sử dụng môi trường sandbox cho mã, tệp và shell. Thông tin bí mật không được lưu trữ trong sandbox; tài nguyên tính toán chỉ được cung cấp khi cần thiết. Chế độ Kỹ năng và Chế độ Mã yêu cầu điều này.

Kỹ thuật tạo bối cảnh là gì?

Kỹ thuật ngữ cảnh là cung cấp thông tin chính xác ở định dạng phù hợp để tác nhân có thể hoàn thành công việc một cách đáng tin cậy. Trong TrueForge, ngữ cảnh bao gồm tất cả những gì mô hình nhìn thấy ở mỗi bước – hướng dẫn, kỹ năng , định nghĩa công cụ MCP, lịch sử hội thoại và kết quả của công cụ.

Việc mất đi sự cân bằng đó sẽ ảnh hưởng đến chất lượng:

• Thiếu ngữ cảnh – nhân viên hỗ trợ thiếu thông tin cần thiết và trả lời kém hiệu quả.
• Quá nhiều ngữ cảnh – cửa sổ bị lấp đầy bởi nhiễu, khả năng suy luận bị suy giảm, và chi phí/độ trễ tăng cao.

TrueForge quản lý sự cân bằng bằng các chiến lược nhiều lớp. Hãy nghĩ về bối cảnh theo hai giai đoạn:

Ngữ cảnh đầu vào

Ngữ cảnh đầu vào là tất cả những gì mô hình nhận được khi bắt đầu một lần chạy. Nó hầu như không thay đổi giữa các lần chạy của cùng một tác nhân – bạn cấu hình nó một lần và hệ thống sẽ tải nó mỗi lần. Ngữ cảnh đầu vào càng nhỏ và càng tập trung, mô hình càng có nhiều không gian để suy luận.

Ngữ cảnh thời gian chạy

Ngữ cảnh thời gian chạy bao gồm tất cả mọi thứ được thêm vào ngữ cảnh của mô hình trong quá trình chạy:

Vấn đề phình to ngữ cảnh chủ yếu xảy ra ở ngữ cảnh thời gian chạy. Một lệnh gọi công cụ duy nhất trả về tải trọng JSON 50.000 token, hoặc một cuộc hội thoại dài với hàng chục bước trung gian, có thể nhanh chóng đạt đến giới hạn của mô hình. Đây là phần mà hệ thống kiểm thử chủ động quản lý.

Quản lý ngữ cảnh thời gian chạy

Các tác nhân phụ – cách ly ngữ cảnh

Các tác nhân con phân tách các tác vụ nặng. Khi tác nhân gốc tạo ra một tác nhân con:

• Tác nhân phụ hoạt động với bối cảnh riêng biệt, hoàn toàn mới mẻ – các hướng dẫn và công cụ, nhưng không có lịch sử tin nhắn được chia sẻ.
• Nó hoạt động tự động, tự gọi các công cụ và tạo ra kết quả cuối cùng.
• Chỉ có kết quả cuối cùng mới được trả về cho tác nhân gốc. Các lệnh gọi công cụ trung gian, kết quả tìm kiếm lớn và các bước suy luận không bao giờ được đưa vào ngữ cảnh của tác nhân gốc.

Điều này đặc biệt hữu ích cho các tác vụ liên quan đến nhiều thực thể hoặc yêu cầu nhiều lệnh gọi công cụ. Ví dụ, việc tóm tắt các yêu cầu kéo (PR) trong một nhóm 10 người có thể được phân bổ thành 10 tác nhân con song song – tác nhân gốc thu thập 10 bản tóm tắt ngắn thay vì 10 bộ dữ liệu đầu ra thô từ công cụ. Xem phần Tác nhân con.

Tải xuống kết quả lớn

Đôi khi một lệnh gọi công cụ duy nhất trả về lượng dữ liệu nhiều hơn mức mà tác nhân cần để xử lý – một danh sách JSON lớn, một tập tin dài, một phản hồi tìm kiếm chi tiết. Việc chuyển tải dữ liệu giúp giữ cho dữ liệu đó không bị ảnh hưởng bởi ngữ cảnh:

Sau đó, tác nhân có thể sử dụng các công cụ hộp cát để kiểm tra tệp, suy luận lược đồ của nó, trích xuất các trường cụ thể hoặc lọc dữ liệu – tất cả mà không cần dữ liệu thô được đưa vào cuộc hội thoại. Xem Phản hồi công cụ lớn.

Chế độ mã – xử lý đầu ra của công cụ dưới dạng mã

Đối với các tác vụ liên quan đến việc tổng hợp, lọc hoặc chuyển đổi đầu ra của công cụ (đếm, nhóm theo, kết hợp giữa nhiều lệnh gọi công cụ), Chế độ Mã cho phép tác nhân chạy một kịch bản Python trong môi trường thử nghiệm để gọi trực tiếp các công cụ MCP. Kịch bản xử lý dữ liệu bằng mã và chỉ in ra bản tóm tắt.Điều này giúp tránh hai kiểu lỗi xảy ra cùng một lúc:

• Sự phình to ngữ cảnh – đầu ra thô của công cụ không bao giờ được đưa vào ngữ cảnh, chỉ có kết quả được in ra mới được đưa vào.
• Phép toán ảo giác – các phép đếm, phép cộng và phép nhóm được tính toán bằng mã, chứ không phải suy luận từ văn bản.

Nén ngữ cảnh

Khi cuộc hội thoại kéo dài hơn khả năng xử lý của việc chỉ sử dụng phương pháp chuyển tải dữ liệu, hệ thống sẽ kích hoạt quá trình nén dữ liệu. Quá trình nén dữ liệu được bật theo mặc định và chạy ở mức 80% độ dài ngữ cảnh của mô hình. Nếu độ dài đó không đủ, hệ thống sẽ chuyển sang sử dụng 50.000 token đầu vào. Người dùng cũng có thể đặt ngưỡng token đầu vào cụ thể. LLM tạo ra bản tóm tắt có cấu trúc về cuộc hội thoại cho đến nay – ý định ban đầu, các quyết định quan trọng, tệp và hiện vật, lỗi và cách khắc phục, và các bước tiếp theo – và bản tóm tắt đó thay thế lịch sử tin nhắn cũ trong ngữ cảnh làm việc của tác nhân, giải phóng các token để tiếp tục suy luận.

Các chiến lược được cấu thành như thế nào

Trên thực tế, các chiến lược này được kết hợp với nhau. Một lần chạy của tác nhân duy nhất có thể:

1. Bắt đầu với chế độ tải trước tắt, để chỉ một số ít lược đồ công cụ nằm trong ngữ cảnh đầu vào.
2. Giao nhiệm vụ nghiên cứu cho một tác nhân phụ thực hiện hàng chục lệnh gọi công cụ một cách độc lập.
3. Chuyển kết quả của một công cụ lớn bên trong tác nhân phụ sang một tệp hộp cát.
4. Sử dụng Chế độ Mã (Code Mode) để tổng hợp dữ liệu đã được xử lý thành một bản tóm tắt ngắn gọn.
5. Trả lại bản tóm tắt cho tác nhân gốc – giữ cho ngữ cảnh hoạt động của tác nhân gốc luôn sạch sẽ.
6. Sau này, nếu cuộc hội thoại dài vượt quá ngưỡng cho phép, hãy nén lịch sử của tác nhân gốc lại.