Beyond Tokens SF — Những Ý Tưởng Xuất Sắc Nhất Buổi Tối
Các agent AI đang thay đổi cách phần mềm được xây dựng, nhưng hạ tầng xung quanh chúng vẫn chưa theo kịp. Agent tiêu tốn token vì tiếng ồn. Chúng thực hiện những hành động không nên làm. Ngữ cảnh biến mất giữa các bản phát hành. Và hầu hết pipeline phân phối chưa được thiết kế để xử lý nhịp độ và khối lượng phát triển theo kiểu agent.
Vào ngày 11 tháng 6, chúng tôi đã tập hợp các nhà phát triển tại San Francisco cho sự kiện Beyond Tokens, một buổi builders night tập trung vào những gì tiếp theo: agent nhanh hơn, ngữ cảnh sạch hơn, ít token hơn, hạ tầng an toàn để chạy agent, và quy trình delivery chuẩn AI thực sự bắt kịp cách bạn xây dựng phần mềm. Ba đội đã lên sân khấu: những người tạo ra NanoClaw, Boost, và Fly, mỗi đội giải quyết một lớp khác nhau của cùng một vấn đề: làm thế nào để tạo agent nhanh, đáng tin cậy, và thực sự phù hợp với cách phần mềm hiện đại được triển khai?
Dưới đây là tóm tắt mỗi phiên trình bày.
JFrog Fly: Managing Release Context at Agentic Scale
Người trình bày: Asaf Ezra, R&D Team Lead, JFrog Fly
Khi bạn phát hành theo tốc độ agent, ngữ cảnh bị bốc hơi. Ý định tích lũy qua các chuỗi Slack, thảo luận thiết kế và các cuộc trò chuyện với agent biến mất ngay khi một bản phát hành ra mắt, và agent kế tiếp phải tự xây dựng lại mọi thứ từ đầu.
JFrog Fly là một registry thông minh lưu trữ không chỉ các artifact (ví dụ: Docker image, package npm và Python), mà còn toàn bộ ngữ cảnh của một bản phát hành: commit, PR, issue và lý do đằng sau các quyết định. Tính năng agent context tracing của Fly tự động ghi lại các decision record về kiến trúc, sản phẩm và bảo mật và gắn chúng vào từng bản phát hành.
Khoảnh khắc ấn tượng trong phiên: khi Asaf yêu cầu agent đổi mặc định giao diện từ sáng sang tối, Fly phát hiện xung đột. Một decision record trước đó đã biện minh cho chế độ sáng dựa trên nghiên cứu người dùng, nên agent dừng lại trước khi viết một dòng mã nào. Đó là sức mạnh của ngữ cảnh được lưu trữ.
Bài học rút ra: Phát triển theo kiểu agent tạo ra một luồng lớn các bản phát hành. Xem ngữ cảnh như một artifact hạng nhất, không phải là điều được nghĩ tới sau cùng, sẽ giúp các agent luôn đi đúng hướng.
JFrog Boost: Reducing Token Costs Without Changing How You Code
Người trình bày: Yahav Cohen & Shay Dahan, Đồng sáng lập, JFrog Boost
Chi phí token đang tăng từ hai phía: các mô hình hàng đầu ngày càng đắt, và các mô hình thông minh hơn tiêu thụ nhiều token đầu vào hơn. Yahav và Shay đã dành một năm qua để hỏi: lãng phí thực sự nằm ở đâu?
Họ tìm ra bốn thủ phạm chính:
- Nhiễu log: agent đọc hàng trăm dòng đầu ra của test trong khi chỉ cần mười dòng.
- Tìm kiếm kém hiệu quả:
grepvàfindtrả về những bức tường văn bản, trong khi công cụ theo phong cách IDE/LSP chỉ trả về kết quả liên quan. - Thiếu kỷ luật pre-push: bỏ qua lint và unit test trước khi push gây ra vòng lặp lỗi CI tốn kém.
- Các công cụ tối ưu hiện có làm hỏng thứ khác: hầu hết che giấu thông tin mà agent thực sự cần, dẫn đến lỗi im lặng.
Giải pháp của họ, JFrog Boost, lọc tiếng ồn trước khi nó vào cửa sổ ngữ cảnh. Boost còn làm điều ngược đời: cho phép agent tắt nó. Mỗi khi điều đó xảy ra, sự kiện được ghi lại và một nhà máy agent nội bộ mở PR để khắc phục lỗ hổng. Sản phẩm tự cải thiện từ chính các trường hợp thất bại của nó.
Khoảnh khắc ấn tượng trong phiên: Sử dụng Boost mang lại trung bình 35% hiệu quả sử dụng token hàng tháng hơn cho mỗi lập trình viên tại JFrog, mà không làm tăng hóa đơn. Demo cho thấy một nhiệm vụ sửa lỗi Python chạy rẻ hơn 36% khi dùng Boost so với không dùng. Giải pháp giống nhau, kết quả giống nhau, nhưng cửa sổ ngữ cảnh sạch hơn.
Boost miễn phí và cài đặt chỉ với một lệnh terminal tại boost.jfrog.com.
Bài học rút ra: Chi tiêu token là một tín hiệu rằng agent đang làm việc không cần thiết. Loại bỏ ô nhiễm ngữ cảnh khiến agent nhanh hơn và rẻ hơn mà không thay đổi mục tiêu chúng thực hiện.
NanoClaw: Building Agents You Can Actually Trust
Người trình bày: Gavriel Cohen, Đồng sáng lập, NanoClaw
Tiền đề của Gavriel: anh có một trợ lý AI có quyền truy cập email, lịch và ghi chú cuộc gọi, và anh để bất kỳ ai cũng có thể nói chuyện với nó. Phiên trình bày của anh đưa ra lý lẽ vì sao điều đó không phải là liều lĩnh, dựa trên ba khái niệm bảo mật trong NanoClaw:
- Cô lập: Bất kỳ agent nào xử lý đầu vào chưa được làm sạch đang hoạt động trong vùng địch. NanoClaw tách agent khỏi lớp điều phối ở cấp OS để agent không thể sửa mã, truy cập file bên ngoài, hoặc ảnh hưởng đến định tuyến thông điệp.
- Không để credential trong môi trường agent. Bảo đảm duy nhất chống rò rỉ credential là agent không bao giờ có chúng. Yêu cầu được proxy qua một vault, và credential chỉ được chèn khi được ủy quyền, nên hành động nhạy cảm hoàn toàn diễn ra bên ngoài runtime của agent.
- Phê duyệt có con người tham gia. Các chính sách định nghĩa agent được làm gì và không được làm gì. Đối với hành động nhạy cảm nhất, một cửa kiểm phê duyệt con người nằm giữa cuộc gọi tool và thực thi tool, và quan trọng là agent không bao giờ biết việc đó đã xảy ra.
Khoảnh khắc ấn tượng trong phiên: Demo tích hợp với JFrog minh họa những khái niệm này. Khi một agent cố gắng cài một package npm, yêu cầu được chuyển qua các registry đã được quét của JFrog. Các phiên bản có lỗ hổng bị chặn tự động và các lựa chọn an toàn được gợi ý, được thực thi bên ngoài môi trường agent để agent không thể lách quy tắc.
Tại thời điểm sự kiện, NanoClaw mới thành lập được bốn tháng, là mã nguồn mở và có ~30K sao trên GitHub.
Bài học rút ra: Lệnh không tự đảm bảo an toàn — cấu trúc mới làm được. Và “con người trong vòng lặp” không có nghĩa là làm chậm tiến trình; nó có nghĩa là agent đưa ra các quyết định và con người ra quyết định đó.
The Through-Line
Ba vấn đề khác nhau, một sứ mệnh chung: cung cấp cho agent công cụ, hàng rào an toàn và tín hiệu cần thiết để chúng hoạt động tự chủ mà không làm hỏng hệ thống.
Fly cung cấp cho agent lịch sử phát hành và decision record để hành động trên thông tin đúng. NanoClaw cung cấp ranh giới bảo mật để hành động mà không gây rủi ro. Boost cung cấp hiệu quả để hành động mà không lãng phí.
Làn sóng phát triển agent tiếp theo không phải chỉ là làm cho mô hình thông minh hơn. Mà là xây dựng nền tảng cho phép chúng làm nhiều hơn một cách an toàn và phù hợp với quy trình phát triển.
Nếu bạn quan tâm thử bất kỳ công cụ nào trong số này, đây là nơi để bắt đầu:
JFrog Boost → · JFrog Fly → · NanoClaw →
Muốn được tư vấn hoặc muốn mua các giải pháp này?
Liên hệ Softribution để được tư vấn chuyên sâu về triển khai, tích hợp và mua giải pháp phù hợp với hạ tầng agent của bạn. Đội ngũ chuyên gia của Softribution sẽ giúp bạn thiết kế quy trình an toàn, tối ưu chi phí token và đưa agent vào hệ thống phân phối hiện có một cách hiệu quả.
