Tối ưu hiệu quả chi phí cho đội ngũ với mô hình mã nguồn mở có trọng số được lưu trữ

Không có một mô hình duy nhất phù hợp cho mọi nhiệm vụ phát triển phần mềm. Triển khai một tính năng mới, chẩn đoán pipeline bị lỗi, và khắc phục lỗ hổng bảo mật đều đặt ra những yêu cầu khác nhau cho mô hình đảm nhận. GitLab Duo Agent Platform đang mở rộng lựa chọn mô hình do GitLab quản lý với ba mô hình open weight được host: Kimi K3, GLM 5.3 và MiniMax M3.

Kết hợp với các mô hình frontier đã có sẵn trong GitLab, đội ngũ của bạn nay có nhiều quyền kiểm soát hơn để tối ưu chất lượng, độ trễ và chi phí, phù hợp với nhu cầu của từng khối lượng công việc. Giao những nhiệm vụ khó cho Kimi K3 hoặc GLM 5.3, vốn vượt trội so với các mô hình frontier tương đương trong thử nghiệm nội bộ và có chi phí thấp hơn cho mỗi lần gọi, hoặc giao công việc thường xuyên, khối lượng lớn cho MiniMax M3. Dù chọn cách nào, đội ngũ của bạn cũng nhận được tới 4x lần gọi trên mỗi GitLab Credit so với một số mô hình frontier tương đương, với nhiều tùy chọn mô hình AI hơn để cân bằng chi phí theo độ phức tạp nhiệm vụ.

GitLab Transcend returns in October

Các coding agent đang tăng tốc độ phát triển của bạn, nhưng các khâu review, chính sách bảo mật và chu trình phát hành vẫn phải theo kịp. Sự kiện Transcend của chúng tôi vào ngày 6 tháng 10 sẽ trình diễn cách GitLab giúp các đội thu hẹp khoảng cách đó và khám phá những gì cần thiết để mang tốc độ của AI agentic xuyên suốt vòng đời phần mềm.

Đăng ký livestream ngay hôm nay!

Why one model has been the easy way out

Những nhiệm vụ khác nhau trong phát triển agentic cần những khả năng khác nhau từ một mô hình AI. Việc refactor kéo dài cần cửa sổ ngữ cảnh lớn hơn và suy luận sâu hơn, trong khi một nhiệm vụ thường quy, khối lượng lớn thường được phục vụ tốt hơn bởi một mô hình nhanh hơn và tiết kiệm chi phí. Tối ưu cho một loại nhiệm vụ đồng nghĩa phải hy sinh cho loại nhiệm vụ khác.

Khi các đội cân nhắc trao đổi kỹ thuật, khả năng tiếp cận một mô hình mới thực tế lại trở thành một thách thức quản trị bổ sung. Trong môi trường có quy định, mọi mô hình và hạ tầng chạy mô hình đó đều phải vượt qua kiểm duyệt bảo mật, tuân thủ và đánh giá nội bộ trước khi đội được phép sử dụng. Các quy trình đánh giá và phê duyệt thường chạy chậm đến mức nhiều đội chuẩn hóa trên một mô hình đã được phê duyệt, ngay cả khi mô hình đó không phải là lựa chọn tốt nhất cho mọi nhiệm vụ.

Chi phí của sự thỏa hiệp đó tích lũy theo thời gian. Nếu đội chuẩn hóa trên một mô hình có chi phí cao hơn để xử lý các nhiệm vụ khó nhất, chính mô hình đó sẽ phải đảm nhiệm cả công việc thường quy vốn có thể được xử lý bởi một mô hình nhanh hơn, chi phí thấp hơn. Khi các workload của agent gọi mô hình lặp đi lặp lại trong các công việc đa bước, dài hạn, khoảng cách giữa chi phí và hiệu năng càng mở rộng.

The cost-performance advantage of open weight models

Open weight models biến lựa chọn mô hình thành một đòn bẩy để cân bằng chi phí với hiệu năng. Chúng có thể giảm chi phí suy luận cho nhiều tác vụ agentic, với hiệu năng tương đương một số mô hình frontier.

Các mô hình open weight mới được host trong GitLab cung cấp rõ ràng nhiều lần gọi hơn trên một credit so với nhiều mô hình frontier tương đương đã có trên Duo Agent Platform. Một “call” là một yêu cầu đơn mà GitLab Duo Agent Platform gửi tới một mô hình, và một hành động agent hoặc một tin nhắn chat có thể kích hoạt nhiều lần gọi.

Kimi K3 thể hiện hiệu năng vượt trội so với mô hình mặc định đứng sau hầu hết các tính năng GitLab Duo Agent Platform trong thử nghiệm nội bộ của chúng tôi, ở mức 1.82 calls per credit, chỉ thấp hơn một chút so với 2 calls per credit của mô hình mặc định. GLM 5.3 đạt 5 calls per credit đồng thời cũng cung cấp hiệu năng mạnh trong thử nghiệm nội bộ, và MiniMax M3 nâng cao hiệu quả chi phí hơn nữa ở mức 8 calls per credit.

Cùng nhau, chúng đem đến cho đội của bạn một đòn bẩy khác để cân bằng chi phí và hiệu năng, theo từng nhiệm vụ. Để biết thêm thông tin về hệ số nhân credit và phân tích chi tiết sử dụng credit theo mô hình, vui lòng tham khảo trang GitLab Credits models page.

Mỗi mô hình open weight được host hiện có trong GitLab Duo Agent Platform đều mang những điểm mạnh riêng.

• Kimi K3 (Moonshot AI) là mô hình đầu tàu mới nhất của công ty, cho phép các đội làm việc trên các codebase lớn hoặc các phiên agent kéo dài.
• GLM 5.3 (Z.ai) được thiết kế cho các nhiệm vụ lập trình có chiều dài dài hạn, giúp đội duy trì ngữ cảnh và độ chính xác trong các phiên agent kéo dài.
• MiniMax M3 (MiniMax) được thiết kế để giảm chi phí tính toán cho công việc kéo dài và được tinh chỉnh cho công việc agent nhiều bước, khối lượng lớn, làm cho nó trở thành lựa chọn mạnh khi hiệu quả chi phí quan trọng ở quy mô.

Xem demo về các mô hình open weight có sẵn:

Model choice with built-in control

Với một danh mục rộng bao gồm cả open weight và các mô hình frontier do GitLab quản lý, triển khai Duo Agent Platform của bạn giờ có nhiều tự do hơn để tối ưu hóa lựa chọn mô hình theo từng nhiệm vụ.

Quản trị viên của bạn vẫn duy trì quyền kiểm soát tập trung đối với những mô hình mà các đội được phép dùng, được tích hợp trực tiếp vào quy trình phát triển phần mềm. Trong khi GitLab lựa chọn các mô hình mặc định dựa trên hiệu năng, chủ sở hữu của nhóm cấp cao nhất có thể đặt một mô hình mặc định khác cho từng tính năng và tuyển chọn những mô hình mà các đội có thể chọn, các cài đặt này áp dụng nhất quán cho mọi nhóm con và dự án.

Bạn có thể căn chỉnh việc chọn mô hình với yêu cầu bảo mật, tuân thủ và hạ tầng thông qua các tuỳ chọn triển khai AI do GitLab quản lý, tự-host, hoặc hybrid. Mô hình do GitLab quản lý chạy hoàn toàn trong môi trường của GitLab, không cần đội bạn phải thiết lập hoặc duy trì hạ tầng. Mô hình tự-host chạy trên hạ tầng do đội bạn quản lý, giữ lưu lượng mô hình bên trong mạng nội bộ. Triển khai hybrid cho phép đội kết hợp cả hai, chạy một số mô hình qua GitLab và một số khác trên hạ tầng riêng, dựa trên yêu cầu của từng workload.

Trước khi một mô hình mới gia nhập danh sách Duo Agent Platform, chúng tôi đánh giá nó theo các yêu cầu hiệu năng và chất lượng nội bộ. Các mô hình do GitLab quản lý mang theo đảm bảo được tích hợp sẵn. Trước khi lựa chọn nhà cung cấp để host mô hình cho các tính năng Duo Agent Platform, GitLab đưa họ qua một quy trình quản lý rủi ro bên thứ ba để xác minh họ đáp ứng ngưỡng bảo mật đã định. Điều đó bao gồm xem xét chương trình và kiểm soát bảo mật của nhà cung cấp, như quản lý truy cập, quản trị dữ liệu, và thực hành quản lý rủi ro, cùng với các xác nhận bảo mật bên thứ ba như báo cáo SOC 2 Type 2 hoặc chứng nhận ISO 27001 đang có hiệu lực, và kiểm thử xâm nhập định kỳ kèm theo khắc phục lỗ hổng theo rủi ro.

Cả ba mô hình open weight được host đều được phục vụ thông qua Fireworks AI, vốn đáp ứng ngưỡng đó. Đối với các yêu cầu GitLab Duo Agent Platform, GitLab duy trì chính sách không lưu giữ dữ liệu (zero data retention) với Fireworks, nghĩa là dữ liệu đầu vào và đầu ra của mô hình bị loại bỏ ngay lập tức sau mỗi phản hồi và không được lưu trữ cho mục đích giám sát lạm dụng.

Với nền tảng quản trị và bảo mật đó, đội của bạn có thể đưa các mô hình open weight vào quy trình làm việc với cùng mức độ tin cậy như bất kỳ mô hình do GitLab quản lý nào khác.

Start building with open weight models

Bây giờ bạn có thể chọn Kimi K3, GLM 5.3 và MiniMax M3 làm các mô hình tùy chọn trong GitLab Duo Agent Platform, hoặc đặt một trong những mô hình đó làm mô hình mặc định cho một tính năng để đội của bạn dùng tự động. Để hiểu sâu hơn về hỗ trợ mô hình trong Duo Agent Platform và hướng dẫn chọn mô hình, xem tài liệu mô hình AI của GitLab.

Chưa dùng Duo Agent Platform? Bắt đầu dùng thử miễn phí. Đã ở gói Premium hoặc Ultimate? Bật Duo Agent Platform.

Liên hệ với Softribution để được tư vấn chuyên sâu hoặc để mua các giải pháp phù hợp với nhu cầu của tổ chức bạn — đội ngũ tư vấn công nghệ của chúng tôi sẵn sàng hỗ trợ triển khai, cấu hình và tối ưu chi phí/hiệu năng cho GitLab Duo Agent Platform và các mô hình open weight.