Thành phố Cuồng loạn

Khi khám phá các mô hình ngôn ngữ lớn, chi phí phần cứng thường là rào cản chính. Đặc biệt với những mô hình hàng tỷ tham số, việc triển khai thường đòi hỏi card cao cấp như A100/H100. Bài viết này trình bày giải pháp tối ưu chi phí: chạy mô hình 70B tham số trên card NVIDIA T4 16GB bằng công cụ Swift-All. Swift-All là bộ công cụ quản lý vòng ...