Kiến trúc kết hợp Transformer-Mamba: Giải pháp tối ưu cho xử lý chuỗi dài

1. Bối cảnh phát triển của kiến trúc kết hợp Khi triển khai dự án xử lý chuỗi dài năm ngoái, đội ngũ của chúng tôi đã gặp phải vấn đề về hạn chế bộ nhớ của Transformer truyền thống. Khi độ dài chuỗi vượt quá 2048, việc sử dụng bộ nhớ GPU tăng theo cấp số nhân, trong khi tài liệu trong kịch bản kinh doanh thực tế có độ dài trung bình khoảng 50 ...

Đăng vào ngày 31 tháng 8 lúc 15:05