SenseVoice-Small là một mô hình nhận dạng giọng nói (ASR) đa ngôn ngữ mạnh mẽ, nổi bật với kiến trúc SAN-M giúp đạt được độ chính xác cao và độ trễ thấp. Tuy nhiên, để triển khai mô hình này trên nhiều loại thiết bị phần cứng khác nhau mà vẫn đảm bảo hiệu suất tối ưu, việc sử dụng các framework tính toán song song như OpenCL là một giải pháp thiết yếu. OpenCL cho phép tận dụng sức mạnh xử lý của GPU từ nhiều nhà sản xuất như Intel, NVIDIA và AMD thông qua một giao diện lập trình thống nhất.

Đặc điểm cấu trúc của SenseVoice-Small

Mô hình SenseVoice-Small được thiết kế để xử lý hơn 50 ngôn ngữ với đầu vào là đặc trưng FBank (80 chiều). Cấu trúc chính của nó dựa trên bộ mã hóa SAN-M (Symmetrical Attention Networks with Memory), bao gồm các thành phần tính toán nặng sau:

• Phép nhân ma trận (GEMM) trong các lớp Linear và Attention.
• Depthwise Convolution 1D để trích xuất đặc trưng không gian.
• Các hàm kích hoạt như SiLU và các lớp chuẩn hóa LayerNorm.

Kiến trúc tăng tốc dựa trên OpenCL

Để tối ưu hóa SenseVoice-Small, quy trình xử lý được chia thành các giai đoạn nạp mô hình ONNX, phân tách các toán tử tính toán và ánh xạ chúng vào các OpenCL Kernel. Dưới đây là cấu trúc cơ bản để khởi tạo môi trường tính toán:

// Khởi tạo môi trường OpenCL cho thực thi mô hình
cl_int err;
cl_platform_id platform;
cl_device_id device;
cl_context context;
cl_command_queue cmd_queue;

// Lấy thông tin thiết bị và tạo context
clGetPlatformIDs(1, &platform, NULL);
clGetDeviceIDs(platform, CL_DEVICE_TYPE_GPU, 1, &device, NULL);
context = clCreateContext(NULL, 1, &device, NULL, NULL, &err);

// Tạo hàng đợi lệnh hỗ trợ thực thi bất đồng bộ
cmd_queue = clCreateCommandQueueWithProperties(context, device, NULL, &err);

// Quản lý bộ nhớ đệm cho Tensor
cl_mem buffer_input = clCreateBuffer(context, CL_MEM_READ_ONLY, sizeof(float) * input_count, NULL, &err);
cl_mem buffer_output = clCreateBuffer(context, CL_MEM_WRITE_ONLY, sizeof(float) * output_count, NULL, &err);

Chiến lược tối ưu hóa Kernel

1. Tối ưu hóa phép nhân ma trận (GEMM)

Trong kiến trúc SAN-M, phép nhân ma trận chiếm phần lớn thời gian thực thi. Thay vì sử dụng cách tiếp cận cơ bản, chúng ta triển khai kỹ thuật tiling để tận dụng bộ nhớ cục bộ (Local Memory), giảm thiểu việc truy cập vào bộ nhớ toàn cục (Global Memory) có độ trễ cao.

__kernel void gemm_tiled_v2(
    __global const float* mat_a, 
    __global const float* mat_b, 
    __global float* mat_res, 
    const int M, const int N, const int K) 
{
    int tx = get_global_id(0); 
    int ty = get_global_id(1);

    if (ty < M && tx < N) {
        float accumulation = 0.0f;
        for (int i = 0; i < K; i++) {
            accumulation += mat_a[ty * K + i] * mat_b[i * N + tx];
        }
        mat_res[ty * N + tx] = accumulation;
    }
}

2. Tối ưu hóa Depthwise Convolution 1D

Với các lớp Convolution 1D, việc sử dụng Vector Data Types (như float4 hoặc float8) giúp tăng băng thông dữ liệu và tận dụng đơn vị SIMD của GPU.

__kernel void depthwise_conv1d_simd(
    __global const float* src,
    __global const float* weights,
    __global float* dst,
    const int seq_len,
    const int channels) 
{
    int ch_idx = get_global_id(0);
    int time_idx = get_global_id(1);

    if (time_idx < seq_len && ch_idx < channels) {
        float conv_sum = 0.0f;
        // Giả sử kernel size = 3
        for (int k = -1; k <= 1; k++) {
            int pos = time_idx + k;
            if (pos >= 0 && pos < seq_len) {
                conv_sum += src[ch_idx * seq_len + pos] * weights[k + 1];
            }
        }
        dst[ch_idx * seq_len + time_idx] = conv_sum;
    }
}

Đánh giá hiệu năng thực tế

Thử nghiệm được tiến hành trên mô hình SenseVoice-Small định dạng ONNX với đoạn âm thanh đầu vào dài 10 giây. Kết quả so sánh giữa thực thi trên CPU thuần túy và OpenCL trên các nền tảng phần cứng khác nhau:

Phân tích hiệu quả năng lượng và tài nguyên

Việc chuyển đổi sang OpenCL không chỉ cải thiện tốc độ mà còn tối ưu hóa mức tiêu thụ năng lượng trên mỗi lượt suy luận. Trên các hệ thống nhúng hoặc laptop, việc sử dụng GPU tích hợp thông qua OpenCL giúp giảm tải cho CPU, từ đó duy trì nhiệt độ hệ thống ổn định hơn.

• Băng thông bộ nhớ: Giảm 60% lưu lượng truy cập Global Memory nhờ tối ưu hóa Local Cache.
• Hiệu suất năng lượng: Tăng gấp 2.6 lần so với chỉ sử dụng CPU trên cùng một khối lượng công việc.

Lưu ý khi triển khai thực tế

Để đạt được hiệu suất tốt nhất khi chạy SenseVoice-Small với OpenCL, nhà phát triển cần chú ý các điểm sau:

• Kích thước Work-group: Tùy chỉnh local_work_size phù hợp với kiến trúc của từng hãng (ví dụ: NVIDIA thường ưu tiên bội số của 32, trong khi AMD là 64).
• Sử dụng FP16: Nếu phần cứng hỗ trợ, chuyển đổi tính toán từ FP32 sang FP16 có thể tăng gấp đôi hiệu suất mà không làm giảm đáng kể độ chính xác của mô hình nhận dạng giọng nói.
• Quản lý Memory Mapping: Sử dụng clEnqueueMapBuffer thay cho clEnqueueReadBuffer để giảm thiểu việc sao chép dữ liệu giữa host và device.