TruffleHog là một công cụ mạnh mẽ để phát hiện thông tin nhạy cảm trong repository, giúp developer nhanh chóng tìm ra các key, token bị rò rỉ. Tuy nhiên, khi dự án mở rộng, cấu hình mặc định có thể khiến quá trình quét trở nên chậm chạp. Bài viết này sẽ chia sẻ các kỹ thuật tối ưu hóa đã được kiểm chứng thực tế về concurrency và scan depth, giúp bạn tăng tốc độ quét mà vẫn đảm bảo độ chính xác.

Phân tích nút thắt cổ chai hiệu suất

Trước khi đi sâu vào giải pháp, chúng ta cần hiểu rằng cấu hình mặc định của TruffleHog được thiết kế theo hướng thận trọng, nhằm đảm bảo tương thích trên nhiều hệ thống khác nhau. Điều này đồng nghĩa với việc phần cứng hiện đại không được tận dụng tối đa. Hai vấn đề chính gây ra hiện suất kém:

• Concurrency thấp: Số lượng tác vụ chạy đồng thời mặc định thường thấp hơn khả năng thực tế của hardware
• Scan depth không kiểm soát: Việc quét toàn bộ lịch sử commit dẫn đến thời gian tăng đáng kể

Tối ưu hóa Concurrency

Nguyên lý hoạt động

TruffleHog xử lý nhiều file hoặc commit cùng lúc thông qua cơ chế concurrency. Việc cài đặt concurrency hợp lý sẽ tối đa hóa CPU và I/O utilization. Cơ chế này được điều khiển bằng semaphore trong code:

// Cấu hình concurrency trong source manager
func WithWorkerPoolSize(workers int) func(*Scanner) error {
    return func(s *Scanner) error {
        s.pool.SetMaxWorkers(workers)
        return nil
    }
}

Hướng dẫn thực hành

Công thức cơ bản: Đặt concurrency = Số core CPU × 2. Ví dụ: máy 8 core nên đặt giá trị 16

Yêu cầu bộ nhớ: Mỗi task chạy song song tiêu tốn khoảng 50-100MB RAM, cần đảm bảo hệ thống có đủ bộ nhớ trống

Repository từ xa: Trong trường hợp network IO bị giới hạn, nên giảm concurrency để tránh timeout kết nối

Cách cấu hình

trufflehog git https://github.com/owner/repo --workers 16

Kiểm soát Scan Depth

Nguyên lý hoạt động

Scan depth quy định phạm vi lịch sử commit mà TruffleHog quét ngược lại. Depth quá sâu làm tăng thời gian đáng kể, trong khi depth quá nông có thể bỏ sót thông tin nhạy cảm ở các commit cũ.

// Logic kiểm soát độ sâu quét
func (s *Scanner) shouldContinueDepth(currentDepth int, opts ScanOptions) bool {
    if opts.HardDepthLimit > 0 && currentDepth >= opts.HardDepthLimit {
        log.Debug("Đã đạt giới hạn depth", "current", currentDepth)
        return false
    }
    return true
}

Chiến lược thực tế

Quét gia tăng: Với repository đã quét trước đó, sử dụng --hard-depth-limit 100 để chỉ quét 100 commit gần nhất

Quét toàn bộ: Lần đầu quét project mới có thể dùng depth mặc định, kết hợp với bộ lọc thời gian

Chiến lược branch: Ưu tiên quét các branch chính như main và develop, các branch tạm có thể giảm depth

Ví dụ cấu hình

trufflehog git https://github.com/owner/repo --hard-depth-limit 100

Giải pháp tối ưu tổng hợp

Cấu hình theo kịch bản

Kỹ thuật nâng cao

Quét phân tán: Các dự án lớn có thể chia nhỏ theo thư mục, xử lý song song qua filesystem scanner

Giám sát hiệu suất: Sử dụng metrics package để theo dõi tiến độ và tài nguyên sử dụng

Detector tùy chỉnh: Tối ưu rules phát hiện qua custom detectors để giảm false positive