shhgit là một công cụ phát hiện bí mật mạnh mẽ, giúp nhà phát triển tìm thấy thông tin nhạy cảm trong các kho GitHub, GitLab và Bitbucket. Tuy nhiên, khi đối mặt với nhiệm vụ quét kho lớn, việc tối ưu hóa hiệu suất trở nên rất quan trọng. Bài viết này sẽ chia sẻ 10 kỹ thuật hữu ích để bạn nâng cao đáng kể hiệu suất quét của shhgit, làm cho công việc phát hiện bí mật trở nên nhanh chóng và hiệu quả hơn.

1. Cấu hình số lượng luồng hợp lý, tận dụng tối đa tài nguyên CPU

shhgit cho phép người dùng thiết lập số lượng luồng đồng thời thông qua tham số --threads, mặc định sử dụng số lõi CPU logic của hệ thống. Trong quá trình quét kho lớn, điều chỉnh số lượng luồng một cách hợp lý có thể cải thiện hiệu suất đáng kể.

Bạn có thể chỉ định số lượng luồng như sau:

shhgit --threads 8

Nếu máy chủ của bạn có nhiều lõi CPU, tăng số lượng luồng có thể tăng tốc độ quét. Tuy nhiên, cần lưu ý rằng quá nhiều luồng có thể gây ra cạnh tranh tài nguyên, giảm hiệu suất. Đề nghị thử nghiệm dựa trên cấu hình phần cứng thực tế để tìm ra cài đặt luồng tối ưu.

2. Điều chỉnh thời gian chờ khi sao chép kho, tránh chờ đợi không cần thiết

Thời gian chờ mặc định khi sao chép kho của shhgit là 10 giây. Đối với các kho lớn hoặc kết nối mạng chậm, có thể cần gia tăng thời gian chờ để tránh việc thất bại và thử lại liên tục trong quá trình sao chép.

Bạn có thể điều chỉnh thời gian chờ thông qua tham số --clone-repository-timeout (đơn vị: giây):

shhgit --clone-repository-timeout 30

Tham số này được định nghĩa trong tệp core/options.go, giá trị mặc định là 10 giây. Đặt thời gian chờ phù hợp dựa vào môi trường mạng và kích thước kho của bạn có thể nâng cao tỷ lệ thành công và hiệu suất quét.

3. Thiết lập giới hạn kích thước kho hợp lý, lọc bỏ các kho lớn

Không phải mọi kho đều cần được quét đầy đủ. Sử dụng tham số --maximum-repository-size, bạn có thể loại trừ các kho quá lớn, tiết kiệm thời gian và nguồn lực.

Mặc định, shhgit xử lý các kho có kích thước tối đa 5120KB (5MB). Bạn có thể điều chỉnh giá trị này tùy theo nhu cầu:

shhgit --maximum-repository-size 10240

Tham số này giúp bạn bỏ qua các kho nhị phân lớn ít khả năng chứa thông tin nhạy cảm, tập trung vào việc quét các kho mã nguồn nhỏ hơn.

4. Giới hạn kích thước tệp, nâng cao hiệu suất quét

Ngoài việc giới hạn kích thước kho, shhgit cũng cho phép bạn giới hạn kích thước của từng tệp thông qua tham số --maximum-file-size. Điều này đặc biệt hữu ích khi lọc bỏ các tệp nhị phân lớn, thường không chứa thông tin nhạy cảm nhưng tiêu tốn thời gian quét nhiều.

Kích thước tệp mặc định bị giới hạn là 256KB, bạn có thể điều chỉnh tùy theo nhu cầu:

shhgit --maximum-file-size 512

Đặt giới hạn kích thước tệp một cách hợp lý giúp giảm việc xử lý các tệp không cần thiết, cải thiện hiệu suất tổng thể của quá trình quét.

5. Tối ưu ngưỡng entropy, giảm số báo cáo sai lệch

shhgit sử dụng phương pháp phát hiện entropy để nhận biết các thông tin có thể nhạy cảm. Thông qua tham số --entropy-threshold, bạn có thể điều chỉnh độ nhạy của việc kiểm tra entropy. Giá trị mặc định là 5.0, đặt thành 0 sẽ hoàn toàn vô hiệu hóa kiểm tra entropy.

shhgit --entropy-threshold 4.5

Giảm ngưỡng entropy sẽ tăng số lượng thông tin nhạy cảm tiềm năng được phát hiện, nhưng có thể dẫn đến nhiều báo cáo sai lệch hơn. Tăng ngưỡng sẽ giảm số báo cáo sai lệch, nhưng có thể bỏ sót một số thông tin nhạy cảm thực sự. Điều chỉnh tham số này dựa trên nhu cầu cụ thể và mức độ chấp nhận sai lệch giúp cải thiện độ chính xác và hiệu suất của quá trình quét.

6. Sử dụng chức năng kiểm tra đường dẫn, tập trung vào các tệp quan trọng

Chức năng kiểm tra đường dẫn mặc định của shhgit được bật (tham số --path-checks true), nghĩa là nó sẽ đánh giá dựa trên đường dẫn của tệp để xác định liệu có thể chứa thông tin nhạy cảm hay không. Vô hiệu hóa chức năng này khiến shhgit chỉ dựa vào biểu thức chính quy trên nội dung của tệp để khớp, điều này có thể làm tăng thời gian quét.

shhgit --path-checks true

Lời khuyên là giữ chức năng kiểm tra đường dẫn đang hoạt động, vì nó giúp shhgit nhanh chóng nhận diện và tập trung vào các đường dẫn tệp thường chứa thông tin nhạy cảm, chẳng hạn như .ssh/config, config.yaml, v.v.

7. Cấu hình thư mục tạm thời, nâng cao hiệu suất I/O

shhgit sử dụng thư mục tạm thời để xử lý và lưu trữ dữ liệu kho. Thông qua tham số --temp-directory, bạn có thể chỉ định một vị trí lưu trữ hiệu suất cao như SSD để cải thiện hiệu suất I/O.

shhgit --temp-directory /duong/dan/to/fast/storage/shhgit-temp

Chọn một thư mục tạm thời có hiệu suất I/O tốt có thể giảm đáng kể thời gian sao chép kho và xử lý tệp, đặc biệt khi quét nhiều kho.

8. Sử dụng chức năng tìm kiếm truy vấn, xác định chính xác thông tin nhạy cảm

Nếu bạn đang tìm kiếm loại thông tin nhạy cảm cụ thể, hãy sử dụng tham số --search-query để chỉ định một biểu thức chính quy, shhgit sẽ bỏ qua thư viện dấu hiệu mặc định và chỉ tìm kiếm các tệp chứa mẫu này.

shhgit --search-query "api_key.*=[A-Za-z0-9]+"

Tính năng này giúp bạn nhanh chóng xác định các loại thông tin nhạy cảm cụ thể trong quá trình quét lớn mà không cần kiểm tra tất cả các mô hình dấu hiệu có thể.

9. Sử dụng danh sách đen đường dẫn, loại trừ các thư mục không liên quan

Trong tệp config.yaml, bạn có thể cấu hình blacklisted_paths để loại trừ các thư mục ít khả năng chứa thông tin nhạy cảm, chẳng hạn như node_modules, vendor, v.v.

blacklisted_paths: ["node_modules{sep}", "vendor{sep}bundle", "vendor{sep}cache"]

Bằng cách loại trừ các thư mục này, bạn có thể giảm đáng kể số lượng tệp cần quét, cải thiện hiệu suất tổng thể của quá trình quét.

10. Kết hợp bộ lọc số sao nhỏ nhất, tối ưu hóa lựa chọn kho

Đối với việc quét các kho công khai, bạn có thể sử dụng tham số --minimum-stars để lọc các kho có số sao ít hơn. Điều này đặc biệt hữu ích khi tìm các dự án hoạt động có khả năng chứa thông tin nhạy cảm cao hơn.

shhgit --minimum-stars 100

Bằng cách đặt số sao nhỏ nhất một cách hợp lý, bạn có thể tập trung vào việc quét các dự án hoạt động hơn, có khả năng chứa thông tin nhạy cảm cao hơn, nâng cao tỷ lệ đầu tư và thu lợi từ quá trình quét.

Bằng cách áp dụng 10 kỹ thuật trên, bạn có thể cải thiện đáng kể hiệu suất và tốc độ quét của shhgit khi đối mặt với các nhiệm vụ quét kho lớn. Hãy nhớ rằng tối ưu hóa hiệu suất là một quá trình liên tục, đề nghị điều chỉnh và tối ưu hóa các tham số này dựa trên tình huống sử dụng cụ thể và nhu cầu của bạn để đạt được hiệu quả quét tối ưu nhất.