Evaluating Vision AI: illustrated engineering workflow
Ảnh bìa minh họa: Đánh giá mô hình Computer Vision trước khi triển khai thực tế.

AIPractix · Technical Engineering · Kiến trúc hệ thống

1. Khoảng cách giữa benchmark và production

Một mô hình Computer Vision có thể đạt kết quả cao trên benchmark công khai nhưng vẫn hoạt động kém tại khách hàng do camera, ánh sáng ban đêm, nén video, góc nhìn hoặc giới hạn thời gian thực.

Đánh giá production cần trả lời hai câu hỏi: Mô hình có chính xác trong các điều kiện liên quan không? và Toàn bộ ứng dụng có hoàn thành quy trình nghiệp vụ đáng tin cậy không? Không câu hỏi nào thay thế được câu hỏi còn lại.

2. Xác định quyết định vận hành

Trước khi chọn metric, hãy xác định kết quả AI sẽ tác động đến điều gì. Một false detection trên dashboard có thể gây khó chịu, trong khi false acceptance trong xác minh danh tính có thể tạo hậu quả nghiêm trọng.

Đơn vị đánh giá có thể là frame, object, person, track, event hoặc session. Với hệ thống cảnh báo video, precision theo frame chưa nói đủ; cần đo xem cảnh báo có được tạo đúng thời điểm và đúng điều kiện hay không.

Evaluating Vision AI conceptual technical workflow with five components
Hình 1. Sơ đồ kiến trúc và các bước xử lý (nhãn tiếng Anh).
AIPractix engineering diagram: engineering detail
Sơ đồ chi tiết các bước kỹ thuật và ranh giới vận hành (nhãn tiếng Anh).

3. Chọn metric theo đúng nhiệm vụ

Nhiệm vụMetric phù hợpĐiểm dễ bỏ sót
Object detectionPrecision, recall, mAPCảnh báo sai trên mỗi giờ
ClassificationConfusion matrix, precision/recallMất cân bằng nhãn
Face verificationFMR/FNMR tại thresholdLỗi thu ảnh và enrollment
Open-set identificationSai nhận dạng, bỏ sótNgười ngoài gallery
TrackingID switches, tracking metricsPhân mảnh track
Event detectionEvent precision/recall, delayQuá tải cảnh báo

Bất kỳ kết quả nào cũng phải đi kèm tập dữ liệu, operating point và protocol. Một con số đơn lẻ không đủ để so sánh hai hệ thống.

4. Xây dựng tập kiểm thử đại diện

Tập test nên phản ánh camera thật, thời gian trong ngày, ánh sáng, góc lắp, chuyển động, mật độ đối tượng, nhóm thiết bị và các trường hợp lỗi thường gặp.

Hãy chia dữ liệu theo nguồn và thời gian để tránh rò rỉ giữa train và test. Nếu ảnh của cùng một chuỗi video xuất hiện ở cả hai tập, kết quả có thể quá lạc quan. Các tình huống hiếm nhưng gây hậu quả lớn cần được chủ động bổ sung.

5. Hiệu chỉnh ngưỡng theo rủi ro nghiệp vụ

Threshold ảnh hưởng đến trade-off precision/recall hoặc FMR/FNMR. Giảm false positives thường có thể làm tăng false negatives và ngược lại. Do đó, ngưỡng đúng là ngưỡng phù hợp với mức chi phí của từng sai sót.

Trong hệ thống cảnh báo, hãy cân nhắc false alarms mỗi camera-giờ. Trong xác minh danh tính, hãy chọn operating point theo yêu cầu bảo mật và đánh giá trên thiết bị thật. Không tối ưu chỉ số tổng quát mà bỏ qua tác động người dùng.

6. Đánh giá toàn bộ pipeline

Model có thể nhận ảnh đã được crop và căn chỉnh đẹp trong benchmark; còn production phải tự phát hiện, decode, resize, lọc chất lượng và xử lý lỗi đầu vào. Sai số từ mỗi bước đều cộng dồn.

Hãy đo từ dữ liệu raw đến quyết định cuối cùng, bao gồm tracking, deduplication, business rules và API. Việc thay đổi preprocessing hoặc inference runtime có thể ảnh hưởng chất lượng dù trọng số neural network không đổi.

7. Đo hiệu năng vận hành

Ngoài FPS của model, cần ghi nhận initialization time, p50/p95/p99 latency, peak RAM/VRAM, CPU/GPU utilization, mức tiêu thụ năng lượng và hiệu năng duy trì liên tục.

Benchmark nên công bố cấu hình máy, độ phân giải, số luồng đồng thời, batch size và thời gian đo. Một phép thử vài giây không đại diện cho vận hành nhiều giờ với nhiệt độ thiết bị tăng và nguồn camera không ổn định.

8. Theo dõi drift dữ liệu và mô hình

Sau triển khai, camera có thể được di dời, ánh sáng thay đổi theo mùa, sản phẩm mới xuất hiện hoặc người dùng thay đổi hành vi. Data drift làm dữ liệu đầu vào khác phân phối đã kiểm thử; performance drift là suy giảm chất lượng đầu ra.

Hãy theo dõi biến động confidence, tỷ lệ lỗi, số cảnh báo, tỷ lệ retry và phản hồi người vận hành. Cần cơ chế lấy mẫu được phép và gắn nhãn lại để tái đánh giá trước khi cập nhật model.

9. Phát hành có kiểm soát

Trước khi thay model, hãy chạy regression test trên tập dữ liệu đại diện, so sánh với bản đang hoạt động và kiểm thử các trường hợp lỗi. Có thể áp dụng shadow evaluation hoặc rollout từng phần để phát hiện suy giảm sớm.

Ghi version cho model, preprocessing, threshold, runtime và cấu hình hệ thống. Khi có sự cố, khả năng rollback phải nhanh và có thể truy vết nguyên nhân.

10. Kết luận

Production readiness không phải một nhãn được cấp sau khi đạt accuracy cao. Đó là quá trình liên tục đo tính chính xác, độ bền, hiệu năng, rủi ro và khả năng phục hồi của toàn hệ thống trong môi trường thật.