Sistem Deteksi, Tracking, dan Verifikasi Manusia Berbasis Computer Vision

01ABSTRAK

Sistem pemantauan manusia berbasis kamera pada umumnya mengembangkan deteksi dan pelacakan orang, penghitungan lalu lintas, serta verifikasi wajah sebagai modul yang berdiri sendiri-sendiri, sehingga integrasi ketiganya menjadi satu pipeline end-to-end yang berjalan real-time pada CPU tanpa GPU masih jarang dilaporkan. Riset ini membangun dan menguji sistem terintegrasi yang menggabungkan deteksi (YOLO26 + OpenVINO), pelacakan (ByteTrack) [1], penghitungan masuk/keluar (LineZone), dan verifikasi wajah (GhostFaceNet) [2] dengan keputusan identitas level-track (voting multi-sampel) serta unknown-rejection berbasis threshold absolut dan margin, diuji pada video CCTV lokal dan dataset publik ChokePoint [3], [8]. Setelah tiga iterasi perbaikan pipeline, akurasi identifikasi top-1 pada 1209 sampel uji ChokePoint meningkat dari 35,7% menjadi 81,6% (1,0% salah identitas, 17,4% unknown). Evaluasi counting/tracking pada tiga sequence ChokePoint menghasilkan MAE 3,0 orang (relative error 12%, exact match rate 0%). Pengukuran throughput pada CPU Intel Core i3 menunjukkan 24,99 FPS memakai OpenVINO (speedup 2,36× dibanding baseline PyTorch 10,59 FPS) pada resolusi 1024×768. Temuan lain: race condition pada pemanggilan model wajah secara paralel dapat menyebabkan kesalahan identifikasi meski data gallery sudah baik, dan performa pada video CCTV lokal jauh lebih sensitif terhadap pencahayaan/sudut wajah dibanding ChokePoint akibat perbedaan struktural penempatan kamera.

02LATAR BELAKANG & TUJUAN

Pemantauan manusia yang dilakukan secara manual melalui rekaman CCTV memerlukan waktu dan tenaga yang tidak sedikit, serta rentan terhadap luputnya kejadian-kejadian penting akibat keterbatasan perhatian manusia. Oleh karena itu, otomatisasi proses pemantauan melalui pendekatan computer vision mencakup deteksi dan pelacakan orang, penghitungan lalu lintas masuk dan keluar, hingga verifikasi identitas wajah individu yang terekam menjadi suatu kebutuhan praktis, terlebih apabila sistem tersebut dapat dijalankan secara real-time pada perangkat CPU yang umum tersedia tanpa memerlukan GPU khusus.

Berdasarkan hal tersebut, riset ini bertujuan:

1. Membangun pipeline terintegrasi deteksi, pelacakan, penghitungan, dan verifikasi wajah yang berjalan real-time pada CPU

2. Menguji sistem pada data lokal maupun benchmark publik ChokePoint

3. Mendokumentasikan kendala praktis (kualitas data, bug perangkat lunak) yang ditemukan selama pengembangan, karena kendala semacam ini jarang dilaporkan secara eksplisit dalam literatur meskipun berdampak besar pada performa sistem di lapangan.

03TINJAUAN PUSTAKA

Penelitian di bidang deteksi dan pelacakan orang, penghitungan lalu lintas, serta verifikasi wajah sejauh ini telah berkembang cukup matang, namun cenderung berkembang sebagai tiga arus penelitian yang terpisah. Pada aspek deteksi dan pelacakan, ByteTrack [1] menjadi salah satu rujukan yang banyak digunakan karena kemampuannya mempertahankan identitas track meskipun skor deteksi rendah, misalnya akibat oklusi sebagian, dan telah dipadukan dengan berbagai varian YOLO, termasuk YOLOv8 [5] dan YOLO26 [4], pada berbagai studi pelacakan orang lintas kamera. Studi-studi tersebut secara konsisten mengukur keberhasilan sistem melalui metrik pelacakan seperti ID-switch dan MOTA serta penghitungan lalu lintas, tanpa membahas lebih lanjut penentuan identitas individu yang dilacak.

Pada aspek verifikasi wajah, kecenderungan penelitian mengarah pada arsitektur yang ringan agar dapat berjalan real-time tanpa GPU, dengan GhostFaceNet [2] sebagai salah satu representasi arsitektur efisien melalui Ghost module. Evaluasi model semacam ini pada kondisi surveillance yang mendekati kondisi nyata umumnya memanfaatkan benchmark ChokePoint [8], sebagaimana dilakukan Moung dkk. [3] yang menunjukkan variasi performa antar-arsitektur deep learning pada dataset tersebut, meski evaluasinya bersifat per-frame, bukan pada level lintasan (track) satu individu secara utuh. Koch dkk. [7] membahas pentingnya mekanisme penolakan tegas terhadap wajah tidak dikenal (open-set recognition), meski jarang dikaitkan dengan skenario portal/pintu masuk real-time.

Penelitian yang paling mendekati upaya menjembatani celah antara pelacakan dan verifikasi adalah kerangka kerja multi-task untuk surveillance dengan validasi temporal yang diusulkan Dumitru dan Spînu [6], yang melaporkan penurunan angka kesalahan (false-alarm) signifikan setelah penambahan lapisan validasi berbasis banyak frame. Meskipun demikian, sebagaimana studi pelacakan [1], [4], [5] maupun studi verifikasi wajah [2], [3], [7] di atas, kerangka kerja tersebut tetap perlu dievaluasi sebagai komponen terpisah.

Gap / peluang:

- Belum terdapat penelitian yang secara eksplisit menggabungkan deteksi, pelacakan, penghitungan masuk/keluar, dan verifikasi wajah dengan mekanisme unknown-rejection menjadi satu pipeline yang diuji end-to-end, baik pada data CCTV lokal maupun benchmark publik seperti ChokePoint [8].

- Selain itu, kendala rekayasa perangkat lunak (kualitas data enrollment, thread-safety pemanggilan model) yang berdampak besar terhadap performa lapangan jarang didokumentasikan pada penelitian yang berorientasi akurasi model semata [2], [3], [4], [5].

Arah pendekatan kami: Riset ini mengintegrasikan keempat aspek tersebut menjadi satu sistem utuh yang berjalan real-time pada CPU, mengadopsi prinsip validasi multi-frame [6] secara spesifik pada level track untuk keputusan identitas wajah sekaligus unknown-rejection [7] berbasis threshold absolut dan margin, dan melaporkan secara eksplisit kendala rekayasa perangkat lunak yang ditemukan selama pengembangan.

04METODOLOGI

- Sumber & pengumpulan data:

1. Rekaman video CCTV lokal milik pribadi dengan 2 identitas untuk pengujian kondisi lapangan

2. Dataset publik ChokePoint [8], rekaman individu berjalan melewati portal, direkam 3 kamera, dengan anotasi identitas per frame. Evaluasi identifikasi wajah memakai sequence P1E_S1_C1 (1209 sampel foto wajah); evaluasi counting/tracking memakai 3 sequence.

- Praproses: Foto enrollment ChokePoint dipilih berdasarkan perankingan skor ketajaman gambar (blur score), bukan filter tolak/terima terhadap satu ambang tunggal. Untuk gambar yang sudah berupa crop wajah murni (bukan crop bounding-box tubuh), jalur ekstraksi embedding dilewatkan tanpa deteksi ulang (detector_backend=”skip”) untuk menghindari kegagalan deteksi pada crop yang sudah rapat.

- Pembagian data: Split dilakukan pada level identitas/foto per-subjek (bukan per-frame). Dimana sejumlah foto ter-ranking teratas per identitas dipakai sebagai gallery enrollment, sisanya dipisah sebagai test set independen, untuk menghindari kebocoran data (data leakage) antara sampel yang dipakai membangun template dan sampel yang dipakai menguji.

- Model / algoritma:

1. Deteksi: YOLO26n diekspor ke format OpenVINO

2. Pelacakan: ByteTrack [1]

3. Penghitungan masuk/keluar: LineZone (garis virtual berbasis arah lintasan titik tengah bounding box)

4. Verifikasi wajah: GhostFaceNet [2] melalui pustaka DeepFace, detektor wajah yunet, keputusan identitas per track diambil dari voting mayoritas beberapa sampel wajah.

- Environment & dependency:

1. Python 3.x

2. ultralitics (YOLO26 + OpenVINO export)

3. deepface + keras(GhostFaceNet)

4. OpenCV (versi 5.x)

5. supervision (tracking/anotasi)

6. OpenVINO

- Parameter penting & kalibrasi: ambang batas absolut = 0,6604 dan margin minimum = 0,0055 pada kalibrasi akhir yang dipakai untuk hasil pada riset ini (dikalibrasi ulang secara empiris dari nilai awal 0,7148/0,0239 seiring perbaikan pipeline); ambang blur minimum = 5,0; resolusi inferensi YOLO = 640×640.

- Metrik evaluasi:

1. Akurasi identifikasi top-1 (Benar/Salah/Unknown) untuk verifikasi wajah

2. Mean Absolute Error (MAE), relative error, dan exact match rate untuk counting/tracking, dengan ground-truth berupa jumlah person id berbeda pada anotasi ChokePoint;

3. Throughput (FPS, ms/frame) dan speedup OpenVINO vs baseline PyTorch untuk klaim real-time.

- Lokasi kode/eksperimen mentah (wajib):

https://github.com/ai-lab-id/human-monitoring-comvis

05HASIL & TEMUAN

Perbaikan pipeline verifikasi wajah pada dataset ChokePoint dilakukan melalui tiga iterasi pengujian yang berurutan, dengan akurasi identifikasi top-1 meningkat dari 35,7% pada pengujian pertama menjadi 81,6% pada pengujian ketiga. Ringkasan penyebab dan perbaikan yang dilakukan pada setiap iterasi disajikan pada tabel berikut.

Untuk melihat lebih rinci apa yang sesungguhnya berubah pada setiap iterasi, hasil klasifikasi dipecah menjadi tiga kategori pada setiap pengujian: "Benar" (identitas tertebak sesuai ground-truth), "Salah" (sistem percaya diri namun salah menyebut identitas lain), dan "Unknown" (sistem menolak/tidak berani memutuskan identitas). Rincian jumlah dan persentase ketiga kategori tersebut pada setiap iterasi, dari total 1209 sampel data uji yang sama, disajikan pada Tabel 2.

Tabel 2 menunjukkan bahwa "Benar", "Salah", dan "Unknown" tidak bergerak secara proporsional pada setiap iterasi, melainkan didominasi oleh kategori yang berbeda-beda pada tiap transisi, sebagaimana dirinci pada tabel berikut dimana menjelaskan bagaimana perubahan (Δ) jumlah sampel per kategori antar iterasi pengujian dalam persentase.

Pola pada tabel menunjukkan bahwa kenaikan dari Pengujian 1 ke Pengujian 2 didominasi oleh penurunan angka "unknown" akibat penyesuaian jalur ekstraksi, sedangkan kenaikan dari Pengujian 2 ke Pengujian 3 didominasi oleh penurunan tajam kesalahan identitas, dari 10,8% menjadi hanya 1,0% pada iterasi akhir. Hal ini menunjukkan bahwa kualitas dan keberagaman foto enrollment berkontribusi besar terhadap ketepatan pemisahan antar-identitas, bukan hanya terhadap kemampuan sistem menghindari kesalahan tebak. Pada iterasi akhir, kesalahan yang tersisa lebih didominasi oleh sikap sistem yang menolak identitas secara hati-hati ("unknown" sebesar 17,4%) dibanding salah menebak identitas lain (1,0%), sebagaimana ditunjukkan pada tabel berikut.

Meskipun tingkat kecocokan tepat (exact match rate) sebesar 0% menunjukkan bahwa belum ada satu pun dari tiga sequence yang diuji menghasilkan jumlah individu yang sama dengan ground-truth, galat relatif sebesar 12% mengindikasikan bahwa selisih hitungan sistem terhadap jumlah sebenarnya masih berada pada kisaran yang relatif moderat, bukan kesalahan yang sangat besar. Hal ini konsisten dengan karakteristik ByteTrack [1] yang kadang memecah satu individu menjadi lebih dari satu track akibat oklusi sebagian atau perubahan postur mendadak, sehingga jumlah track yang tercatat sistem cenderung lebih banyak daripada jumlah individu sebenarnya.

Pengukuran throughput dilakukan pada perangkat laptop HP 15-dy5xxx dengan prosesor Intel Core i3-1215U generasi ke-12 (1,20 GHz), RAM 16 GB, grafis terintegrasi Intel UHD Graphics, dan sistem operasi Windows 11 Home. Rincian lengkap spesifikasi perangkat disajikan pada tabel berikut.

Pada pengujian dengan data lokal (2 identitas), ditemukan beberapa masalah tambahan yang signifikan secara berurutan:

1. Gallery enrollment yang tercemar oleh crop hasil tracking otomatis (bukan foto yang dikurasi), menyebabkan jarak antar-foto milik identitas yang sama lebih besar daripada jarak antar dua identitas berbeda

2. Tidak adanya audit jumlah wajah pada fungsi enrollment, berisiko mengambil embedding wajah yang salah apabila lebih dari satu orang tampak pada satu foto

3. Sensitivitas terhadap pose non-frontal, di mana foto profil/menunduk menghasilkan embedding yang jauh berbeda dari foto frontal individu yang sama

Setelah ketiga isu tersebut diperbaiki, ditemukan temuan paling signifikan: race condition pada pemanggilan model DeepFace secara paralel (multi-thread) menyebabkan hasil ekstraksi embedding salah (0 wajah terdeteksi) untuk foto yang ketika diuji secara terisolasi (satu per satu), berhasil dideteksi dengan confidence tinggi (0,92). Setelah pemanggilan model dikunci menjadi sekuensial memakai mutual-exclusion lock, seluruh foto enrollment (8 dari 8) berhasil diekstrak dan jarak antar-identitas kembali terpisah secara benar (jarak silang minimum 0,68, di atas ambang 0,66).

Meskipun gallery lokal telah diperbaiki, pengujian pada rekaman video CCTV lokal tetap menunjukkan tingkat sensitivitas yang jauh lebih tinggi terhadap kondisi pencahayaan ruangan dan sudut wajah dibandingkan dengan hasil pada dataset ChokePoint. Hasil analisis lebih lanjut menunjukkan bahwa hal tersebut bukan disebabkan oleh perbedaan kualitas data, melainkan oleh perbedaan struktural pada penempatan kamera. Kamera pada dataset ChokePoint ditempatkan pada portal atau pintu masuk, sehingga individu yang melintas secara alami menghadap ke arah kamera, yang pada gilirannya memberikan lebih banyak kesempatan bagi mekanisme voting multi-sampel untuk menemukan momen wajah yang layak dalam satu lintasan. Sebaliknya, apabila posisi kamera lokal dan kondisi pencahayaan ruangan tidak mendukung wajah untuk menghadap kamera secara konsisten, hampir seluruh sampel dalam satu track dapat memiliki kualitas rendah secara bersamaan, sehingga mekanisme voting tidak memiliki kandidat yang cukup baik untuk dipilih.

06DISKUSI

Temuan-temuan yang telah dipaparkan di atas menunjukkan bahwa keandalan sistem verifikasi wajah pada kondisi surveillance yang mendekati kondisi nyata tidak semata-mata ditentukan oleh pemilihan model, melainkan sangat dipengaruhi pula oleh kualitas data enrollment serta rekayasa perangkat lunak di sekitar model tersebut. Hal ini sejalan dengan temuan pada sistem surveillance multi-modul lain, yang melaporkan penurunan drastis pada angka kesalahan (false-alarm) setelah menambahkan lapisan validasi temporal/multi-frame di atas prediksi model dasar, tanpa perlu mengubah model itu sendiri [6]. Kesamaan pola ini memperkuat argumen bahwa upaya peningkatan sistem surveillance sebaiknya tidak berhenti pada penggantian arsitektur model semata, melainkan turut mencakup lapisan validasi serta rekayasa sistem di sekitarnya.

Apabila dibandingkan dengan studi evaluasi deep learning pada dataset ChokePoint sebelumnya [3], akurasi sebesar 81,6% yang diperoleh pada penelitian ini dicapai dengan menggunakan model verifikasi wajah yang jauh lebih ringan (GhostFaceNet, yang dioptimalkan untuk CPU) dan bukan tanpa kendala teknis di sepanjang prosesnya, sehingga menunjukkan adanya celah yang nyata antara performa model "di atas kertas" dan performa sistem yang benar-benar terintegrasi. Bug race condition yang ditemukan pada penelitian ini juga relevan dengan diskusi yang lebih luas mengenai thread-safety pada inferensi model deep learning yang dijalankan secara paralel demi kebutuhan kecepatan, suatu trade-off yang literaturnya secara spesifik belum banyak dibahas pada konteks deployment sistem visi komputer berskala kecil atau edge.

Kesenjangan performa antara dataset ChokePoint dan video lokal turut memberikan wawasan praktis yang penting, yaitu bahwa mekanisme voting multi-sampel per track [6] hanya dapat berjalan efektif apabila populasi sampel yang terkumpul dalam satu lintasan cukup beragam kualitasnya untuk menyediakan setidaknya beberapa kandidat yang baik. Dataset ChokePoint secara tidak sengaja memenuhi syarat tersebut melalui desain fisik penempatan kameranya di portal, sedangkan sistem CCTV pada umumnya tidak selalu dirancang dengan pertimbangan yang serupa. Dengan demikian, keberhasilan sistem verifikasi wajah berbasis voting semacam ini tidak dapat dilepaskan dari pertimbangan tata letak kamera secara fisik sejak tahap perancangan, bukan semata-mata bergantung pada parameter perangkat lunak yang dapat dikalibrasi di kemudian hari.

07LIMITASI

1. Pengujian data lokal hanya melibatkan 2 identitas, sehingga belum merepresentasikan skenario dengan populasi gallery yang besar di mana risiko tumpang tindih antar-identitas secara statistik lebih tinggi. Pengujian pada ChokePoint [8] baru dilakukan pada satu sequence portal (P1E_S1_C1), generalisasi ke portal/kondisi pencahayaan lain dalam dataset yang sama belum diuji.

2. Kalibrasi ambang (threshold) dan margin masih dilakukan secara manual/empiris berdasarkan pengamatan distribusi jarak, belum memakai metode sistematis seperti analisis ROC atau estimasi Equal Error Rate.

3. Versi real-time berbasis webcam baru diuji secara kualitatif (sanity check), belum dievaluasi secara kuantitatif dengan ground-truth. Sistem masih bergantung pada satu backend detektor wajah (yunet) yang terbukti sensitif terhadap versi pustaka OpenCV yang terpasang di lingkungan eksekusi.

4. Sensitivitas performa terhadap pencahayaan dan posisi kamera pada video lokal baru diamati secara kualitatif; belum ada pengukuran kuantitatif (mis. lux ruangan, sudut kamera terhadap jalur pejalan) yang menghubungkan variabel fisik tersebut dengan penurunan akurasi secara terukur.

08KESIMPULAN & ARAH SELANJUTNYA

Riset ini menunjukkan bahwa pipeline terintegrasi deteksi, pelacakan, penghitungan masuk/keluar, dan verifikasi wajah dengan keputusan level-track dapat berjalan real-time pada CPU dan mencapai akurasi identifikasi yang baik (81,6% pada benchmark ChokePoint setelah serangkaian perbaikan pipeline), dengan catatan bahwa capaian ini sangat bergantung pada kualitas kurasi data enrollment, penanganan isu konkurensi pada pemanggilan model, dan penempatan fisik kamera terhadap arah hadap wajah individu yang dipantau, sebagaimana ditemukan pada pengujian video lokal. Ketiga aspek ini mudah luput dari perhatian apabila evaluasi hanya berfokus pada arsitektur model semata.

Arah pengembangan lanjutan yang diusulkan:

1. Kalibrasi ambang & margin secara sistematis memakai analisis ROC/EER pada dataset yang lebih besar

2. Perluasan pengujian ke lebih banyak sequence dan portal pada ChokePoint [8] untuk mengukur generalisasi

3. Evaluasi kuantitatif end-to-end untuk jalur real-time webcam, bukan sekadar sanity check kualitatif

4. Penambahan mekanisme deteksi otomatis foto enrollment bermasalah (mis. multi-wajah, pose ekstrem) sebagai bagian dari alur kurasi data, bukan hanya audit manual

5. Investigasi lebih lanjut mengenai thread-safety pemanggilan model deep learning secara paralel sebagai bagian dari praktik rekayasa sistem visi komputer real-time secara umum

6. Studi terukur mengenai pengaruh penempatan kamera & pencahayaan fisik terhadap akurasi voting multi-sampel, termasuk kemungkinan menambah preprocessing pencerahan otomatis (mis. CLAHE) sebagai mitigasi perangkat lunak untuk kondisi kamera yang kurang ideal.

09REFERENSI

1. Y. Zhang et al., "ByteTrack: Multi-Object Tracking by Associating Every Detection Box," in Proc. European Conf. Computer Vision (ECCV), 2022.

2. M. Alansari, O. A. Hay, S. Javed, A. Shoufan, Y. Zweiri, and N. Werghi, "GhostFaceNets: Lightweight Face Recognition Model From Cheap Operations," IEEE Access, vol. 11, pp. 35429–35446, 2023.

3. E. G. Moung, J. A. Dargham, and J. Khoo, "Deep Learning Architectures and Their Efficacy in Surveillance Face Recognition: A Study with the ChokePoint Dataset," Springer, 2024.

4. R. Sapkota, R. H. Cheppally, A. Sharda, and M. Karkee, "YOLO26: Key Architectural Enhancements and Performance Benchmarking for Real-Time Object Detection," arXiv preprint arXiv:2509.25164, 2025.

5. N. A. Pandya and N. C. Chauhan, "Multi-Camera Person Tracking: Integrating YOLOv8 with ByteTrack," International Journal of Electrical Engineering (IJEEE), vol. 11, no. 10, pp. 53–60, 2024.

6. E. Dumitru and S. Spînu, "A Multi-Task Deep Learning Framework for Real-Time Intelligent Video Surveillance with Temporal Event Validation," arXiv preprint arXiv:2607.03131, 2026.

7. T. Koch, C. Riess, and T. Köhler, "LORD: Leveraging Open-Set Recognition with Unknown Data," in Proc. IEEE/CVF Int. Conf. Computer Vision Workshops (ICCVW), 2023.

8. Y. Wong, S. Chen, S. Mau, C. Sandersonand B. Lovell, “ChokePoint Dataset”. Zenodo, Jun. 22, 2017. doi: 10.5281/zenodo.815657.

10KEPEMILIKAN

Hak ekonomi/komersial : PT MKA

11Tim & Kredit

* Muhamad Rizki: Team Lead, AI Lab ([ai-lab.id](http://ai-lab.id))

* Monica Febyana: AI (Intern), AI Lab ([ai-lab.id](http://ai-lab.id))

12Changelog

v0.1* — 18 Agustus 2026 — Draft awal. Evaluasi pipeline pada dataset ChokePoint (identifikasi wajah: 1 sequence/1209 sampel; counting/tracking: 3 sequence) dan video CCTV lokal (2 identitas), pengukuran throughput CPU Intel Core i3.