Side-View Face Recognition
Pınar Santemiz · 2025
Face recognition is a widely used biometric method for its non-intrusive and passive nature.Side-view face recognition, in particular, offers unique advantages and expands the potential for real-world applications.While advancements in deep learning have greatly improved recognition performance for frontal faces, pose variation remains a significant challenge.Real-world face recognition applications, such as access control, surveillance, security, and smart home systems, often involve non-frontal poses, making side-view face recognition a crucial biometric solution.Furthermore, long-term re-identification can significantly benefit from side-view face recognition as it enhances accuracy when frontal images are unavailable.However, side-view poses introduce unique challenges, including self-occlusion, asymmetry, and a scarcity of reliable facial landmarks, which complicates key tasks such as detection, alignment, and feature extraction.Unlike most systems that rely on frontal images or frontalization techniques, our study focuses on side-view-to-side-view face recognition, addressing a critical research gap in non-frontal recognition.We systematically investigate the challenges, limitations, and advancements in side-view face recognition to develop a system that performs reliably across diverse real-world conditions.Our key contributions are as follows:We provide a technical report on early developments and an in-depth survey of state-of-the-art side-view face recognition, categorizing approaches into feature-based, image-based, and set-based methods.We critically analyze these methods and identify a significant gap in existing benchmarks.Most datasets exhibit a frontal bias and lack sufficient variation to reflect realworld challenges, meaning high performance does not necessarily indicate robustness against extreme poses.While cross-dataset evaluations are crucial for proper assessment, they remain largely underexplored.Next, we contributed UT-DOOR, a video-based face dataset featuring recordings of 98 subjects captured by four doorpost-mounted cameras.i Om de uitdagingen van gezichtsdetectie en -registratie aan te pakken, onderzoeken we locaties van oriëntatiepunten (landmarks) bij zijaanzichtposes.We identificeren het oogcentrum, de mondhoek en de neuspunt als de meest betrouwbare oriëntatiepunten, aangezien andere gevoelig zijn voor pose, gezichtsuitdrukking en occlusie.We valideren dit door de detectie te automatiseren en de herkenning te verbeteren met Local Binary Patterns (LBP).Vervolgens analyseren we de impact van gezichtsgrootte, rotatie en positie op deep learning similarity scores, waarbij we benadrukken dat nauwkeurige gezichtsdetectie bijzonder uitdagend blijft bij zijaanzichtposes.Om deze uitdagingen aan te pakken, stellen we een registratiemethode voor die de gezichtsdetectie en de herkenningsprestaties verbetert.Een andere belangrijke uitdaging is het gebrek aan kenmerkende gezichtsgebieden bij zijaanzichtposes, wat betrouwbare feature-extractie belemmert.We vergelijken verschillende methoden voor gezichtsrepresentatie en benadrukken de belangrijkste voordelen van LBP, waaronder robuustheid tegen kleine houdingvariaties door de op lokale regio's gebaseerde aanpak, en computationele efficiëntie als algoritme die niet getraind hoeft te worden.Bovendien stellen we voor om video-informatie te gebruiken om verkeerd geregistreerde beelden te elimineren en de herkenningsprestaties te verbeteren.Vervolgens introduceren we een op deep learning gebaseerd systeem, dat betere prestaties levert dan conventionele methoden.Hoewel deep learning de beter bestand is tegen posevariaties, laat onze analyse van welke gebieden aan de herkenning bijdragen bij verschillende poses de uitdagingen zien die het gebrek aan kenmerkende gezichtsgebieden met zich meebrengt.Hoewel veel onderzoeken een hoge nauwkeurigheid melden binnen specifieke datasets, is het onze bevinding dat cross-dataset-evaluaties vaak suboptimale resultaten opleveren, wat aangeeft dat dataset-specifieke fineiv tuning de generalisatie beperkt.We vergelijken deep learning met LBP en laten zien dat LBP, als ongetrainde methode, een beter bestand is tegen variaties tussen datasets, en deep learning in onze experimenten qua prestaties overtreft.Deze resultaten benadrukken de noodzaak om de cross-dataset-generalisatie van deep learning-modellen voor real-worldtoepassingen te verbeteren.Ook blijft het uitbreiden van datasets voor het evalueren van niet-frontale houdingen, met name herkenning van zijaanzicht naar zijaanzicht, essentieel.v Pursuing a PhD has been a long and demanding journey, one that has tested my determination, patience, and self-motivation.I would like to sincerely thank all those who stood by me with their encouragement and support along the way.In particular, I am deeply grateful to my promoters for their invaluable guidance, feedback, and patience.I thank Raymond Veldhuis for giving me the opportunity to join this group.Besides his excellent guidance and inspiring suggestions, I am grateful for our most enjoyable discussions and for his constant understanding, which encouraged me to continue on this journey.I am also thankful to Luuk Spreeuwers for his insightful comments, constructive criticism, and to-the-point questions that sparked many fruitful discussions.I look forward to continuing our collaborations in the years ahead.I wish to express my gratitude to all the members of the graduation committee for their interest in my