Estimating Appearance Models for Multi-Person Tracking by Energy Minimization
Tobias Plötz · 2014
In multi-target tracking, estimated tracks often erroneously fail to follow only a single target, hence causing identity switches. As a remedy, appearance cues are frequently exploited in order to make correct associations after a target has been temporally occluded or was not detected over several frames. In this thesis, we analyze multiple approaches of how appearance information can be integrated into the discrete-continuous energy minimization framework. To this end, we explicitly estimate appearance models for each trajectory and propose a generative as well as a discriminative energy to couple these appearance models with appearances of associated detections and trajectory frames. We show that both energies can be efficiently optimized with respect to the trajectory appearance model. Additionally, we analyze smoothness terms between appearances of consecutive trajectory frames and between labels of detections that exhibit a similar appearance. We conduct experiments under three aspects. First, we measure the general ability of the appearance energies to detect identity switches. Second, we qualitatively assess how the energy terms affect the overall tracking performance and third, we compare the full tracking system to state-of-the-art approaches on a variety of tracking scenarios. In order to lessen the influence of the optimization on the number of identity switches, we propose - and show its effectiveness - a novel recombination move that approximately minimizes the energy over the set of possible recombinations of short trajectory segments. Our analysis reveals that the benefit of the proposed energies mainly depends on how reliably appearance of a target can be measured. We see good results on scenes with clearly visible targets but observe a decline of performance for densely crowded scenes in which our system fails to estimate representative appearance models. Beim Verfolgen (Tracken) mehrerer Ziele passiert es oft, dass Trajektorien nicht ein einziges Ziel verfolgen und Identitatswechsel verursachen. Das Aussehen wird oft als Hinweis genutzt, um korrekte Zuordnungen machen zu konnen, nachdem ein Ziel kurzzeitig verdeckt war oder in einigen Bildern nicht detektiert wurde. In dieser Arbeit analysieren wir mehrere Ansatze, wie Informationen uber das Aussehen bei der Minimierung einer diskret-kontinuierlichen Energie genutzt werden konnen. Fur jede Trajektorie schatzen wir explizit Aussehensmodelle, die wir uber eine generative bzw. diskriminative Energie mit dem Aussehen von zugeordneten Detektionen und Trajektorienbildern verknupfen. Wir zeigen, dass beide Energien effizient in Bezug auf die Aussehensmodelle minimiert werden konnen. Eine weitere Energie bestraft ein sich anderndes Aussehen in aufeinanderfolgenden Bildern einer Trajektorie, wahrend es eine vierte Formulierung bevorzugt, wenn Detektionen mit ahnlichem Aussehen demselben Ziel zugeordnet werden. Unsere Experimente untersuchen drei Gesichtspunkte. Erstens messen wir, wie gut mit den Energien Identitatswechsel erkannt werden konnen. Zweitens evaluieren wir die qualitativen Auswirkungen der Energien auf die Gesamtleistung des Tracking Systems, welches schlieslich mit aktuellen Tracking Methoden verglichen wird. Um den Einfluss der Optimierung auf die Anzahl der Identitatswechsel zu reduzieren, schlagen wir einen neuen, effektiven Rekombinationsschritt vor, der annaherungsweise die Energie uber der Menge der Kombinationen von kurzen Trajektoriensegmenten minimiert. Unsere Analyse zeigt, dass der Nutzen der vorgeschlagenen Energien wesentlich davon abhangt, wie zuverlassig das Aussehen eines Ziels beschrieben werden kann. Wir erzielen gute Resultate, wenn die Ziele gut sichtbar sind. Jedoch nimmt die Leistung des Tracking Systems in Szenarien mit vielen Menschen ab, da unser System dort nicht in der Lage ist, reprasentative Aussehensmodelle zu schatzen.