Comparison of online and offline evaluation metrics in Recommender Systems
Petr Kasalický · Cvut DSpace (Czech Technical University) · 2021
Cílem práce je prozkoumat doporučovací systémy a způsoby jejich vyhodnocení. Je kladen důraz na porovnání online a offline způsobů vyhodnocení, neboť jejich vztah je velmi sporný. Při výzkumu se běžně používá recall pro optimalizaci doporučovacích algoritmů. Avšak recall může trpět různými problémy a nemusí vždy odpovídat online metrikám, jako je míra prokliku. Toto tvrzení je experimentálně ověřeno za použití produkčního doporučovacího systému s cílem změřit korelaci mezi recallem a mírou prokliku. Jak ukazuje sada vyčerpávajících experimentů s velkým množstvím modelů a metrik na několika průmyslových datasetech, tak korelace mezi recallem a mírou proklikou není vždy zaručena. Vzniká tak velká otázka nad současnými metodami porovnávání modelů ve výzkumu. Jako částečné zlepšení offline metrik je představena nová metoda měření recallu, která lépe reflekujte sekvečnost interakcí stejně jako jejich nenáhodné rozdělení, a tím zvyšuje její podobnost s mírou prokliku.