Speaker conditioned semantic retrieval from speech databases
Jan Zdenek · Brno University of Technology Digital Library (Brno University of Technology) · 2026
Tato diplomová práce se zabývá sémantickým vyhledáváním v databázích řečových dat podmíněným identitou mluvčího, kde musí výsledky vyhledávání splňovat jak požadavky na sémantickou relevanci, tak na shodu mluvčího. Současné systémy pro vyhledávání v řeči jsou typicky založeny na automatickém rozpoznávání řeči a následném textovém vyhledávání, přičemž se zaměřují především na sémantický obsah a informace o mluvčím zpravidla nevyužívají. Za účelem překonání tohoto omezení práce nejprve vyhodnocuje základní přístupy pro sémantické vyhledávání a vyhledávání podle mluvčího s využitím moderních embeddingových modelů a následně zkoumá kaskádový přístup kombinující sémantickou podobnost s filtrováním podle identity mluvčího. Na tento přístup navazuje návrh end-to-end modelu, který se učí společnou reprezentaci sémantické informace a identity mluvčího ve sdíleném embeddingovém prostoru. Navržené metody jsou vyhodnoceny na datasetu SLUE-SQA5 a na vlastním datasetu vytvořeném z konverzačního korpusu Fisher. Experimentální výsledky ukazují, že začlenění informace o mluvčím vede ke zlepšení kvality vyhledávání oproti čistě sémantickému přístupu a že navržený end-to-end model konzistentně překonává jak sémantické, tak kaskádové přístupy bez nutnosti ručního ladění prahových hodnot.