Utilization of Entropy in the Text Similarity
Michal Prílepok · DSpace VŠB-TUO (VŠB-TUO) · 2016
AbstraktV dnešním počítačovém světě, počítače a jejich uživatelé produkují každý den enormní kvanta nových dat.Jedním z nejnáročnějších problémů moderní informatiky a počítačových věd je odhalení podobností a rozdílů mezi velkým množstvím dokumentů.Předkládaná disertační práce je zaměřena na využití entropie v oblasti určení podobnosti textů.Samotná podobnost textů může být měřena metrikou založenou na bázi komprese dat.Její aplikace je demonstrována ve třech oblastech.První oblast se zabývá detekci spamů, kdy jsou příchozí e-mailové zprávy rozděleny do dvou tříd -vyžádaná či nevyžádaná -spam.Ke zmíněné klasifikaci může být použit Bayesův spamový filtr.Tento filtr je rozšířen o normalizovanou kompresní vzdálenost a signatury emailů.Toto spojení přináší lepší výsledky než při samostatném použití Bayesova spamového filtru.Druhou oblastí zájmu je detekce plagiátů.V současné době je generováno mnoho různých typů dokumentů, jako jsou zprávy, absolventské práce atd.Získávání a extrakce využitých textů z velkých sbírek dokumentů jsou důležité pro aplikace, jako je detekce plagiátů, ochrana autorských práv a analýza toku informací.K řešení nastíněných problémů nabízí předkládaná práce algoritmy, které dokáží detekovat dokumenty podobné -plagiáty.Navrhovaná metoda je také inspirována v oblasti komprese dat, ale jiným způsobem.Metoda využívá pouze některé inicializační části kompresního algoritmu a jejich modifikace.Poslední část práce představuje zpracování encefalografických (EEG) dat jakožto textových dokumentů.Nejprve však tato data musí být převedena z naměřených napěťových průběhů do textové podoby.Popsaná konverze dat se provádí pomocí želví grafiky a následnému kódování do textu.Po takto provedené konverzi mohou být EEG data zpracována a klasifikována s využitím metriky založené na bázi komprese dat.Tuto transformaci EEG dat je možno využít k detekci jednoduchých kognitivních funkcí, například pohybů prstů.