Evaluation of Web-Crawlers by Applying Weight-Given Approach on Recognition base
Bong Joon Choi, Wei Jiang, Kyoo Seok Park · 한국멀티미디어학회 학술발표논문집 · 2006
제한된 대역폭, 저장장치, 수학적 해석을 거친 웹소스 그리고 웹의 동적인 성향 때문에 검색엔진은 모든 웹페이지에 검색을 위한 색인정보를 가질 수 없고, 심지어 웹에 탐색된 페이지조차도 변화에 대해 연속적으로 모니터링 되어질 수 없다. 그러므로, 색인된 페이지의 우선순위를 부여하기 위한 효과적인 크롤링 방법을 개발하는 것이 웹시장의 핵심이라 하겠다. 이 관점에 볼 때, 웹크롤러가 방문된 페이지들의 관련성을 기초로 하여 새로운 정보수집 결정을 이끌어내야하는 만족도높은 검색엔진들을 위해 더욱 더 중요하다. 한편, 적합성있는 URL 세트가 알려져 있지 않고, 검색공간이 수시로 변하기 때문에 더 나은 크롤링 방법을 평가하는데 다소 어려움이 있다. 이에 본 논문에서는, 웹크롤러와 성능 평가를 위한 새로운 방법 즉, 인식기반 가중치 랭크스코어를 제안하고, 이를 적용하여, 즙 더 향상된 검색기법을 위한 가중치부여 접근방식의 웹크롤러 알고리즘을 제시한다. 이에 향후 새로운 Search Engine 개발에 중요한 지표가 될 수 있다고 사료된다.