An analysis on frequency of terms for text categorization
Edgar Moyotl-Hernández, Héctor Jiménez-Salazar · RUA, Repositorio Institucional de la Universidad de Alicante (Universidad de Alicante) · 2004
Presentamos resultados sobre una forma de selección de términos con fines de categorización de textos. Usamos el punto de transición, esto es, la frecuencia de un termino en un texto o colección de textos que divide en dos a los términos: los de alta y baja frecuencia. Se tomaron porcentajes de términos basados en valores de su frecuencia entre documentos, la ganancia de información y la prueba X2. El desempeño de la categorización, entrenando el algoritmo de Rocchio con estos términos, fue comparado con un recorte hecho a la cantidad de términos en función de su frecuencia comparada con el punto de transición de la colección de entrenamiento. En un experimento, aplicado a la categorización de textos en español, fueron usados los mencionados criterios de selección y se observó una disminución de términos, manteniendo al menos el mismo desempeño. En nuestro experimento, el mejor desempeño lo obtuvo la selección basada en los valores de frecuencia de términos entre documentos combinada con el punto de transición.