Computer analysis of school paraphrase essays based on Heaps’ law
Natalia Zakrevskaya, Maria Kovalevskaya, Mikhail Chebunin · Science Bulletin of the Novosibirsk State Technical University · 2020
Идея изложения художественного текста школьниками состоит не в копировании авторского текста, а в пересказе основного содержания другими словами.Компьютерный анализ текста изложения должен учитывать, что и исходный авторский текст, и его изложение школьником подчиняются закону Ципфа распределения частот слов, но с разными словарями и с разными параметрами.Различие словарей и параметров закона Ципфа у автора и учащихся обусловлено различием социальной среды, круга чтения и общения, способности запоминать и использовать слова разных языковых пластов.Математический аппарат для анализа соответствия текста закону Ципфа разработан в ряде теоретических работ по теории вероятностей и математической статистике.Методами теории случайных процессов описывается поведение последовательности количеств разных слов текста.Отметим, что степенной закон роста числа разных слов с увеличением длины текста в прикладной статистике называется законом Хипса.Теоретические результаты на основании элементарной вероятностной модели позволяют анализировать значимость отклонений от закона Хипса.В настоящей работе разработан алгоритм анализа изложений.Он включает сравнение текста изложения с исходным авторским текстом, выявляет повторяющиеся слова и выражения.Отдельно анализируется появление стандартных триграмм (троек слов) с помощью библиотеки наиболее частых триграмм, составленной по библиотеке русской классики.Затем анализируется однородность текста на основании соответствия закону Хипса.В заключение изучается однородность комбинированных текстов, составленных из исходного текста и текста изложения.Разработанный подход дает новую информацию о тексте изложения и его соответствии исходному тексту.Он может применяться как для компьютерного анализа изложений, так и для проверки однородности текста.* Статья получена 16 декабря 2019 г.Исследование выполнено при частичной финансовой поддержке РФФИ и правительства Новосибирской области (грант №19-41-543004) и поддержке программы фундаментальных научных исследований СО РАН № I.1.3.