Architecture of the Parallel Big Data Processing System for Security Monitoring of Internet of Things Networks
Igor Vitalievich Kotenko, Igor Borisovich Saenko, Alexey Kushnerevich · Informatics and Automation · 2018
D O I 10.15622/sp.59.1 И.В.КОТЕНКО, И.Б.САЕНКО, А.Г.КУШНЕРЕВИЧ АРХИТЕКТУРА СИСТЕМЫ ПАРАЛЛЕЛЬНОЙ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ ДЛЯ МОНИТОРИНГА БЕЗОПАСНОСТИ СЕТЕЙ ИНТЕРНЕТА ВЕЩЕЙ Котенко И.В., Саенко И.Б, Кушнеревич А.Г.Архитектура системы параллельной обработки больших данных для мониторинга безопасности сетей Интернета вещей.Аннотация.Сети Интернета вещей в настоящее время находят свое применение во многих областях жизни людей.Краеугольным камнем в вопросе возможности дальнейшего распространения и использования таких сетей является аспект обеспечения их безопасности.Однако особенности сетей данного вида таковы, что использование в них традиционных средств и систем компьютерной защиты затруднено или невозможно.Одной из таких особенностей является необходимость в режиме реального времени и с минимальными вычислительными затратами анализировать очень большие объемы данных, разнородных по своей природе.С учетом особенностей вычислительных мощностей сети Интернета вещей предлагается архитектура системы параллельной обработки больших данных, основанная на использовании технологии обработки потоков данных Complex Event Processing и платформы параллельных вычислений Hadoop.Рассматриваются вопросы, непосредственно связанные с архитектурой системы, а также с реализацией следующих ее основных компонентов: сбора данных, хранения данных, нормализации и анализа данных и визуализации данных.Взаимосвязь между компонентами обеспечивается с помощью распределенной файловой системы Hadoop, которая является основой для построения распределенного хранилища данных.Компонент сбора данных организует распределенный прием данных и их хранение в компоненте хранилища данных.Компонент нормализации и анализа данных преобразует их к единому формату и обрабатывает с помощью правил корреляции.Компонент визуализации данных представляет данные в графическом виде, более удобном для дальнейшего восприятия оператором.