Modern trends in sensor data storage and processing
Elena Shevchuk, Yury Vladimirovich Shevchuk · Program systems theory and applications · 2015
Е. В. Шевчук, Ю. В. Шевчук Современные тенденции в области хранения и обработки сенсорных данныхАннотация.Содержится обзор современных тенденций в области хранения и обработки сенсорных данных, различные подходы рассматриваются с точки зрения применимости к организации масштабируемых высокопроизводительных хранилищ данных, выделены наиболее перспективные решения с учетом специфики сенсорных данных и их использования.Ключевые слова и фразы: временные ряды, масштабируемое распределенное хранение данных, онлайн сервисы хранения данных. ВведениеПо исследованиям IDC (International Data Corporation) [1,2] одним из основных факторов роста объемов информации является увеличение доли автоматически генерируемых данных: с 11% от общего объема в 2005 г. до более 40% в 2020 г.Т.е.наблюдаемый экспоненциальный рост объемов мировой информации будет происходить в основном за счет поступления информации от таких источников данных, как спутники дистанционного зондирования Земли, GPS, мобильные устройства, датчики физических величин и т.п.Также в своих исследованиях IDC делает вывод, что большая часть полезных данных теряется -используется менее 3 из 23% потенциально полезных данных, которые могли бы найти применение (в том числе с технологиями Big Data).Поскольку считается, что возможность анализа больших данных даст совершенно новый инструмент исследований в различных областях человеческой деятельности, то очевидно, что потеря значительной части входных данных для этого инструмента ограничит возможности его применения и снизит достоверность полученных результатов.Наметилась