Как договаривались, сегодня мы начнём знакомство с новой огромной (в том числе и в буквальном смысле) отраслью, имеющей отношение к ГИС и работе с данными, а именно, с Big Data.
Big Data или "большие данные" - обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия,эффективно обрабатываемых горизонтально масштабируемыми программными инструментами, появившимися в конце 2000-х годов и альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence.
В широком смысле о "больших данных" говорят как о социально-экономическом феномене, связанном с появлением технологических возможностей анализировать огромные массивы данных, в некоторых проблемных областях — весь мировой объём данных, и вытекающих из этого трансформационных последствий.
В качестве определяющих характеристик для больших данных традиционно выделяют "три V": объём (англ. volume, в смысле величины физического объёма), скорость (velocity в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов), многообразие (variety, в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных); в дальнейшем возникли различные вариации и интерпретации этого признака.
С точки зрения информационных технологий в совокупность подходов и инструментов изначально включались средства массово-параллельной обработки неопределённо структурированных данных, прежде всего, системами управления базами данных категории NoSQL, алгоритмами MapReduce и реализующими их программными каркасами и библиотеками проекта Hadoop. В дальнейшем к серии технологий больших данных стали относить разнообразные информационно-технологические решения, в той или иной степени обеспечивающие сходные по характеристикам возможности по обработке сверхбольших массивов данных.
В настоящее время основной поток геопространственной информации, отвечающей общим критериям Big Data, генерируется с помощью:
• глобальных систем позиционирования;
• аппаратуры дистанционного зондирования Земли, установленной на БПЛА, самолетах и космических спутниках;
• глобальных систем позиционирования (GPS, ГЛОНАСС, Beidou и др.);
• локальных сенсоров, привязанных к определенному объекту или точке с известными координатами (датчики уровней воды на реках, логгеры метеопараметров, различные датчики мобильных устройств и др.);
• меток радиочастотной идентификации (RFID), установленных на подвижных объектах;
• социальных сетей с географической привязкой контента (Twitter, Facebook и др.)