Практический опыт построения BigData-платформ

Деятельность любого предприятия связана с генерацией огромных массивов данных. В настоящее время почти каждый станок, элемент технологической линии и тем более бизнес-процесс ежемесячно генерируют солидный объем сырых данных – от десятков мегабайт до сотен гигабайт. Большая их часть используется только единожды – для оперативного управления техпроцессами и стирается. Между тем грамотное применение этих данных способно принести предприятию выгоду. Какую именно и что для этого нужно предпринять? Термин «большие данные» в последние пять лет звучит повсеместно, но за ним, как правило, скрываются разные системы. Среди специалистов бытует мнение, что к большим следует относить только данные, промежуточный результат обработки которых не помещается в оперативную память одного сервера. В этом случае приходится горизонтально масштабировать систему, что, в свою очередь, накладывает ограничения на алгоритмы, используемые для обработки. Еще один критерий – время, в течение которого должен быть получен ответ от системы и которое как раз и определяет, насколько нужно распараллелить процессы. По этому критерию выделяется отдельный подкласс систем так называемых быстрых данных (Fast data), их задача – свести к минимуму время получения ответа. Технически и алгоритмически они похожи на большие данные, но обрабатываемая в них информация хранится на более быстрых носителях или даже в оперативной памяти. Кроме того, большие данные часто являются разнородными, неструктурированными, […]


Полная версия доступна только зарегистрированным пользователям !








 

ИД «Connect» © 2015-2018

Использование и копирование информации сайта www.connect-wit.ru возможно только с письменного разрешения редакции.

Техподдержка и обслуживание Роман Заргаров


Яндекс.Метрика
Яндекс.Метрика