Одну из кулинарных студий Москвы выбрала корпорация ЕМС, чтобы рассказать журналистам о концепции озера данных и представить решение Data lake 2.0 на базе платформы EMC Isilon. В роли шеф-поваров, которым для приготовления деликатесов приходится использовать сырые и неструктурированные корпоративные данные, выступили представители ЕМС в России и СНГ Святослав Сухов и Михаил Владимиров. Решение Isilon Data Lake 2.0, объединяющее данные компании в общий репозиторий, не только оптимизирует работу с ними, но и служит базовой основой для их анализа, рассматривается экспертами в качестве одного из элементов перехода к цифровой экономике. Рецепт ЕМС по работе с большими данными берут на заметку компании из разных индустрий. Почему? ИТ-специалисты утверждают, что все дело в «соусе» – операционной системе OneFS.
По разным оценкам, объем цифровой экономики, основанной исключительно на данных, уже сегодня составляет от 3 до 16% ВВП стран, входящих в так называемую большую двадцатку. По прогнозам аналитиков, эта цифра может увеличиться до 21%. Весьма приблизительны оценки объема цифровой экономики в нашей стране. Российская Ассоциация электронных коммуникаций (РАЭК) приводит цифру 1,5% ВВП, или около 1 трлн руб. При этом обращается внимание на огромный потенциал роста.
Одна из особенностей цифровой экономики – принципиально новые идеи и способы ведения бизнеса, темпы развития которого во многом зависят оттого, насколько компании удается трансформировать накопленные данные в прибыль. Сегодня на слуху названия компаний Uber, Airbnb, заслуженно претендующих на статус классических брендов цифровой экономики, которая проникает во все новые сегменты, стимулируя рост ВВП. Козырные карты экономического развития – рост производительности труда, оптимизация работы персонала, использование мобильных приложений, сбор и анализ информации, точность прогнозов и экономических выкладок, что в совокупности обеспечивает снижение расходов.
Аналитики прогнозируют, что в 2017 г. объем генерируемых данных почти вдвое превысит объем данных 2015 г. Такие темпы роста обусловлены беспрецедентным расширением источников, из которых поступают данные по мере проникновения интернета вещей (мобильные устройства, социальные сети, сенсоры и другие всевозможные датчики, системы видеонаблюдения, результаты научных экспериментов и т. д.).
Основная масса данных (99%), имеющихся в распоряжении компаний, относится к категории неструктурированных. Как правило, они складируются, архивируются, а то и просто уничтожаются, если владельцы не догадываются о том, какую ценность, в частности знания, можно извлечь из них для ведения и оптимизации работы предприятия. При использовании современных подходов к сбору, хранению и обработке накапливаемых данных они могут служить «топливом» для бизнеса компании в условиях цифровой экономики, утверждает директор дивизиона Isilon компании ЕМС Россия и СНГ Святослав Сухов.
Многочисленные подходы к обработке накапливаемых данных потребовали принципиально новой архитектуры их хранения в едином репозитории, чтобы обеспечить бизнесу возможность прозрачного доступа к ним и выбора оптимального способа обработки без дополнительных затрат. Корпорация ЕМС предложила концепцию озера данных 2.0 (Data Lake 2.0), суть которой заключается в том, что имеющиеся у компании данные составляют единое информационное пространство (названное озером) и используются для разных бизнес-приложений. Data Lake 2.0 предлагается рассматривать как универсальный инструмент не только хранения, но и анализа собранной информации.
Почему ЕМС поскромничала и выбрала для названия концепции термин «озеро», а не «океан» данных, количество которых с трудом поддается оценке? По словам Святослава Сухова, у озера есть границы, берега, которые человек может охватить взглядом, озеро бывает рукотворным, т. е. теоретически им можно управлять, в отличие от безбрежного океана, скорее разъединяющего, а не сближающего континенты.
В ЕМС утверждают, что озеро данных – один из способов перехода от традиционных ИТ к цифровому бизнесу, на базе которого и строится цифровая экономика. Концепция озера данных 2.0 позволяет преодолеть возникающие при переходе к цифровому бизнесу трудности, связанные, в частности, с безопасностью, защитой и управлением данными, необходимостью их сбора из разных источников, интеграцией платформы хранения и обработки данных в инфраструктуру, нехваткой знаний и умений персонала и т. д.
Фундаментом озера данных 2.0 является флагманская платформа EMC Isilon. В ноябре 2015 г. корпорация представила ее очередное поколение. Основное отличие новой платформы – расширение озера данных за пределы ЦОД заказчика. Теперь в него вливаются данные удаленных офисов и данные, хранящиеся в облаке. У платформы EMC Isilon сегодня более 7 тыс. заказчиков в мире. Платформа сочетает в себе функционал озера данных и корпоративных систем хранения данных, обеспечивается поддержка HDFS (интеграция в операционную систему уровня хранения HADOOP).
Одним из примеров реализации концепции озера данных может служить опыт логистической компании, которая проанализировала информацию о работе своих подразделений и маршрутах доставки посылок покупателям. Как показали результаты оценки составленных маршрутов в черте города, много времени автомобили теряют при выполнении поворотов налево (нужно пропустить встречный поток, дождаться зеленой стрелки и т. д.). Выяснилось, что более эффективны маршруты, при которых автомобилю по пути к заказчику нужно совершать только повороты направо. Компания скорректировала соответствующим образом маршруты доставки, в результате чего обеспечила 14%-ную экономию топлива (автомобиль не тратит бензин впустую, простаивая на поворотах) и добилась 18%-го повышения продуктивности использования машин и работы персонала. Комплексный анализ информации, поступающей из разных подразделений, и позволяет выявить ценность данных для бизнеса.
О технологических аспектах решения журналистам подробно рассказал менеджер ЕМС Россия и СНГ Михаил Владимиров. Система хранения данных, построенная по кластерному принципу, состоит из равноценных кубиков – серверов стандартной х86 архитектуры, объединенных в общий пул ресурсов, которые доступны конечным пользователям, приложениям или устройствам по стандартным протоколам. Доступ возможен при подключении к любому из узлов Isilon. Наличие пула IP-адресов обеспечивает пользователям доступ к одной и той же информации, т. е. с точки зрения системного администратора и клиента они работают с одной файловой системой или томом в рамках единой файловой структуры.
Уникальным свойством Isilon в ЕМС называют кластерную структуру, собранную из разных по своим возможностям, в частности производительности и емкости, элементов. Ресурсы можно комбинировать различными способами в единой системе, чтобы выделять их под разные приложения или задачи (аналитику, хранение и т. п.). Простота и удобство решения обеспечиваются за счет того, что с точки зрения СХД не предусмотрена работа с RAID-группами. Для начала работы с системой достаточно приобрести три узла Isilon, а затем по мере надобности расширять ресурсы. Такой подход особенно удобен для компаний, которые только начинают развивать свой бизнес.
Процедура масштабирования занимает не более двух минут. По словам Михаила Владимирова, включили дополнительный узел в кластер и можно подключать новых клиентов. При этом в автоматическом режиме стартует процесс автобалансировки – имеющиеся в кластере данные равномерно распределяются по системе.
Интересно решена задача защиты данных, безопасность которых обеспечивается на уровне файлов и каталогов, а не RAID-групп. Максимальный уровень безопасности в системе предусматривает защиту от сбоев четырех узлов одновременно. При правильном проектировании Isilon позволяет продолжать работу с данными даже в случае потери более 120 дисков.
Секретным «соусом» в комбинации предложенных ингредиентов представители ЕМС Россия и СНГ называют операционную систему OneFS – ноу-хау, благодаря которому набор серверов х86 и превращается в единую кластерную систему. Примечательно, что в рамках системы обеспечивается высокий уровень защиты не только от физических сбоев, но и логических ошибок. Существует возможность задания таких правил, при которых данные в течение определенного времени изменять нельзя, даже системному администратору. Предусмотрены также возможности осуществления мониторинга и управления производительностью, бесперебойной модернизации, в частности, доступно обновление каждого узла в отдельности, при этом перерыва в обслуживании пользователей не наблюдается.
Еще одно не менее важное преимущество – наличие в кластере нескольких релизов ОС одновременно. Следовательно, невозможность отката на прежнюю версию системы осталась в прошлом. В новой версии «ОС-соуса» OneFS заложен функционал работы не только с облаками, удаленными офисами, но и с большими онлайн-системами, связанными, например, с возможностями обновления операционной системы и бесшовного переключения пользователей между узлами. Анонсированное корпорацией ЕМС решение будет доступно для заказчиков с января 2016 г.
www.coonnect-wit.ru
