Строительство инфраструктуры хранения для больших данных в контексте банковского бизнеса

Мы всегда стремимся идти по пути снижения затрат на ИТ-инфраструктуру, это один из важных критериев выбора технологии наряду с производительностью и функциональными возможностями. Не секрет, что для хранения данных в рамках концепции Big Data используется кластерная организация серверов. Наш банк в этом плане не был исключением, мы также строили кластер с небольшим дополнением. Основная идея заключалась в применении для построения кластера доступных и широко распространенных серверных технологий, чтобы в случае поломки одного компонента его можно было бы легко заменить другим. Мы воспользовались стандартными серверами компании HP семейства Proliant восьмого поколения. Каждый такой сервер (всего их пять) содержит 16 ядер, что позволяет получить на выходе при сравнительно небольших затратах до 80 ядер. При параллельной обработке этого более чем достаточно для высокоэффективной обработки до 50 Tб данных. Самое главное – при необходимости такая схема легко масштабируется до шести-семи узлов в кластере. Дополнительно была организована виртуальная ферма для кластера резервирования и кластера тестовых данных. В результате были получены наиболее мощные кластеры в России при сравнительно невысоких затратах. Сама архитектура кластера типовая: мастер-узел, который управляет нагрузкой, дочерние узлы, выполняющие задачи, и т. д. Конечно, при построении кластера мы столкнулись со спецификой работы с большими данными, и нам пришлось пересмотреть подход к организации данных. Построить […]


Полная версия доступна только зарегистрированным пользователям !








 

ИД «Connect» © 2015-2017

Использование и копирование информации сайта www.connect-wit.ru возможно только с письменного разрешения редакции.

Техподдержка и обслуживание Роман Заргаров


Яндекс.Метрика
Яндекс.Метрика