ТЕМАТИКА ПРОДУКЦИИ универсальная платформа на основе open source компонентов и проприетарных решений
НАИМЕНОВАНИЕ Arenadata Hyperwave (ADH)
ПРОИЗВОДИТЕЛЬ Группа Arenadata
ПОСТАВЩИК Группа Arenadata
ИСТОЧНИК (URL) https://arenadata.tech/products/arenadata-hyperwave/
НАЗНАЧЕНИЕ предназначена для хранения, обработки и анализа данных вне зависимости от их структуры и объёма
ХАРАКТЕРИСТИКИ И ПРЕИМУЩЕСТВА Arenadata представила новую версию Arenadata Hyperwave (ADH) — гибридной платформы для хранения, обработки и анализа данных любой структуры и объёма. Релиз ADH 4.1.0 включает масштабное обновление компонентов, новый сервис для управления доступами к конфиденциальным данным, а также поддержку российских операционных систем.
В релизе Arenadata Hyperwave обновлены версии сервисов, включая S3-совместимое хранилище объектов Ozone. Оно получило улучшенную архитектуру хранения, адаптированную к работе с большими объёмами данных, новые алгоритмы обработки метаданных, механизмы восстановления и отказоустойчивости, а также расширенную поддержку шифрования, аутентификации и контроля доступа.
В новой версии Trino, SQL-движка для сложных федеративных запросов, реализован балансировщик нагрузки HAproxy, предназначенный для обеспечения отказоустойчивости, масштабируемости и высокой доступности, а также Trino Client, позволяющий выполнять SQL-запросы и управлять соединениями. Добавлена поддержка Hadoop SQL-политик в Trino, позволяющая избежать дублирования настроек авторизации. Начиная с Arenadata Hyperwave 4.1.0 в поставку включён Trino OpenAPI-коннектор — инструмент для взаимодействия с REST API, позволяющий выполнять аналитические запросы к внешним сервисам и данным, доступным через REST API.
Flink 2 и Spark 4 дополнили предыдущие поколения сервисов, входящих в состав дистрибутива[1]. Flink 2 решает известные ограничения Flink 1.x в области управления состоянием и обработки гибридных рабочих нагрузок, объединяя ряд улучшений для работы как в потоковых, так и в пакетных сценариях. Новый адаптивный планировщик автоматически оптимизирует параллелизм операций, повышая общую эффективность платформы. Архитектура управления дезагрегированным состоянием позволяет более эффективно использовать ресурсы в облачных средах, гарантируя высокопроизводительную обработку в реальном времени и сводя к минимуму затраты ресурсов.
Spark 4 содержит ряд архитектурных изменений и оптимизаций. В числе преимуществ — улучшенная производительность при выполнении сложных аналитических запросов, расширенная интеграция с Iceberg и другими современными форматами, новые функции для работы с потоковыми данными. Cервис развивается в сторону стандартизации подходов, предоставляя новую клиент-серверную архитектуру Spark Connect, развитие совместимости с ANSI SQL и другие улучшения.
Вместе с Arenadata Hyperwave выпущено масштабное обновление подсистемы безопасности Arenadata Platform Security (ADPS). Начиная с версии ADPS 2.0.0 в её состав включён новый сервис OpenBao — система управления доступами к секретам и шифрованием. Система обеспечивает возможности для хранения, генерации, шифрования и отзыва конфиденциальных данных (например, API-ключей, сертификатов, паролей), предоставляет средства аудита и управления политиками, выступая как единая и безопасная система учёта доступов.
В релизе обновлён сервис Ranger, в числе доработок — поддержка ротации логов аудита распределённой файловой системы HDFS, плагины hive-chained-plugin для HDFS и Ozone, а также компонент Resource Mapping Manager, позволяющий сопоставлять ресурсы и права на них между Hadoop SQL и Storage (HDFS, Ozone) политиками.
Новые версии Arenadata Hyperwave и Arenadata Platform Security совместимы с российскими операционными системами «Альт СП» (релиз 10) и Astra Linux 1.7 «Воронеж». Поддержка сертифицированных ФСТЭК России операционных систем позволяет интегрировать продукты в более широкий спектр инфраструктур с повышенными требованиями к безопасности.
ФУНКЦИОНАЛЬНЫЕ ВОЗМОЖНОСТИ Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.
Решаемые задачи:
- хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
- распределённая обработка информации;
- построение озёр данных, Lakehouse и Data Mesh (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
- машинное обучение и искусственный интеллект;
- импортозамещение и разгрузка систем зарубежных вендоров.
На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.
[1] Сервисы Flink 2 и Spark 4 предназначены для ознакомления в режиме технологического превью и в настоящее время не рекомендованы для продуктивного использования.
Адрес офиса
г. Москва, ул. Годовикова д. 9, стр. 17
info@arenadata.io
+7 (495) 260-20-25
