Московский государственный университет имени М.В. Ломоносова (МГУ) провел соревнование экспериментальных программ сжатия данных без потерь Global Data Compression Competition. Партнером мероприятия, проходившего с июня по ноябрь 2020 года, стала компания Huawei.
На кону 50 тысяч евро
Цели конкурса – привлечение внимания к задачам универсального сжатия данных и стимулирование разработки новых алгоритмов. Разработчики программного обеспечения и исследователи со всего мира конкурировали за денежные призы из общего фонда в размере 50000 евро.
В отдельных категориях сжатые тестовые файлы программ-победителей составили 75% и менее размера архивов конкурентоспособных современных компрессоров, использованных в качестве эталонов. Результаты глобального конкурса по сжатию данных Global Data Compression Competition опубликованы на сайте https://globalcompetition.compression.ru
Актуальность задач
Объем накопителей данных, повышение пропускной способности компьютерных сетей, сжатие данных без потерь остаются важными задачами во многих областях информационных технологий. Это актуально для снижения сетевого трафика, резервирования файлов и баз данных, распространения дистрибутивов и обновлений программного обеспечения по сети, сжатия критически важных изображений, повышения эффективного объема и скорости работы накопителей данных.
Однако регулярно проводимые сравнения и соревнования для программ сжатия без потерь являются преимущественно прерогативой энтузиастов. Конкурс, проведенный лабораторией компьютерной графики и мультимедиа МГУ, преследовал две цели:
- способствовать исследованиям и разработке новых алгоритмов универсального сжатия данных без потерь;
- привлечь внимание к задаче неискажающего сжатия данных.
График соревнования
Соревнование стартовало в июне этого года. До конца ноября разработчики и исследователи могли присылать на конкурс свои компрессоры. В декабре были подведены итоги и опубликованы результаты.
Участники соревновались в 12 конкурсных категориях, отличающихся типом данных и скоростью обработки. Только часть тестовых данных была известна участникам, ранжирование осуществлялось на основании результатов для полных тестов. Несколько участников заслуженно выиграли денежные призы, максимальная сумма выигрыша на человека составила 21 тысячу евро. Детальные результаты конкурса представлены на странице https://globalcompetition.compression.ru#leaderboards
Менеджеры о конкурсе
«Мы удовлетворены итогами конкурса. Нам не только удалось привлечь к участию признанных специалистов по сжатию данных без потерь, но и способствовать действительно сильным результатам. В отдельных категориях размер сжатых данных составлял 75% и менее от эффективных популярных компрессоров, которые мы использовали как реперные. При этом скорость обработки была сравнимой, так что в определенных случаях однозначно возможно сжатие данных как минимум на 25% лучше, чем для популярных утилит», – сказал Дмитрий Ватолин, руководитель проекта от МГУ.
Хоу Жуй, директор Московского исследовательского центра Huawei, высоко оценил факт проведения, а также результаты конкурса. «Сжатие данных без потерь является важной темой наших НИОКР. Быстрое и эффективное обратимое сжатие – это критичный элемент во многих продуктах Huawei линейки Cloud&AI, в особенности в блочных системах хранения данных. Мы готовы поддерживать такие начинания не только финансово, но и с помощью нашей экспертизы. Со стороны Huawei в состав жюри конкурса вошли заслуженные и известные специалисты, что позволило вывести соревнование на еще более высокий профессиональный уровень», – отметил Хоу Жуй.
Потенциал коэффициента сжатия
В последние годы широкое распространение получили соревнования, конкурсы и хакатоны, организуемые среди специалистов в сфере ИТ. Однако в такой области знаний, как сжатие данные, подобные мероприятия – редкость.
Лаборатория компьютерной графики и мультимедиа МГУ, которая взялась за проведение глобального конкурса, внесла лепту в развитие этого сегмента. Мероприятие даст дополнительный стимул исследователям и разработчикам алгоритмов и программ сжатия данных. Ведь перспективы в этой области – заманчивые. Участники соревнования доказали, что коэффициент сжатия данных можно повысить на четверть относительно фактических индустриальных стандартов.
