Flash-память как определяющий вектор развития СХД

 

В круглом столе принимают участие

Татьяна Бочарникова, глава представительства NetApp в России и СНГ

Павел Зорин, инженер дирекции инфраструктурных и телекоммуникационных решений, группа «Астерос»

Алексей Лаврентьев, эксперт по системам хранения данных, компания «Инфосистемы Джет»

Денис Серов, руководитель направления системных инженеров, EMC

Руслан Хайруллов, директор департамента инфраструктурных решений, компания «Техносерв»

Ирина Яхина, руководитель отдела технологических решений, Hitachi Data Systems

Заказчики хотят знать, как в ближайшие годы будет меняться рынок решений систем хранения данных: захватят ли продукты на Flash все позиции, вытеснив окончательно HDD, или шпиндельные диски сохранят свое значение благодаря популярности гибридных решений? Можно ли за счет внедрения AllFlash-массивов сэкономить деньги и если да, то на чем именно? В какие решения имеет смысл вкладывать средства в период кризиса? На эти и другие вопросы мы попросили ответить наших экспертов, занимающихся корпоративными СХД не один год.

 

Сегодня со стороны некоторых западных вендоров можно услышать заявления о том, что технология Flash-памяти уже одержала победу над шпиндельными дисками и HDD пора уходить на почетную пенсию. Каково на самом деле положение дел в секторе СХД? Какое место занимают продукты с использованием Flash?

Татьяна Бочарникова

Flash-технологии, действительно, становятся все более востребованными. В основном это происходит за счет того, что цены на Flash-решения, обеспечивающие высокую производительность и бесперебойную работу серверов и приложений, снижаются в связи с давлением крупных компаний, которые активно пытаются их внедрять.

Возрастающий спрос на Flash-технологии отмечают и аналитики: многочисленные исследования говорят о том, что рынок Flash-решений показывает стабильный рост и в самом ближайшем будущем нас ожидает настоящая Flash-революция. Так, специалисты Gartner говорят о том, что совокупные темпы годового роста рынка массивов All-Flash с 2014 по 2019 г. составят 37%. IDC сообщает о высокой динамике роста Flash-рынка в регионе EMEA, объем которого во II квартале 2015 г. увеличился более чем на 100%, в то время как рост рынка СХД в целом даже замедлился.

Подчеркну, большой потенциал развития Flash связан с оптимизацией цен на эти технологии. Если раньше некоторые компании не могли позволить себе внедрить решения на Flash из-за высокой цены, то в ближайшее время они будут находить дополнительные сферы для их применения, чтобы повысить конкурентоспособность бизнеса.

Павел Зорин

Для решения задач, требующих высокой интенсивности ввода-вывода, технология Flash-памяти, безусловно, одержала победу, и на текущий момент альтернативы ей нет. Однако для хранения больших массивов данных и в случае, если эти данные сложно дедуплицировать, использование шпиндельных дисков становится более эффективным, в том числе с финансовой точки зрения.

Алексей Лаврентьев

Технически Flash превосходит HDD практически во всем. Однако чтобы победить, All-Flash-системы хранения должны либо сравняться по стоимости с дисковыми (например, с учетом стоимости владения), либо давать дополнительную ценность бизнесу.

Первый вариант может быть обеспечен в All-Flash за счет более дешевых SSD, технологий компрессии и дедупликации для экономии дискового пространства, а также с учетом меньшей стоимости эксплуатации.

Сейчас преобладает второй вариант, когда большая часть данных находится на дисковых или гибридных массивах, а All-Flash-массивы используются для специализированных задач: аналитики, биллинга, транзакций, антифрода, VDI. Если аналитические отчеты на All-Flash создаются в несколько раз быстрее, чем на HDD, и это помогает бизнесу больше заработать или снизить издержки, то более высокая стоимость Flash-массивов может быть оправдана. Другой пример: чем быстрее работает антифрод-система, тем ниже вероятность финансовых потерь из-за мошенничества.

Денис Серов

Чисто шпиндельные системы – это уже экзотика. В подавляющем большинстве наших СХД используется хотя бы кэширование на Flash, т. е. сегодня речь уже идет о борьбе между гибридным и «чисто флешевым» подходом. Однако и гибридные системы хранения сдают позиции решениям на Flash. Если бы борьба происходила только на уровне хранения, то до пенсии гибридным системам было бы еще далеко. Они все-таки дешевле, чем All-Flash-системы. Однако ситуация усугубляется тем, что на рынок классического хранения ведут наступление универсальные и экономически эффективные гиперконвергентные системы, объединяющие в себе технологии вычислений, хранения и виртуализации. Гиперконвергентная система – это сочетание преимуществ горизонтально масштабируемого серверного кластера с виртуализацией и СХД. Речь идет, например, о системах EMC VxRail. Дело в том, что этот популярный сегодня тип систем также активно использует Flash в своей архитектуре, делая ее вдвойне привлекательной.

Руслан Хайруллов

Технология Flash-памяти одержала победу в сегменте приложений, чувствительных к задержкам, и систем, где производительность важнее стоимости хранения данных. Полного ухода жестких дисков в ближайшее время, конечно, не предвидится. Сегодняшний рынок Flash-технологий предлагает широкий выбор между стоимостью и производительностью систем хранения данных – между такими крайними значениями, как «быстро, но дорого» и «медленно, но дешево», есть еще и потребительские характеристики: латентность, гарантированный QoS (Quality of Service), процент доступности (надежность) системы и др.

На текущий момент явно выражены два сценария использования Flash-технологий в гибридных и All-Flash-массивах:

  • гибридные массивы, как правило, включают в себя большой объем жестких дисков и незначительный объем твердотельных дисков. Добавление в классический массив группы SSD-дисков позволяет, потратив всего на 20–30% больше средств, увеличить производительность всего массива в разы. Это хорошее решение для неопределенных или непрогнозируемых нагрузок и для заказчиков с ограниченным бюджетом;
  • All-Flash-массивы полностью состоят из SSD-дисков и предлагают помимо функции хранения и высокоскоростного ввода-вывода дополнительные возможности по дедупликации, гарантированному QoS, исключая конкуренцию приложений за участок с Flash-памятью, и др. Такие решения хороши для OLTP-систем (Online Transaction Processing), сильно консолидированных и хорошо дедуплицируемых систем, например решений VDI.

Ирина Яхина

Популярность Flash-накопителей закономерно возросла с падением их стоимости: еще пару лет назад не многие компании могли позволить себе решения на Flash-памяти, сегодня же их цена не слишком отличается от цены традиционных жестких дисков. Тем не менее HDD-диски, особенно медленные и емкие, пока уверенно стоят в строю. Flash-накопители заменили собой только самые быстрые жесткие диски, но на предприятиях, где скорость доступа к данным не так важна, обычные HDD-накопители продолжают использоваться и точно не выйдут из употребления в ближайшие пять-семь лет. Flash-технологии рассчитаны именно на высокие требования бизнеса к производительности СХД, а вот для хранения некритичных или архивных данных их скорость и эффективность применять просто бессмысленно. Так что выход на пенсию шпиндельным дискам не грозит – во всяком случае, пока их использование продиктовано рациональными соображениями. Хотя, стоит все же отметить, что этот факт не замедлит распространения Flash-накопителей – их продажи уже давно превысили продажи жестких дисков. Мы ожидаем, что к 2020 г. объем реализации решений на Flash-памяти превысит аналогичный показатель по устройствам с HDD-дисками в четыре раза.

 

Не секрет, что у каждой технологической новинки в мире ИТ есть как свои сильные, так и слабые стороны. Если посмотреть на ключевые преимущества Flash-памяти, то в каких производственных сегментах применение SSD максимально оправданно? Какие задачи можно решить только с помощью современных производительных СХД на Flash?

Татьяна Бочарникова

С учетом того, что решения для хранения и управления данными на Flash-технологиях существенно улучшают показатели скорости и производительности при выполнении различных задач и в целом позволяют бизнесу более оперативно реагировать на возникающие перед ним вызовы, компания NetApp считает, что использование этих технологий будет релевантно для многих компаний вне зависимости от того, в какой сфере они работают. Например, среди наших заказчиков – предприятия финансового, автомобилестроительного, производственных секторов и многие другие. У них разные бизнес-задачи, но одна и та же цель – развитие собственного дела. Подчеркну, это не означает, что мы предоставляем одинаковые решения для всех. С учетом того, что услуги хранения, вычисления и виртуализации становятся общедоступными, мы всегда пытаемся создать добавочную стоимость для партнеров, чтобы они могли предлагать так называемые вертикальные, т. е. адаптированные под конкретную отрасль, услуги. Решения, которые «подходят для всех», уходят в прошлое.

Павел Зорин

Сегодня Flash-массивы используются в основном для нужд СУБД, которым необходим интенсивный ввод-вывод, а также для виртуализации и VDI. К началу массового распространения Flash-памяти появилось множество новых задач, справиться с которыми, опираясь на традиционные технологии жестких дисков, практически невозможно. В частности, требования к производительности и доступности развернутых бизнес-приложений становились все выше, а сами приложения – «тяжелее». За последнее время стремительно ускорился рост данных (причем как структурированных, так и неструктурированных), в том числе за счет информации, собираемой из социальных сетей и генерируемой Интернетом вещей. Все чаще бизнесу требуется практически мгновенная обработка данных. Претерпевают эволюционный скачок и современные СУБД: рынок предлагает системы на базе новых архитектур, ориентированных на Big Data и обработку информации в оперативной памяти. И если раньше заказчики были готовы переводить на системы хранения класса All-Flash только наиболее чувствительные к производительности бизнес-приложения, то теперь, благодаря снижению цены на Flash-память, мы наблюдаем возрастание интереса к полной консолидации данных предприятия на твердотельных накопителях.

Алексей Лаврентьев

Главные плюсы Flash – низкое время отклика и высокая скорость работы. В настоящий момент это особенно востребовано для задач VDI, транзакционных баз данных, систем бизнес-аналитики. Говорить, что какие-то задачи можно решить только с помощью All-Flash, пожалуй, преждевременно – скорее нужно рассматривать факторы, обеспечивающие Flash-решениям значительное преимущество.

Первое – стоимость владения. Предположим, компания размещает свое оборудование в коммерческом ЦОД. Платить нужно за место в стойке, электропитание и охлаждение. Для требовательных к производительности приложений гибридный массив с большим количеством HDD может оказаться значительно дороже в эксплуатации по сравнению с All-Flash.

Второе – экономическая выгода. Допустим, организация занимается анализом больших объемов данных, при этом сотрудники вынуждены подолгу ожидать завершения предыдущих расчетов для анализа и создания новых запросов. Тогда при использовании All-Flash производительность компании может кратно увеличиться и принести дополнительный доход.

Денис Серов

Высокотранзакционные среды, СУБД, аналитика, в том числе и аналитика в реальном времени, виртуальные рабочие места (VDI), предотвращение мошенничества (Fraud Detection). Как это ни парадоксально, но самое эффективное хранение достигается именно на Flash, потому что его скорость позволяет дедуплицировать и сжимать данные на лету без ущерба для производительности приложений. Это подтверждается технологическим лидерством системы EMC XtremIO, которая с огромным экономическим эффектом применяется и для сред разработки ПО, и для VDI с тысячами рабочих мест.

Руслан Хайруллов

Очень актуальная задача в текущее кризисное время – это замена High-End-систем, требующих высоких затрат на поддержку, на гибридные массивы класса Mid-Range. Стоимость технической поддержки существующей High-End-системы за пять лет часто сравнима с полной стоимостью владения более производительной гибридной системы Mid-Range. Таким образом, ИТ-подразделение увеличивает и объемы, и производительность своей СХД, при этом полностью оставаясь в бюджете. Конечно, подобный кейс всегда ведет к снижению готовности системы хранения. Говорить о шести девятках в этом случае не приходится, что должно быть обязательно обсуждено с функциональным заказчиком. Многие заказчики «Техносерва» уже пошли по этому пути и меняют свои High-End-системы на гибридные или All-Flash-решения.

Ирина Яхина

Flash-технологии максимально оправдывают себя в тех отраслях, где оперативность и скорость принятия решений – необходимые условия для развития бизнеса. По сути, это то, что мы называем английским словом «agility», – возможность предприятия маневрировать на рынке, не теряя скорости на резких поворотах. Так, Flash-технологии незаменимы для банков и телеком-операторов: от того, насколько производительны будут их ИТ-системы, зависит лояльность клиента, которую не так-то просто поддерживать на должном уровне. Кроме того, Flash-память популярна в компаниях, использующих VDI – инфраструктуру виртуальных рабочих столов.

Что можно сделать при помощи Flash-решений и нельзя при помощи жестких дисков? Уменьшить масштабы и снизить затраты на обслуживание инфраструктуры. Условно говоря, один Flash-диск по производительности сравним с 50 жесткими – содержать и поддерживать работу одной маленькой системы гораздо проще, чем следить за состоянием целого «шкафа».

Стоит отметить, что Flash-технологии пока значительно опережают все те требования к производительности, которые существуют у заказчиков, по крайней мере в России. Это означает, что прикладных систем, способных нагрузить Flash-массив на сто процентов, не много даже у самых крупных заказчиков. Так что Flash – это пока технология на вырост.

 

В настоящее время достаточно четко определились две группы производителей Flash-памяти. Одни из них проповедуют идеологию полного перехода на All-Flash SSD, утверждая, что гибридные решения являются лишь паллиативом, к которому прибегают исключительно в целях экономии. Другие, напротив, заявляют, что именно гибридные решения являются самой эффективной моделью построения СХД. Чья позиция вам ближе? Зачем вообще нужны гибридные решения, если оставить в стороне вопрос об их экономической целесообразности?

Татьяна Бочарникова

Сегодня для обеспечения рабочих нагрузок и ИТ-сред широко применяются как Flash-технологии, так и ресурсы публичных и частных облаков. Нельзя забывать и о том, что дисковые накопители все еще активно используются в ЦОД заказчиков, в частных и публичных облаках. Поэтому в основном компании сталкиваются с необходимостью найти такое решение, которое бы позволило реализовать единую панель управления системами хранения данных, находящихся в разных средах, – на Flash-накопителях, дисках либо в облачных структурах. Чтобы решить эту задачу, мы разработали уникальную стратегию NetApp Data Fabric, которая обеспечивает возможность легкого и удобного хранения и управления данными вне зависимости от их местоположения.

Павел Зорин

По моему мнению, гибридные массивы – это компромисс между производительностью и ценой. Думаю, что кроме как с экономической точки зрения их использование вообще ничем не оправдано. Тем более что сейчас на корпоративный рынок выходит технология вертикальной Flash-памяти – 3D NAND. Накопители на ее основе обладают рекордно низкой ценой за 1 ГБ хранения и в некоторых случаях позволяют отказаться от гибридного подхода к хранению, избавив систему от необходимости постоянно перетасовывать данные между разными типами дисков, и обеспечить всем операциям ввода-вывода равновысокие уровни обслуживания.

Алексей Лаврентьев

С технической точки зрения у современных All-Flash-массивов пока нет конкурентов. Основной вопрос, конечно же, в цене.

Если посмотреть на историю появления гибридных, а затем и All-Flash-массивов, то мы увидим следующее. Сначала на рынке появились быстрые, но очень дорогие SSD. Они, конечно, были в несколько раз медленнее и в несколько раз дороже современных Flash-накопителей. Мало кто мог себе их позволить, поэтому вендоры решили по возможности использовать SSD только для ускорения доступа к наиболее востребованным данным, а остальное хранить на HDD – так и появились гибридные массивы.

Однако со временем разрыв в скорости между SSD и HDD увеличивался, а в стоимости – сокращался. В какой-то момент оказалось, что для некоторых задач All-Flash-массивы могут быть экономически оправданным решением, и производители стали заполнять эту рыночную нишу.

Денис Серов

По-моему, истина посередине. Однако Flash взял от рынка еще далеко не все, что может. Поэтому мы даем возможность своим заказчикам самим делать выбор, предлагая лучшие решения в обеих областях.

Руслан Хайруллов

Я согласен с группой производителей, проповедующей переход на All-Flash-массивы, но не понимаю, как отбросить вопрос экономической целесообразности, когда сейчас от ИТ-подразделений бизнес требует сокращения издержек. Будущее в All-Flash-массивах, но оно еще не наступило ввиду объективных причин:

  • не все заказчики умеют считать стоимость владения против капитальных затрат, да и не всем организациям нужны десятки тысяч IOPS (input/output operations per second);
  • пока не у всех производителей и не на всех данных хорошо работает дедупликация, что не гарантирует целесообразности хранения медленных данных на All-Flash-массивах;
  • стоимость SSD показала за годы хороший тренд на снижение, так почему же экономным заказчикам не подождать еще несколько лет, когда они сравняются с HDD?

Необходимо согласиться, что перспективы у Flash-технологий оптимистичные: помимо снижения стоимости SSD-дисков сами заказчики учатся рассчитывать не только стоимость терабайта или IOPS, но и стоимость владения системой, стоимость операций ввода-вывода, где Flash-системы безусловно лидируют. В дальнейшем виртуализация и консолидация вычислений будут все настойчивее требовать от систем хранения характеристик, обеспечиваемых Flash-технологиями.

Ирина Яхина

Эксперты Hitachi Data Systems уверены: система хранения данных – слишком серьезная вещь для бизнеса и революцию в ее разработке нельзя осуществить за месяц или год. Поэтому нам ближе гибридные решения: для их создания мы используем наработки, накопленные за десятки лет работы на этом рынке. Кроме экономической целесообразности у гибридных СХД еще много преимуществ: они поддерживают функцию создания копий данных, межсистемную репликацию, технологию «тонкого» выделения томов – все это уже встроено в микрокод решений HDS и просто применяется к Flash-системам. В то время как All-Flash-решения, построенные, по сути, заново, таким богатством функциональных возможностей не обладают, а следовательно, они не предоставляют заказчику необходимой гибкости.

Что касается перспектив – здесь все зависит от цены Flash-накопителей. Flash-системы уже достаточно надежны и энергоэффективны, поэтому, если цена на них вдруг драматически упадет, вполне возможно, смысла развивать гибридные решения больше не будет.

 

Лет пять назад самой актуальной темой, связанной с SSD, была проблема времени жизни новых дисков. Сегодня все меньше таких дискуссий, но это не отменяет саму проблему отказоустойчивости СХД. Насколько надежными являются системы хранения данных, основанные на технологии Flash, из чего эта надежность складывается?

Татьяна Бочарникова

Увеличение продолжительности жизни систем хранения данных – один из ключевых факторов при выборе СХД. Конечно, с точки зрения конечного пользователя, это будет выгодно в связи с тем, что от затраченных средств можно получить бóльшую отдачу. Получается, что решение работает на полную мощность, хотя со временем затраты на техническое обслуживание и замену оборудования значительно сокращаются. Для наших партнеров указанный фактор важен, с одной стороны, потому, что это выгоднее с экономической точки зрения: они смогут предоставить клиентам решение, которое будет обладать большей долговечностью и устойчивостью. С другой стороны, это поможет снизить затраты на инсталляцию и техническое обслуживание, поскольку решение не нуждается в постоянном обновлении, модернизации или замене.

Павел Зорин

Если говорить об архитектуре, то по своей надежности Flash-память не отличается от стандартных дисковых массивов. Однако при выходе из строя шпиндельного диска перестроение RAID может занять несколько часов, что, в свою очередь, ведет к потерям данных. Надежность SSD-дисков уже такова, что некоторые производители дают на них гарантию до пяти лет, что превосходит гарантии дисков на шпинделях. Очевидно, что Flash-массивы способны обеспечить более высокую надежность хранения данных.

Алексей Лаврентьев

Множество eMLC Flash-накопителей гарантируют работоспособность на протяжении всего гарантийного срока при ежедневной пяти- или десятикратной перезаписи всего объема накопителя. То есть для полного износа SSD нужно ежедневно на протяжении нескольких лет записывать на него данных в несколько раз больше, чем его объем. Много ли у вас таких приложений? К тому же большинство вендоров меняют SSD по гарантии даже в случае их износа.

СХД на основе Flash-технологий используют большинство известных способов повышения отказоустойчивости: защита данных с помощью RAID, дублирование всех активных компонентов и отсутствие единой точки отказа. С учетом значительного превосходства SSD над HDD в скорости работы надежность систем даже повышается: перестроение RAID на Flash-накопителях выполняется в несколько раз быстрее, чем на HDD, а значит, данные будут быстрее защищены от возможного выхода накопителя из строя. К тому же в SSD нет движущихся частей и статистика отказов у них ниже, чем у HDD.

Денис Серов

Время жизни дисков корпоративного уровня уже мало у кого вызывает вопросы. Практика использования гибридных систем достоверно показала, что Flash-диски живут дольше механических, несмотря на то что именно в гибридных системах нагрузка на Flash максимальна. Сейчас же, когда на рынок вышли системы полностью на Flash и износ выравнивается равномерно по всем носителям, вообще не о чем больше тревожиться. Первоначально Flash-диск был рассчитан на 100 тыс. циклов перезаписи и стоил он дорого. А сейчас, чтобы снизить стоимость, многие производители, в том числе EMC, включили в свои портфели Flash с меньшей продолжительностью жизни. Современный Flash-диск корпоративного уровня рассчитан на три полные перезаписи в день (3 writes per day) на протяжении жизненного цикла. Тем не менее, например, для диска 3200 ГБ это очень много. Уже стали появляться диски с рейтингом надежности 1WPD, и возможно, даже это не предел. Сами заказчики хотят Flash подешевле.

Ирина Яхина

Как уже было сказано, СХД HDS на базе Flash-технологий построены на использовании традиционного для Hitachi микрокода, что, собственно, и делает их очень надежными. Впрочем, большинство вендоров в последние годы много работают над повышением отказоустойчивости Flash-накопителей: теперь срок жизни некоторых из них может достигать десяти лет, что сравнимо со сроком годности обычного жесткого диска.

 

В заключение хотелось бы узнать о будущем СХД. Каковы, на ваш взгляд, перспективы появления на рынке памяти с фазовым переходом PCM (Phase Change Memory), которая рассматривается как будущая замена Flash-памяти NAND, используемой в SSD? Сможет ли консорциум LTO Program, использующий технологию Linear Tape-Open, возродить интерес к ленточным накопителям данных?

Павел Зорин

Появление первых коммерческих образцов PCM-памяти не за горами, и вполне возможно, это произойдет уже в текущем году. Думаю, что спрос на данную технологию среди заказчиков будет достаточно высоким, так как PCM сократит временные задержки передачи данных между процессором и системой хранения данных.

Что же касается «лент», то их жизнь должна быть долгой, в первую очередь благодаря таким преимуществам, как энергонезависимое хранение данных и простота транспортировки, скажем, из офиса в офис. К тому же стоимость хранения 1 ГБ на LTO продолжает оставаться самой низкой на рынке.

Алексей Лаврентьев

От появления новой технологии до широкого ее использования проходит обычно не один год. Intel и Micron анонсировали выход в конце 2016 – начале 2017 г. накопителей нового поколения – 3D Xpoint, и это, наверное, ближайший возможный конкурент для Flash. Компании HP и SanDisk ведут совместные разработки альтернативной технологии, но о сроках появления коммерческих продуктов пока ничего не известно.

В то же время все чаще обсуждаются идеи использования Non-volatile Memory взамен существующей DRAM-памяти, а это значит, что может измениться сам подход к хранению данных и работе приложений.

Еще одна тенденция – гиперконвергенция и использование параллельных вычислений без централизованного хранилища, что также может в значительной степени повлиять на состояние рынка СХД в ближайшем будущем.

Что касается ленты, то сегодня это самая дешевая технология длительного хранения больших объемов информации (бэкапов), и интерес к ней будет стабильным, пока у ленты не появятся достойные, в том числе по цене, альтернативы.

Денис Серов

Я думаю, что потенциал Flash еще далеко не исчерпан. Новые твердотельные технологии, на мой взгляд, позволят усилить текущий тренд вытеснения НЖМД из области основных СХД. Ленты же продолжат свое угасание, уступая место жестким дискам для бэкапов.

Руслан Хайруллов

Отрасль давно ищет новые технологии хранения данных: на фазовых переходах, молекулах ДНК, однако распространение получают только коммерчески успешные проекты. В связи с этим заказчикам, разрабатывающим сегодня стратегию развития ИТ, нужно смотреть только на классические, гибридные и All-Flash-массивы.

Ирина Яхина

Вообще, интерес рынка к ленточным накопителям никогда и не угасал. Они до сих пор используются почти на любом предприятии. Ленты, обеспечивающие большую емкость хранения и высокую скорость записи, незаменимы для создания резервных копий.

Что касается PCM – не будем загадывать. Ведь сейчас эти технологии пока существуют только на уровне разработки и исследования, так что говорить об их применении в промышленных системах сегмента Enterprise еще рано. Впрочем, когда-то тот же путь проходили и SSD-диски: сначала они появились на персональных компьютерах, долго исследовались и дорабатывались и лишь затем пришли в промышленные СХД – такая судьба, в сущности, ожидает любую новую технологию.

Поделиться:
Спецпроект

ИТАПК – впервые в режиме онлайн

Подробнее
Спецпроект

Форум «ИТОПК-2020» оценил потенциал господдержки

Подробнее

Подпишитесь
на нашу рассылку