Российская компания разработала «умные» алгоритмы для СХД

Глобальный объем данных растет чрезвычайно быстро, вслед за ним растет и необходимость их хранить и обрабатывать. Одной из отечественных компаний-разработчиков ПО для систем хранения данных (СХД), успешно работающей как на российском, так и на мировом рынке, является «Рэйдикс». Компания не только производит программно-определяемую технологию СХД, но и обладает широкими проектными компетенциями в области видеонаблюдения и видеоаналитики, распределенных ИТ-сред, высокопроизводительных вычислений и суперкомпьютерных кластеров, медиа и развлечений, архивного хранения и прочего.

По информации исследования IDC Worldwide Big Data and Business Analytics, мировой объем рынка больших данных, одного из основных драйверов развития индустрии СХД, к 2019 г. превысит $187 млрд, взяв старт с $122 млрд в 2015 г., при этом темпы роста информации на 50% превысят предыдущий пятилетний период. Своего рода точками роста в этом плане являются дискретное производство ($22,8 млрд в 2019 г.), банковское дело ($22,1 млрд) и промышленность ($16,4 млрд).

Wikibon дает еще более сногсшибательный прогноз: глобальный рынок больших данных вырастет с $18,3 млрд в 2014 г. до $92,2 млрд к 2026 г., а совокупный среднегодовой темп роста (CAGR) достигнет 14,4%. По прогнозам аналитиков, серьезный рост ждет четыре ниши разработки ПО для работы с большими данными. Он коснется управления данными (14% CAGR), развития технологий Hadoop, Spark, потоковой аналитики (24% CAGR), баз данных (18% CAGR), а также других приложений и инструментов, связанных с большими данными (23% CAGR).

Российская компания разработала «умные» алгоритмы для СХД

Источник: Wikibon big data project, 2016

Примерно такая же картина наблюдается и в России. По информации IDC, ежегодный рост здесь составляет, несмотря на кризис, около 40%. По данным CNews Analytics, наиболее заинтересованы в интеллектуальном анализе данных предприятия банковской сферы и телеком-операторы, при этом госсектор пока проявляет cдержанный интерес. Тем не менее сегодня решения для обработки больших данных внедрены в ФНС, аналитическом центре Правительства России, Пенсионном Фонде РФ, ФСБ, Следственном комитете и Службе внешней разведки.

Хранить и обрабатывать

При том, что количество данных растет, а сектор больших данных поспевает следом, рынок систем хранения почти стоит на месте. Объем хранения увеличивается, а денежная емкость — нет. В России в этом сегменте ситуация довольно типичная — это видно из опубликованного в марте 2017 г. отчета IDC по отечественному рынку СХД. С точки зрения емкости накопителей он вырос более чем на треть, зато в деньгах роста почти не было.

Итак, по данным экспертов, в 2016 г. в Россию были поставлены внешние дисковые хранилища общей емкостью 663 002 ТБ. Это на 35,7% больше, чем в 2015 г. В денежном отношении сектор вырос на 0,5%, до $382,77 млн.

К сожалению, по программным решениям для СХД, применяемым в России, аналитики мало. Тем не менее, по данным TAdviser, эта ниша развивается достаточно активно. Дополнительный импульс отечественным разработчикам год назад дал Президент России Владимир Путин, который поручил министрам проработать вопрос выпуска российского ПО и оборудования для хранения данных. Напомним: «закон Яровой» с 1 июля 2018 г. предусматривает длительное хранение содержания звонков и переписки пользователей, чтобы доступ к ним могли получать правоохранительные органы. Закон вынудит операторов и интернет-компании значительно увеличить емкость своих дата-центров и эффективность обработки данных.

Примером успешного отечественного разработчика, признанного на глобальном уровне и полностью готового к лету 2018 г., является компания «Рэйдикс» — производитель ПО для создания систем хранения данных. Для СХД на платформе Raidix характерна высокая производительность, основанная на результатах многолетних исследований. Производительность систем, собранных из стандартных компонентов с использованием Raidix, сопоставима с производительностью систем класса «А». Raidix позволяет достигать наилучших результатов производительности на имеющемся оборудовании за счет самых производительных на рынке алгоритмов кодирования и восстановления данных, высокой степени параллелизации обработки ввода-вывода и многоуровневого кэширования c использованием «умных алгоритмов».

СХД на платформе Raidix имеет высокую степень надежности хранения данных, основанную на их защите от любых типов отказов — явных и скрытых повреждений накопителей, отказов узлов, а также человеческих ошибок при обслуживании системы. Программное обеспечение Raidix разработано для индустрий, где надежность хранения данных и скорость доступа к ним являются наиболее важными требованиями к ИТ-инфраструктуре. Поэтому Raidix обеспечивает производительность, характеризующуюся множеством ГБ/с и сотнями тысяч IOps для поддержки самых требовательных к СХД приложений.

Кроме ПО «Рэйдикс» предлагает своим заказчикам и партнерам проектные компетенции в различных отраслях, включая анализ требований в сложных проектах (распределенные ИТ-среды, видеонаблюдения, высокопроизводительные вычисления, суперкомпьютерные кластеры и так далее) и разработку рентабельных конфигураций при развертывании новой инфраструктуры и масштабировании существующей. Цель «Рэйдикс» и партнерской экосистемы компании – предоставить заказчику решение под ключ, полностью соответствующее конкретным нуждам предприятия (типам нагрузок, объемам данных, специфике бизнеса) – без необходимости переплачивать за дополнительные «галочки» с одной стороны, и внедрять несоразмерные программно-аппаратные комплексы, с другой.

Предположим, существует линейка СХД, в которой есть решения для начального уровня — 50 камер для видеонаблюдения, среднего уровня — 200 камер, высокого уровня — 1000 камер. «Рэйдикс» сможет предложить подходящее кастомизированное решение, например, для 400 камер — без необходимости покупки двух систем среднего уровня или одной — высокого.

Конкурентная цена, предлагаемая разработчиком, и совместимость решения со стандартным серверным оборудованием делают компанию опасным конкурентом даже для западных вендоров. При этом компоненты системы выбираются из широкого списка доступных на рынке, а клиенты отмечают ее широкий функционал при стоимости владения системой до 70% ниже, чем у брендов класса «А».

Существует множество примеров внедрения СХД в России и за рубежом с применением проектных компетенций «Рэйдикс» – от голливудских киностудий до крупнейших российских музеев. Среди таких проектов – поставки СХД в Южную Корею, РЖД и Росреестр.

Проектные компетенции: Йонъин и Кванмён (Южная Корея)

Пожалуй, наиболее интересными проектами являются внедрение СХД Raidix в администрации южнокорейского города Йонъин и управление видеонаблюдением города Кванмён (агломерация Сеула). Для фиксации нарушений ПДД и укрепления безопасности городской комитет установил в Йонъине 2000 камер видеонаблюдения. В Кванмёне для той же цели были установлены около 500 камер.

В обоих городах видео-контент хранился не более 30 дней. При этом имеющиеся камеры поддерживали только стандартное разрешение, что приводило к низкой точности распознавания и видеоаналитики. Оборудование же занимало практически все пространство серверной. Необходимо было не только обновить саму видео-инфраструктуру, но и найти оптимальное решение для хранения и обработки генерируемых данных.

Компания Raidix Korea предложила заказчику оптимальное по соотношению цены и производительности решение. В основе СХД — программная технология Raidix, которая управляет кластерами хранения и предоставляет функциональность для обеспечения оптимальных IOps и пропускной способности. Решение поддерживает SAN с совместным доступом, горизонтально-масштабируемый NAS и основные аппаратные интерфейсы — Fibre Channel, iSCSI и InfiniBand. Программно-аппаратный комплекс Raidix включает в себя два отказоустойчивых контроллера высокой доступности, работающие в режиме Active/Active.

В Йонъине городская администрация заменила 2000 единиц стандартных камер на камеры с HD-разрешением, которые передают видеопотоки через Еthernet на 15 серверов Windows Media в дата-центре. Те, в свою очередь, отправляют данные на два коммутатора Mellanox, которые подключены к СХД на аппаратной платформе AIC HA401-CP2 с помощью InfiniBand SRP 40 Гбит/с. Сервер под управлением ПО Raidix подсоединен по двум портам SAS 6 Гбит к трем дисковым полкам AIC XJ3000-4603S JBOD. В каждой дисковой полке — 60 дисков. Общая ёмкость — 1 ПБ на 1 стойку. В Кванмёне число обновленных камер составило более 200, и сеть видеонаблюдения постоянно расширяется. Данные, полученные с камер, поступают на несколько медиасерверов в ЦОД и перенаправляются на два коммутатора ATTO, соединенные по Fibre Channel 8Гб, при использовании управляющего ПО Raidix. СХД Raidix расширяется с помощью JBOD, вмещающего 60 дисков и консолидирующего емкость 244ТБ в одной полке.

С помощью программно-определяемой технологии Raidix муниципалитеты корейских городов сумели осуществить необходимое масштабирование инфраструктуры, избежав покупки дорогих дисковых массивов премиум-класса. Управляющее ПО Raidix устанавливается на стандартное серверное оборудование, создавая отказоустойчивый кластер с высокой производительностью и плотностью хранения без привязки к конкретному вендору.

Проектные компетенции: РЖД

Компания «Рэйдикс» реализовала в компании РЖД проект по поставке и наладке программно-аппаратных комплексов для резервного копирования и виртуализации под управлением программного обеспечения Raidix. Активная стадия проекта составила 12 месяцев.

Среди ключевых технических задач заказчика была архивация данных из ИТ-систем различного назначения: корпоративная почта, единая система приема платежей (ЕСПП), автоматизированная система управления (АСУ) и так далее. Также РЖД требовался типовой программно-аппаратный комплекс для поддержки виртуализации ИТ-инфраструктуры в ИВЦ региональных железных дорог. Важнейшим приоритетом для заказчика была надежность программно-аппаратного комплекса и его совместимость с ПО виртуализации VMware.

В качестве оптимального решения РЖД рассматривали отказоустойчивую СХД, соответствующую установленным параметрам RTO (Recovery Time Objective, минимальное допустимое время восстановления) и RPO (Recovery Point Objective, максимально короткий отрезок времени до допустимой точки восстановления). СХД Raidix полностью удовлетворила требованиям РЖД по централизованной архивации данных из разрозненной бизнес-инфраструктуры, совместимости со сторонним ПО и отказоустойчивости системы.

На первом этапе проекта была осуществлена настройка и поставка оборудования на базе ПО Raidix в ЦОДы РЖД с последующей наладкой и обучением специалистов заказчика. Суммарный объем поставки — 80 одноконтроллерных СХД. На втором этапе проекта в 12 ИВЦ региональных железных дорог были поставлены 36 отказоустойчивых двухконтроллерных 16-дисковых систем с емкостью 10 ТБ каждая. В течение месяца все СХД были введены в эксплуатацию. На третьем этапе проекта «Рэйдикс» произвела обновление оборудования, функциональный апгрейд программного обеспечения и интеграцию решения с Active Directory.

Проектные компетенции: Росреестр

Благодаря возможности подачи электронной заявки в Росреестр физические и юридические лица экономят время, а учреждение высвобождает ресурсы для выполнения других ключевых задач. Эволюция системы государственных услуг и необходимость гибкого управления внутренней инфраструктурой обусловили спрос на СХД среди многих региональных подразделений. Так, филиалы Кадастровой палаты по Новгородской и Новосибирской областям проявили интерес к поставке производительных и масштабируемых СХД.

Ключевыми требованиями заказчика были высокая неснижаемая производительность и быстрое восстановление массива даже при выходе из строя нескольких дисков, отсутствие единых точек отказа и возможность «горячей» замены дисков, блоков питания и элементов охлаждения, а также полная отказоустойчивость при минимальной избыточности оборудования. Кроме того, для заказчика были важны возможность подключения дополнительных полок с дисками 2.5” или 3.5” по интерфейсу SAS 6 Гб/c и поддержка протоколов доступа к данным Fibre Channel, iSCSI, NFS, SMB, FTP, AFP.

По сумме функциональных и коммерческих преимуществ победителем конкурса была признана система хранения данных Raidix AERO 216. Данная модель представляет собой двухконтроллерную вертикально-масштабируемую систему 3U на 16 дисков с использованием интерфейса Fibre Channel (4 x 8Гб FC). Поставленная СХД полностью удовлетворила требованиям заказчика в части аппаратного и программного обеспечения.

Технология Raidix обеспечила требуемую отказоустойчивость и оптимальную скорость расчетов благодаря реализации уровней RAID 6, 10 и 7.3. Последний обеспечивает сохранность данных и быстрый доступ к информации даже при одновременном выходе из строя любых трех дисков в RAID-группе.

Для сценария «горячей замены» Raidix использует функциональность SparePool, которая позволяет защитить данные в массиве путем создания одного или нескольких наборов резервных дисков (SparePools). Кроме того, программная технология в составе СХД включает в себя механизм поиска и устранения скрытых ошибок на жестких дисках и функцию выборочной реконструкции (реконструируется только часть диска с поврежденными данными).

По мере реализации «дорожной карты», развития сервисов Росреестра количество обращений к отдельным подразделениям и нагрузка на бэк-офисы филиалов будут расти, обусловливая дальнейшее наращивание аппаратных мощностей. В дальнейшем высокомасштабируемый программно-аппаратный комплекс Raidix позволит гибко расширить инфраструктуру и избежать вынужденных простоев.

Преимущества для партнеров

В рамках партнерской программы «Рэйдикс» занимается построением линейки СХД для системных интеграторов и поставщиков ИТ-решений. «Рэйдикс» осуществляет консалтинг, обучение партнера, передачу знаний и компетенций в сфере СХД. Одним из возможных сценариев является лицензирование технологии под брендом партнера — гибкая модель сотрудничества, которая обеспечивает минимальный цикл доработок, быстрый выход на рынок нового решения и возможность сосредоточиться на позиционировании и продажах системы.

При этом «Рэйдикс» предоставляет партнерам возможность управлять стоимостью конечного изделия на стадии проектирования и включать в состав системы только необходимые компоненты, тем самым обеспечивая гибкость и высокую маржинальность решения по хранению данных.

Источник: Www. cnews. ru