Создание IP-сетей хранения данных
Александр Горловой, «Экспресс-Электроника», #12/2004
Традиционно система хранения подключается непосредственно к серверу, но с появлением сетей хранения данных (SAN) идея сетевого хранения стала привлекать внимание. Сетевое хранение – это глобальный термин, который относится не только сетям хранения на базе Fibre Channel, но и к любому устройству, к которому организован совместный доступ.
Появление SAN ( Storage Area Network ) было серьезным прорывом в области хранения данных, однако широкого, как ожидалось, распространения такие сети не получили. Их внедрили только те пользователи, которые имели насущную потребность в данной технологии.
Первоначально сети Fibre Channel ( FC ) имели некоторые недостатки: нехватка ПО и драйверов для работы с SAN, отсутствие управляющего ПО, а также потребности в новой, отличной от существующей, сетевой инфраструктуре. За последние два года были решены многие проблемы, связанные с ПО и с несовместимостью оборудования, однако практически без изменений остался один важный аспект: организация дополнительной сетевой инфраструктуры. Первоначальная стоимость развертывания новой инфраструктуры может составить до 40% стоимости оборудования SAN. Общие затраты на создание небольшой 8-узловой SAN могут превысить $40 тыс. (коммутаторы, кабели, контроллеры для серверов), что делает сеть недоступной для мелких и средних компаний.
Почти одновременно с появлением сетей хранения данных на базе FC началось обсуждение концепции создания сетей хранения данных на основе IP. Их преимущество в том, что можно использовать и развивать существующую инфраструктуру сетей IP. Конечно, сначала те же недостатки, что и у сетей на основе FC, (нехватка ПО и совместимость), были присущи и IP -сетям хранения данных, но сейчас большинство из них устранено.
Первым этапом создания IP -сети хранения стало предоставление пользователям IP -сети файловых услуг. Их дальнейшее развитие привело к появлению NAS -систем, которые производили компании Network Appliance, Auspex, Quantum.
Затем изготовители NAS - устройств начали расширять область применения новой технологии, допустив, что приложения (например, базы данных) тоже можно обслуживать при помощи NAS. Однако большинство пользователей не восприняли эту идею, в то же время со стороны сообщества SAN последовали доводы о неэффективности обслуживания баз данных при помощи NAS по сравнению с традиционными FC -сетями. Также были некоторые сложности в совместимости между кластерными технологиями и определенными базами данных. NAS -устройства должны были представлять некоторые свои тома в виде «блочных» данных, как это происходит в SAN. Это позволило операционным системам «видеть» такие тома как подключенные по SCSI локальные ресурсы, хотя организованы они блоками в IP -сети.
IP -сеть хранения не следует путать с широко распространенными традиционными сетевыми устройствами хранения NAS. Последние работают как файловые серверы и предоставляют другим серверам и пользователям тома данных в виде размещенных в сети некоторых точек доступа. Обычно эти функции реализуются при помощи протоколов NFS и CIFS. В дополнение к аналогичным файловым службам устройства IP -сети хранения предоставляют блоковые возможности, а подключенные серверы «видят» такие устройства как собственные локальные SCSI -приводы. Разница между ними в том, что в случае присвоения серверу блока данных последний может быть переформатирован в соответствии с загруженной ОС. Файловую службу или сетевую точку входа подключенный сервер (или пользователь) не могут отформатировать или изменить другим способом. Протоколы SIFS и NFS позволяют существенно увеличить производительность при передаче блоковых пакетов, особенно для приложений с большим количеством операций чтения/записи (базы данных и серверы приложений).
Есть несколько аспектов создания IP -сетей хранения, на которые следует обратить особое внимание: проектирование инфраструктуры, сами устройства хранения и стратегии резервного копирования/восстановления.
Технологии в сравнении
Сравнение IP SAN - и NAS -устройств — наиболее часто совершаемая ошибка.
Хоть и некоторые IP SAN имеют дополнительные функции, реализующие файловые службы, правильнее было бы их сравнивать с FC SAN.
Взаимодействие с NAS -устройствами происходит при помощи уже упомянутых сетевых протоколов CIFS или NFS. Достоинство такого подхода в том, что нет необходимости устанавливать на серверы или пользовательские рабочие места специальные драйверы. Недостаток — большое количество избыточных коммуникаций. Сеть хранения на базе IP ( IP SAN ) распределяет блочные ресурсы хранения между серверами. Хотя и требуется установка драйверов, пропускная способность сети в этом случае используется более эффективно.
В результате мапированные устройства для операционной системы выступают в качестве локальных дисков. Это позволяет устранить большинство затруднений, связанных с совместимостью некоторых приложений, например SQL и Exchange Server при работе с сетевыми устройствами хранения.
Еще одно ограничение на применение NAS -устройств накладывает масштабирование. Большинство серверов NAS имеют ограниченные возможности в области кластеризации и виртуализации. По мере расширения среды хранения добавляют новые независимые NAS -устройства, что приводит к увеличению расходов на управление столь сложной системой. Сети IP SAN позволяют построить виртуальный кластер из SAN -устройств.
Так как сети IP SAN значительно дешевле традиционных FC SAN, их вполне можно сравнивать с непосредственно подключаемыми устройствами ( DAS ). В разных областях применения используют разные подходы к организации систем хранения данных. (Некоторые из них рассмотрим позднее.) В любом случае, стоимость развертывания будет намного ниже, чем для традиционных сетей FC SAN.
Серьезным ограничением несамостоятельных систем хранения является как раз их несамостоятельность. Также указанные системы имеют и другие недостатки: собственно использование емкости и ограниченные возможности восстановления.
Одним из основных достоинств централизованного сетевого хранения можно назвать развитые возможности восстановления данных.
Так как серверы и системы хранения подключаются друг к другу через коммутатор, всегда есть возможность перемонтировать набор данных от одного сервера к другому. Для этого требуется предварительное планирование, зато можно сэкономить на покупке кластеризуемых версий ОС и приложений. Напомним, что в этом случае неизбежны (пусть иногда минутные) простои системы, поэтому если требуется 100% готовность системы и простои даже в течении минуты недопустимы, лучше использовать кластер.
С точки зрения планирования нужно, чтобы приложение было загружено на два сервера (рабочих места). Приведем пример. Для этого один сервер назовем первичным. Второй — запасным, приложение на нем будет неактивным. Затем в консолидированной сетевой системе хранения выделяется область хранения данных приложения, которая затем присваивается первичному серверу. Как только первичный сервер завладеет этой областью и начнет передавать данные, нужно вернуться к управляющему графическому интерфейсу и назначить выделенную область запасному серверу. Последний, естественно, не сможет активировать и смонтировать эту область, так как она занята другим сервером, но в случае сбоя основного сервера передача операций запасному будет несложной. Для этого нужно деактивировать с помощью графического интерфейса управления первичный сервер и отсоединить его от области данных. После активизации запасного сервера на нем запускается приложение – и можно продолжать работу. После восстановления работоспособности первичного сервера область данных переназначается – работа снова продолжается.
Добиться того же самого можно при помощи репликации или кластеризации. В первом случае необходима дополнительная система хранения. Кроме того, при репликации будут использоваться ресурсы процессора на обоих серверах и пропускная способность сети. Если первичный сервер доступен, может возникнуть проблема при передаче управления в результате сбоя одного из серверов. При кластеризации процесс происходит автоматически, функция failover работает в реальном времени.
Однако стоимость кластеризации (аппаратные и программные средства) может быть довольно высока. Основной недостаток централизованного сетевого хранения – бездействующий сервер, который находится в ожидании сбоя одного из приложений. В случае сбоя этот сервер сможет перехватить функции любого из работающих серверов.
Проектирование инфраструктуры
Главным компонентом IP -сети хранения является ее инфраструктура. Напомню, IP -системы хранения работают с существующей IP -сетью, в то время как традиционные сети FC SAN требуют новой дорогостоящей инфраструктуры.
Проектирование IP -сети для нужд хранения – процесс несложный. Для большинства сред первоначальные фазы установки оборудования не требуют перекомпоновки сети, к ней подключается устройство и выделяются ресурсы хранения данных. Это особенно актуально для тех сред, где уже, допустим, есть Gigabit Ethernet. Большинство сегментов гигабитной сети в компаниях недозагружены, уровень загрузки обычно ниже 30%. Поэтому добавление устройств хранения поднимет уровень загрузки сети примерно до 50% ее пропускной способности.
По мере развития сети, добавления новых устройств хранения и увеличения интенсивности использования систем хранения данных будет увеличиваться нагрузка на сеть. В этом случае разумно выделить трафик хранения данных в обособленную сеть ( V - LAN или частная сеть), но для этого нужна система резервного копирования на базе IP. Затем следует установить в сервер (серверы) вторую сетевую карту. Обычно для основного сетевого доступа используют сеть Ethernet 100 BaseT, а для доступа к сети хранения пользуются картой Gigabit Ethernet. В отличие от сетей хранения на основе FC стоимость этого процесса значительно ниже: обычно карта Gigabit Ethernet стоит не дороже $350, в то время как средняя цена контроллера Fibre Channel составляет около $1,3 тыс.
Заключительный шаг, помогающий увеличить производительность системы хранения — расширение возможностей сетевой карты. Существуют сетевые карты ( TCP Offload Engine – TOE ), которые снимают с центрального процессора функцию обработки стека IP и выполняют ее аппаратно.
В случае выполнения задач только хранения данных наблюдается небольшой прирост производительности. Однако если предполагаются и другие функции (резервное копирование, файловые службы), применение карт TOE будет более чем оправдано (стоимость карты TOE составляет примерно $700).
Выбор сервера
Реализация IP SAN не должна повлечь дополнительных затрат на серверы. Дело в том, что нередко проекты по консолидации систем хранения выполняются параллельно с проектами по консолидации серверов, поэтому требуется, прежде всего, изменение физических размеров закупаемых серверов. Допустимо применение серверов форм-фактора 1 U или 2 U, так как необходимости в большой собственной дисковой памяти нет. При увеличении количества задач или необходимости обслуживания большего числа пользователей можно расширить возможности серверов (например, использовать больше почтовых ящиков на каждом сервере электронной почты). Тем самым часть операций чтения/записи диска перекладывается на IP -систему хранения. Кроме того, сегодня пользователи стали чаще приобретать так называемые «лезвия», которые позволяют в небольшом объеме разместить достаточно много серверов.
Одна из слабых сторон сетей IP SAN в сравнении с FC SAN – невозможность прямой загрузки из пула хранения. Эта особенность FC SAN предоставляет большую гибкость и доступность серверов. Правда, сегодня это не очень критично, так как серверы большинства пользователей (даже в FC SAN ) загружают ОС с собственных локальных дисков.
Встречаются также случаи, когда очень сложно организовать и управлять процессом загрузки операционной системы из SAN.
Защита данных
Способы и приемы защиты информации в сетях IP SAN аналогичны используемым в традиционных сетях FC SAN. Для того, чтобы воспользоваться всей пропускной способностью среды, сети FC SAN требуют наличия в ПО резервного копирования дорогостоящего программного модуля (обычно называемого сервером устройства). Эти серверы устройств служат «поднаборами» кодов, которыми пользуется сервер резервного копирования, и увеличивают стоимость клиента на 50-75%.
Сюда же следует прибавить стоимость подключения сервера к сети FC SAN (стоимость контроллера и порта в коммутаторе FC ). Для корректной реализации резервного копирования в среде FC SAN требуется серьезная переработка архитектуры.
Сети IP SAN обычно не нуждаются в серверах устройств, хотя и могут их использовать. Стандартный клиент резервного копирования будет функционировать с хорошей производительностью, так как используется существующая инфраструктура IP. Кроме того, не требуется изменение процессов резервного копирования, выполняемых пользователем (в худшем случае — изменения минимальны).
Подключение к сети FC SAN библиотеки магнитных лент также весьма дорогостоящее мероприятие. Обычно для этого используют FC -маршрутизаторы (ценой от $10 тыс.), которые порой работают весьма непредсказуемо. Для сетей IP SAN, как уже было сказано, текущие процессы резервного копирования менять практически не нужно.
Если нужно установить ленточное устройство совместного доступа, то имеет смысл обратить внимание на библиотеки, оборудованные IP, которые уже зарекомендовали себя как наиболее надежные решения. Основное преимущество такого подхода – распределение нагрузки резервного копирования между несколькими серверами. Отдельный сервер резервного копирования с подключенной непосредственно к нему библиотекой может не справиться с потоком данных, приходящим одновременно от нескольких серверов.
Защиту удаленных систем хранения организовать не сложно: нужно поставить IP -систему хранения в удаленное место и организовать репликацию данных обратно в центр данных. Дополнительное управление хранением и защитой данных при таком подходе не потребуется.
Сравнение стоимости
Повторим, что сети на базе IP обладают меньшей стоимостью развертывания по сравнению с FC SAN. Основная часть средств экономится на самой сетевой инфраструктуре. Так, стоимость коммутаторов FC сейчас составляет примерно $1,2 тыс. за порт. Для гигабитной IP -сети стоимость одного порта коммутатора равна $300. Стоимость устанавливаемых в серверы контроллеров для FC SAN лежит в пределах $1500 – $2000, а средняя стоимость контроллера для IP SAN — всего $350.
Обычно в критически важных случаях с целью дублирования в сервер ставят два контроллера. Таким образом стоимость подключения одного сервера к сети FC SAN составит около $5,4 тыс., а для подключения к IP SAN потребуется $1,3 тыс. Если посчитать разницу в стоимости подключения для нескольких серверов, то получится внушительная сумма.
Типы реализации
Сети IP SAN применяются в трех сегментах рынка: начальный, или рабочие группы (объемы данных до 1 T байт), средний (обычно до 10 T байт данных) и корпоративный (объемы более 10 T байт).
В сегменте начального уровня представлены базовые системы, которые предоставляют возможность преобразования SCSI или FC в IP SAN. Одно из достоинств таких решений в том, что в сети IP SAN можно использовать практически любой SCSI - или FC -массив. Но набор «сетевых» возможностей таких систем ограничен: например, функции динамического увеличения объема, снэпшотов, репликации данных для сетей IP SAN начального уровня недоступны. Еще один недостаток этого типа решений – неприятие его рынком. На первый взгляд, казалось бы, пользователям должна понравиться свобода выбора, свойственная таким решениям. И действительно, за последние несколько лет продукты типа головных NAS -устройств, виртуализаторов SAN периодически появлялись на рынке, теперь представлены и виртуализаторы IP, но, в основном, они не приняты.
Наиболее привлекательны сети IP SAN для небольших и средних корпоративных систем. Это обширный сегмент, где есть место для всех поставщиков систем хранения. Чаще пользователи ищут решение для создания своей первой SAN, пока никаких затрат на сеть еще не сделано, но требуются довольно серьезные возможности, типа снэпшотов. Реализации IP SAN с таким фунционалом в принципе доступны. Обычно это комплект устройств от одного поставщика.
В сегменте больших корпоративных систем многие пользователи уже имеют сеть SAN (иногда даже несколько). Ожидается, что сети IP SAN (ввиду меньшей стоимости подключения) позволят ускорить процесс развития и распространения сетей хранения данных.В этом случае потребуются маршрутизирующие устройства для мапирования FC в IP. Такая смешанная модель позволит повысить эффективность уже сделанных вложений в инфраструктуру сети хранения.
С точки зрения развития и применения IP в качестве транспортной среды для хранения данных можно сказать, что это будет основа стратегий консолидации хранения информации. Хоть и на многих предприятиях сети IP SAN будут лишь дополнением инфраструктуры Fibre Channel, но и SAN, построенные только на IP, будут отнюдь не редкостью. Очевидно, что IP имеет все возможности для того, чтобы действительно стать транспортной средой для хранения данных.
