Корпоративные СХД в примерах, или Идеи напрокат
Валентин Седых, Григорий Мелов
"Экспресс-электроника", #09/2005
Общеизвестно, что в России основными заказчиками систем хранения информации выступают государственные и банковские учреждения, крупные торговые представительства, операторы мобильной связи, теле- и радиокомпании. В этой статье мы попытаемся обобщить принципы построения систем хранения.
Главное отличие отечественного рынка интеграции от западного состоит в том, что культура внедрения IT-проектов, принятая за рубежом (привлечение консалтинговых компаний, проведение тендера между системными интеграторами и последующее внедрение решения), пока не прижилась в России. В большинстве случаев IT-отделы российских предприятий пытаются самостоятельно разработать и выполнить проект, обращаясь к помощи компаний, специализирующихся на создании систем хранения, лишь на этапе закупки оборудования. "Поэтому первым делом приходится раскручивать весь клубок логических размышлений заказчика и возвращаться к собственно задаче, которую необходимо решить", - говорит Валентин Алферов, менеджер по продукции компании "Деловые Системы". И вполне понятно, почему многие интересные проекты начинались примерно одинаково - клиент обращается за сервером или несколькими серверами, возможно за простой дисковой полкой, а в процессе обсуждения выясняется, что необходимо внедрить серверный кластер, дисковую систему хранения, а также создать резервные копии на магнитной ленте.
Так, вспоминая об одном из проектов, реализованных "Деловыми Системами", Валентин Алферов рассказал, как один из заказчиков, наращивая серверные мощности для организации новой системы отчетности, воспользовался услугами компании для покупки двух серверов Dell PowerEdge 2850. Основные требования предъявлялись к объему хранимой информации и скорости обработки запросов. Специалисты компании предложили три схемы модернизации на базе только серверов, с подключением дополнительных дисковых систем хранения PowerVault 220S, а в качестве общего хранилища порекомендовали Dell/EMC CX300.
Первый вариант самый экономичный, но абсолютно не масштабируемый. Второй - более масштабируемый и не дорогой, однако не обеспечивал максимальной отказоустойчивости, и объема дискового пространства хватило бы в лучшем случае на полгода. А вот третий вариант оказался хорош во всех отношениях: обеспечивал высокую готовность, масштабируемость и производительность, удобство управления, а также, что очень важно, защищал инвестиции, поскольку в дальнейшем систему хранения можно было модернизировать до старшей модели, постепенно увеличивая объем и функциональность. Но… заказчик предпочел второй вариант, и стоило больших трудов уговорить его просто приехать в Центр экспертизы компании "Деловые Системы" и протестировать вариант с хранилищем Dell/EMC CX300. Тогда и выяснилось, что скорость обработки запросов к системе отчетности возросла в пять-шесть раз. В итоге клиент увеличил бюджет на закупку, и началось внедрение. Это был один из тех случаев, когда простая и наглядная демонстрация убеждает лучше любых красивых слов. Результат - заказчик оптимальным образом выполнил поставленную задачу, обеспечил запас по объему и производительности, получил решение с высокой степенью готовности.
Вообще, необходимость построения системы хранения на предприятии возникает по самым разным причинам. Наиболее частые из них: необходимость повышения уровня безопасности и надежности хранения информации, резко возросший ее объем, а также появление географически удаленных представительств компании, которым нужен доступ к общей базе данных. Неудивительно, что компаниям-интеграторам приходится сталкиваться с довольно сложными, трудоемкими задачами, решение которых зачастую можно свести к следующему: либо модернизировать существующую в компании систему хранения, либо создать принципиально новую. Среди типичных проблем - недостаточный объем дискового пространства на имеющемся файл-сервере при отсутствии возможности его расширения. Например, в корпусе файл-сервера попросту не оказывается места для установки новых жестких дисков, а, кроме того, установленная редкая редакция серверной операционной системы (системы SGI, Alpha Server) не позволяет провести модернизацию стандартными доступными средствами.
К слову, именно последняя проблема нередко и обусловливает высокий интерес к внешним системам хранения, чье применение подчас становится единственным способом развития существующей на предприятии инфраструктуры дисковых накопителей. К тому же на базе файл-сервера не всегда возможна организация надежной и отказоустойчивой системы хранения. Иногда, чтобы добиться необходимого уровня безопасности и надежности, приходится обращаться к кластеризации, а в этом случае без создания выделенной системы хранения информации не обойтись. Исключение составляет массив независимых серверов с избыточностью (Redundant Array of Independent Server), который подразумевает чередующееся использование серверов и, как любая резервная система с избыточностью, не всегда может быть принят на вооружение из-за крайней неэкономичности по отношению к аппаратным ресурсам.
Поэтому, например, в банках, где данные делятся на финансовые, бизнес и т. д., очень часто применяется следующая схема. Финансовые сведения, которые представляют собой форматизированные базы данных, созданные автоматизированной банковской системой, обычно хранятся на выделенном файл-сервере - традиционном DAS-решении. Что касается бизнес-данных, это, как правило, графическая или описательная информация, характеризующая котировки валют, акций, а также собственных фондов и активов. Часто среди подобной информации встречаются коммерческие сведения с высокой степенью секретности - соответственно, требуются DAS-хранилища, исключающие доступ посторонних. Третий тип данных - прочая информация, в том числе лог-файлы по использованию различных организационных ресурсов, записи камер слежения и наблюдения за операционными залами банковских помещений. Именно эта информация занимает в общем объеме системы хранения до 90% всего дискового пространства. Для длительного хранения видеозаписей применяются ленточные накопители. В итоге общий объем информации в банках может составлять порядка 5 Тбайт, увеличиваясь ежеквартально не менее чем на 50 Гбайт.
Интересный пример распределенной отказоустойчивой системы хранения для ОАО "Комсомольское-на-Амуре авиационное производственное объединение им. Ю. А. Гагарина", ("КнААПО") выпускающего знаменитые во всем мире боевые самолеты марки СУ, выполнила "Корпорация ЮНИ". В рамках проекта перед ней была поставлена задача по созданию такого аппаратного комплекса системы хранения данных ERP-системы предприятия, который смог бы обеспечить объемы хранения не менее 10 Тбайт с возможностью десятикратного масштабирования. При этом решение должно отвечать требованиям высокой готовности и отличаться повышенной надежностью, необходимой для предприятия, выпускающего боевую авиатехнику.
Но, пожалуй, самую сложную разобщенную систему для АСКУЭР (автоматизированной системы контроля и учета энергоресурсов) АО "Тюменьэнерго" интегрировала компания КРОК. Ее специалисты создали пять центров обработки данных с централизованным управлением - в Тобольске, Сургуте, Ишиме, Ялуторовске и Тюмени. Центр обработки данных в Тюмени по решению "Тюменьэнерго" стал основным - там накапливается наибольший объем данных, поступающих в систему учета со счетчиков электроэнергии Тюмени и региона. Была организована многоканальная структура, основанная на Fibre Channel, связь между городами осуществляется по IP-каналам. В качестве серверного оборудования используются серверы HP Proliant BL-series (модели BL40p и BL20p G2). Сеть SAN построена на оборудовании EMC - системе хранения CLARiiON CX500 и двух оптических коммутаторах DS-16B2. Для резервного копирования предназначена ленточная библиотека MSL6030 производства HP, подключаемая посредством оптического интерфейса напрямую в СХД. В качестве служебного ПО для резервного копирования и восстановления данных с помощью ленточной библиотеки используется CA Brightstor Arcserve v11. Выполнение задачи осложнялось наличием на территории ОАО "КнААПО" взлетно-посадочной полосы, которая разделяет объекты предприятия, а также другими факторами.
В результате специалисты "Корпорации ЮНИ" спроектировали территориально- распределенную систему хранения данных, компоненты которой расположены на двух площадках с удалением друг от друга на несколько километров. Было решено объединить объекты с помощью технологии SAN. Что касается аппаратной части инсталлированного решения, за его основу интегратор взял устройства от компании Sun Microsystems StorEdge 9980-9970, характеризующиеся высокой плотностью размещения дисков и возможностью масштабирования до 147,5 Тбайт.
Системы StorEdge могут применяться в разных корпоративных средах
Еще один характерный пример - схема хранилища информации крупной торговой сети супермаркетов. В подобных организациях обычно применяются распараллеленные, скажем при помощи кластеризации, вычислительные мощности, соединенные широкополосными каналами с удаленными серверами более низкого ранга. Также находит применение и сервер MS Exchange, который в данном случае является основным инструментом менеджеров по продажам. Соответственно, тип сетевого хранилища принимает форму достаточно типичного SAN-решения - в нем распределенные системы хранения информации могут быть соединены с вычислительными центрами по SCSI- или Fibre Channel-интерфейсу. При этом центральный кластеризированный элемент схемы работает на базе стандартной серверной ОС, а хранилища объединены стандартными серверными средствами - SCSI-накопителями и RAID-контроллерами. Однако следует помнить, что для торговой компании, как бы ни был широк ассортимент предлагаемых ею товаров, не емкость хранилищ информации играет первоочередную роль, а скорее надежность, поэтому RAID-массивы работают в режимах зеркалирования либо используются более экономичные варианты, например RAID 5 - здесь надежность хранения не меньше, а избыточность аппаратных средств минимальна.
Что касается примеров использования техники высокого уровня от А-бренд, в России это обычно какие-либо ведомственные и околоведомственные организации. Например, часто столь дорогие и мощные системы могут быть оправданы при решении задач оптимизации энергопотоков или при перевозке грузов и пассажиров на железной дороге в масштабе страны или крупного региона.
Нередко системы хранения в таких организациях приобретаются как часть более сложного решения, скажем вычислительного кластера, использование которого не предусмотрено без специализированной, четко регламентированной системы хранения информации.
Компания "АйТи" выполнила весьма интересный проект, предусматривающий создание крупной СХД в рамках государственной информационной системы для обеспечения контроля миграционной ситуации в России. Кстати, в нашей стране до внедрения данной системы централизованного учета иностранных граждан не велось. Впрочем, принимая во внимание масштабы России, без должного развития IT это невозможно. После завершения проекта информационная система Федеральной миграционной службы охватит 13 российских городов, через которые проходят наиболее крупные миграционные потоки. Благодаря данной системе станет возможным фиксировать въезд иностранцев и вести учет иностранной рабочей силы, отслеживать историю компенсационных выплат беженцам и т. д. Разумеется, для хранения столь огромного массива информации требуются мощные системы хранения данных. Поэтому в ходе очередного этапа проекта каждый из 13 региональных центров оснащается серверным комплексом - в него помимо серверов Fujitsu Siemens Computers входит система хранения данных ЕМС, а также система резервного копирования, управления базами данных. Общая задействованная дисковая емкость системы составит 2,2 Тбайт.
Еще один типичный вариант применения системы хранения - СМИ. Здесь специфика решения связана с потребностью телевизионного оборудования в высокой скорости чтения/записи данных. Так, большинство каналов использует для прокрутки, к примеру, рекламной информации цифровую аппаратуру. Объем рекламного ролика или видеоклипа достигает примерно 5 Гбайт, а скорость, которую должна обеспечить система хранения информации для средств цифрового воспроизведения, - не менее 20-25 Мбайт/с. Поэтому системы хранения для ТВ-каналов обычно строятся на базе дублирующихся RAID-массивов производства компаний, специально разрабатывающих решения для нужд телевидения.
Причем доступ к хранилищам информации имеет сразу несколько рабочих станций, некоторые из них могут вести прямой эфир. В итоге структурная схема телевизионной системы хранения информации имеет вид SAN-решения, а связь между его компонентами осуществляется при помощи Fibre Channel, предотвращающих последствия электромагнитных наводок и обеспечивающих достаточную полосу пропускания.
Впрочем, высокая производительность иногда бывает востребована и в бизнесе. В частности, система хранения данных ЦА Минфина России, реализованная компанией "Ай-Теко" на основе дискового массива НР EVA5000 с виртуализованной архитектурой, позволяет с максимальной эффективностью использовать ресурсы хранения. Для резервного копирования и восстановления информации в данном проекте применялись ленточные библиотеки НР MSL 5026, поддерживающие оптический интерфейс и работу в режиме разделения ресурсов. Основу решения, предложенного для ФТС РФ, составляют модульные дисковые массивы HP Enterprise Virtual Array (EVA5000), обеспечивающие максимальную скорость выполнения операций ввода/вывода данных за счет распараллеливания операций по всем внутренним дискам массива. Благодаря использованию всего свободного дискового пространства в качестве резервного удалось значительно повысить надежность.
