• News
• Mass Media

ЦОД национального масштаба

СЕТИ И БИЗНЕС № 3 (34) июнь-июль 2007

В сознании многих людей, населяющих пространство бывшего Советского Союза, остался стереотип «огромного предприятия», которое представляется в виде невероятно сложной и неповоротливой структуры, для которой слово «прогресс» является едва ли не оскорбительным, а оперативность принятия решений воспринимается не иначе как вызов всей структуре.

Но времена меняются. Наглядным примером тому может служить национальный оператор связи ОАО «Укртелеком». Несмотря на свой громадный масштаб, компания постоянно демонстрирует готовность идти в ногу с передовыми технологиями. Одним из ярких подтверждений тому является построение шести современных центров обработки данных в городах-«миллионниках» Украины. В реализации проекта участвовала команда специалистов из разных отечественных компаний, однако созданием главного элемента ЦОД — вычислительной инфраструктуры — занималась компания «S&T Софт-Троник».

По всем правилам науки

Построить ЦОД — дело, мягко говоря, хлопотное, а создать ЦОД национального масштаба под силу только лучшим из лучших. Компания «S&T Софт-Троник» справилась с поставленной задачей, и все шесть ЦОДов «Укртелеком» были введены в эксплуатацию за сорок рабочих недель. Однако, как уже отмечалось выше, в проекте участвовали и другие организации (в том числе представители заказчика, подразделение «Майкрософт Консалтинг» и др.). Построить ЦОД — дело, мягко говоря, хлопотное, а создать ЦОД национального масштаба под силу только лучшим из лучших. Компания «S&T Софт-Троник» справилась с поставленной задачей, и все шесть ЦОДов «Укртелеком» были введены в эксплуатацию за сорок рабочих недель. Однако, как уже отмечалось выше, в проекте участвовали и другие организации (в том числе представители заказчика, подразделение «Майкрософт Консалтинг» и др.). Чтобы все действия велись в едином информационном поле, в начале проекта была разработана детализированная архитектура решения на базе концепции Microsoft MSA 2.0, а для координации действий всех участников использовалась система управления проектами MS Project. Следует отметить, что в ходе выполнения проекта был разработан план развития центров обработки данных «Укртелеком» на ближайшие пять лет.

Как и полагается, каждый ЦОД внутри себя не имеет единой «точки отказа» — все критически важные компоненты продублированы. Это касается не только серверных отказоустойчивых кластеров, но и систем хранения данных, коммутаторов, внешних телекоммуникационных каналов, систем электропитания, кондиционирования и других элементов. Кроме того, обеспечен высокий уровень катастрофоустойчивости главного Центра, расположенного в Киеве. Все данные реплицируются не только на локальную ленточную библиотеку, но также и на территориально удаленные СХД. Время восстановления информации в случае серьезной аварии (вплоть до физического уничтожения Центра) зависит от важности данных и составляет от десяти минут до нескольких часов. Такие временные показатели являются не теоретическими выкладками, а фактически проверенными параметрами. В процессе строительства центров был проведен ряд специализированных тренингов для персонала ЦОД, в рамках которых отрабатывались последовательные оперативные действия на случай аварии. Важно отметить, что весь персонал прошел еще и ряд курсов обучения по авторским программам производителей оборудования и ПО.

Что? Где? А главное — сколько?

Для того чтобы у читателя была возможность оценить масштабы реализованного проекта, приведем некоторые данные, касающиеся основных количественных и качественных показателей. Весь комплекс состоит из шести физических и семи логических комплексов. Пять региональных ЦОДов практически идентичны, а центральный — киевский — немного от них отличается, поскольку кроме функций регионального ЦОД выполняет также функции управления всей структурой.

В составе шести комплексов 153 технологических шкафа, 361 сервер; общая мощность систем кондиционирования составляет 824 кВт, мощность системы электропитания — 510 кВА; площадь всех основных помещений — около 880 кв. м. Путем несложных вычислений можно подсчитать, что на каждый шкаф с оборудованием в среднем приходится почти 6 кв. м. площади, а также отводится более 5 кВт выделяемого тепла (или около 1 кВт на 1 кв. м.). Но это в среднем. На практике же система кондиционирования построена таким образом, что не все шкафы охлаждаются одинаково. В первую очередь это связано с тем, что в будущем в ЦОДах планируется использовать модульные серверы, и поэтому соответствующие шкафы охлаждаются несколько иным способом, чем остальные. В целом же, все ЦОДы были спроектированы так, чтобы иметь трехкратный запас по наращиванию аппаратных ресурсов вычислительной подсистемы (серверы, СХД). В качестве вычислительной платформы специалисты «S&T Софт-Троник» установили двухпроцессорные х86-серверы Hewlett-Packard Pro-Liant DL 380 для приложений, а также двух- и четырехпроцессорные серверы на базе процессоров Intel Itanium2 — Integrity rx2620 и rx4640, часть из которых объединены в кластеры.  Для обеспечения надежного хранения информации выбраны продукты компании EMC — СХД Cla-riion CX300, CX 500 и CX700, данные на которых хранятся в зависимости  от их ценности в соответствии с концепцией управления жизненным циклом информации (ILM). Основой внутренней сети обмена данными являются продукты компании Cisco — коммутаторы Catalyst 6509 (ядро сети) и Catalyst 3750.  Важно отметить, что все упомянутые ЦОДы созданы исключительно для внутренних потребностей ОАО «Укртелеком» (поддерживают работу корпоративной СУБД, почтовой системы, файловых серверов, серверов приложений и т.д.). При этом каждый из них рассчитан на круглосуточное обслуживание 5–6 тыс. пользователей (т.е. всего более 30 тыс. сотрудников).

В дальнейшем проект планируется развивать. Будут построены резервные центры обработки данных, которые позволят не только обеспечить наивысший уровень катастрофоустойчивости, но и разгрузить основные ЦОД за счет гибкой балансировки нагрузки.

Интервью провел Игорь КИРИЛЛОВ