Хранилища данных: новый виток развития

В настоящий момент внедрение Хранилищ данных (ХД) и связанных с ними технологий находится в процессе невиданного за последние несколько лет  ускоренного развития и изменения. Недавние результаты, представленные аналитиками компании IDC, показывают, что рынок ХД составляет сегодня около 10 млрд. долларов, а в ближайшие годы может возрасти до 13,5 млрд. Казалось бы, идея ХД, «с нуля» выросшая во всемирный многомиллиардный рынок, уже изживает себя. Однако осуществленные за последние годы новые разработки говорят о том, что в этой области грядет возрождение. Крупные корпорации по всему миру получают существенные преимущества за счет технологии Хранилищ, которая потенциально может принести еще больше пользы.

Конечно же, рассматриваемый ренессанс вызван ничем иным, как довольно суровыми требованиями современного бизнеса. Особый акцент на соответствие нормативным актам, быстрый доступ к бизнес-информации (необязательно в реальном времени, но хотя бы в режиме ежедневного или ежечасного, а не ежемесячного обновления), а также все более растущая необходимость повышения эффективности бизнеса – вот те факторы, которые стимулируют разработку и модернизацию методов и технологий ХД. Несколько лет назад даже нельзя было себе представить, как некоторые прогрессивные компании будут использовать современные Хранилища сегодня.

Эти организации строят свою работу на основе «информационного менеджмента». Идейное руководство такими фирмами, как правило, находится в руках бизнес-специалистов, а не IT-директоров, а поэтому в них применяется серьезный подход к управлению данными, в том числе рассматривается качество данных, используются Хранилища и управление нормативно-справочной информацией. Подобное изменение в культуре деятельности компании, сочетающееся с более эффективными технологиями, и является тем самым фактором, который предвещает «второе рождение» отрасли ХД.

Разработка или покупка?

Идея Хранилищ, как известно, не нова: они появились в середине 1980-х годов, когда компания IBM выдвинула термин «информационное хранилище». Билла Инмона (Bill Inmon) часто именуют «отцом Хранилищ данных» за ту работу, которую он проводил в те времена в канадском филиале компании Shell. В 1994 году термин был широко признан и получил распространение в отрасли, хотя на рынке это новшество стало появляться лишь в конце 90-х. Если не считать дебатов между известными «гуру» — Биллом Инмоном и Ральфом Кимболлом (Ralph Kimball), которые предлагали несколько разные подходы, фактически, сам по себе подход к разработке ХД с тех времен не сильно изменился. Команды разработчиков традиционно создавали специализированный продукт на основе потребностей своей организации. Это всех устраивало до тех пор, пока не происходила реструктуризация бизнеса или не изменялись требования к бизнес-отчетности. Часто в таких ситуациях Хранилище теряло свой смысл и проект терпел провал. Вот откуда происходит та печальная статистика, согласно которой 50% ХД оказываются неудачными.

Тем не менее, базовая идея ХД  очень сильная и удобная. Данные из изолированных систем объединяются вместе, интегрируются, и результирующая выборка анализируется. Также проводится сравнение эффективности бизнеса на любом уровне, от отдельного департамента до всей корпорации. Обычно для создания такого ХД применялся метод «большого взрыва». При этом существенным ограничением было задание всех параметров ХД заранее (в среднем за 16 месяцев) с целью определить исходные системы, а также требования к запросам и отчетам.

Этот традиционный, но вместе с тем и весьма  неудобный подход со временем изменился. Появилась технология бизнес-моделей, обеспечивающая исходную структуру базы данных, которую в дальнейшем можно внедрить и быстро адаптировать к любому бизнесу в очень короткие промежутки времени. Работает это следующим образом. Вся информация хранится в нейтральном формате, не привязанном к какой-либо специфической структуре. Бизнес-модель компании можно легко настраивать и изменять отдельно, что позволяет быстро получать отчеты по любой структуре (например, по продуктам, клиентам, внутренней организации или по поставщикам) в произвольный момент времени.

Теперь  ХД, как правило, уже не реализуется методом «большого взрыва». Хранилища поставляются в виде готовых пакетов, а не разрабатываются на заказ.

Поэтапное внедрение

Основной упор сегодня делается на поэтапную разработку и получение бизнес-преимуществ на ранних стадиях (от одного до трех месяцев).  Максимальные шансы на успех у тех проектов, которые разбиваются на мелкие шаги и с самого начала дают компании какие-то положительные результаты. Принцип таков: «мыслить глобально, начинать с малого,  развиваться постепенно».

Контроль изменений

Что касается поддержки бизнес-изменений, то, по сути дела, речь здесь идет об отслеживании всех малейших изменений в кодах и структурах кодирования, а также в хранении дат начала и окончания использования кодов. Эти исторические сведения могут быть очень важным источником бизнес-информации для сравнения эффективности на различных временных этапах, например, для аудита, выявления изменений в поведении клиентов, анализа влияния организационных изменений с целью улучшений планирования. Во времена построения специализированных ХД оценку временных изменений было очень дорого и сложно проводить. Теперь новые возможности технологии позволяют извлекать полезную информацию из огромных объемов данных, которые накапливаются в компании за несколько лет.

Управление нормативно-справочной информацией

Еще одна причина вновь возникшего интереса к Хранилищам — управление нормативно-справочной информацией (НСИ), то есть возможность создавать и управлять определениями объектов Хранилища. Речь идет о продуктах, клиентах, поставщиках и марках продукции. Управление НСИ покорило отрасль буквально за последний год, обеспечивая полноценный контекст,  позволяющий оценивать эффективность бизнеса, благодаря повышению качества отчетности по данным, взятым из Хранилища, а также из оперативных систем (например, ERP и CRM).

А что же с витринами данных?

Еще одно изменение в практике внедрения ХД –  практически полное вымирание идеи независимых «витрин данных» (подмножеств Хранилища для конкретных типов объектов). В 1990-е годы, разочаровавшись в дорогих специализированных ХД, некоторые компании отказались  от них и стали проектировать специализированные витрины, не задумываясь о центральном ХД. Этот подход неудачен по целому ряду причин. И в наше время передовые организации считают, что оптимальный путь состоит в построении Хранилища, которое может генерировать зависимые витрины, тем самым добиваясь решения двух главных задач: корпоративного масштаба и локальной скорости и гибкости.

Рост масштабов Хранилищ

Недавний опрос, проведенный Институтом Хранилищ данных (The Data Warehousing Institute — TDWI), подчеркивает растущую потребность в Хранилищах, которые проектируются с возможностью масштабирования до многотерабайтных объемов данных. Результаты этого опроса среди участников конференции TDWI показали, что рынок все больше требует от ХД скорости, простоты и масштабируемости.

Кратко результаты исследования можно изложить следующим образом:

●     на сегодняшний день 36% ХД содержат несколько терабайт данных;

●     к 2007 году таких Хранилищ будет уже 48%;

●     87% данных Хранилищ находятся в оперативном доступе и могут быть использованы для выполнения запросов;

●     Хранилища, которые традиционно начинались с небольшого объема данных, теперь проектируются в расчете на несколько терабайт;

●     TDWI рекомендует для многотерабайтных объемов применять «опережающее планирование» и требовать параллельной обработки по всем компонентам, как аппаратным, так и программным.

«Исследование TDWI показывает, что в последние годы наблюдается скачок в развитии многотерабайтных Хранилищ, и новый виток ожидается в конце 2007-го года», — заявляет Филип Рассом (Philip Russom), руководитель исследований TDWI. «В среднем объем данных в Хранилищах будет ежегодно расти на 33%. Пользователи должны планировать мощности с учетом многотерабайтного потока данных, рассчитывая на такие платформы, которые уже оптимизированы для выполнения запросов в масштабах всего Хранилища и легко расширяются с минимальными усилиями на администрирование», — продолжает он.

Заключение

Та самая печальная статистика, показывающая, что половина проектов по созданию Хранилищ данных заканчивается неудачно, смущает IT-  и бизнес-руководителей, ответственных за внедрение средств Business Intelligence.  Однако эта пугающая цифра, скорее всего, сократится, поскольку все большее число компаний становится умнее и переходит на полномасштабное использование передовых адаптируемых возможностей ХД, а также отказывается от собственной разработки и покупает готовые продукты ХД. Вдохновляет тот факт, что в отрасли наблюдается явный рост.

Сегодня поставщики предлагают витрины, оперативные склады данных и Хранилища. Можно выбрать нужную платформу, оптимизированную с точки зрения производительности ХД (так называемые устройства для Хранилищ данных — data warehouse appliances), причем даже для очень больших объемов транзакций.

Передовые устройства для ХД  удовлетворяют требованиям масштабирования, возникающим по мере роста объема информации и усложнения запросов. Устройства, лидирующие на рынке, созданы специально для хранения, фильтрации, обработки и анализа терабайтов детальных данных.