Внедрение хранилищ данных

Внедрение хранилища данных является сложной комплексной задачей. Компания 7Spring Consult реализует такие проекты как самостоятельно, так и с участием партнеров.

Наша партнерская сеть – это ведущие поставщики программного обеспечения, технологические компании, вендоры и компании-интеграторы, успешно зарекомендовавшие себя на рынке:  IBM, Microsoft, Oracle, Teradata, SAP, компании «Неофлекс», «AT-консалтинг», «ЛАНИТ», «Intersoft Lab».

В качестве программного обеспечения для настройки ETL-процессов: компания «Informatica», которая в России представлена их эксклюзивным представителем «DIS Group» , IBM  (DataStage и QualityStage).

Внедрение хранилищ данных состоит из нескольких фаз:

1. Исследование источников данных. Как на странно, но эту фазу большинство поставщиков услуг в России, перекладывают на плечи клиента. Наша компания, имеет огромный опыт работы практически со всеми автоматизированными банковскими системами такими как: ABS компаний ЦФТ (Центр финансовых Технологий), R-Style, Diasoft, Инверсия, БИС (Банковские Информационные Системы), Misys Equation. Процессинговыми системами (OpenWay, Tieto), CRM-системами (Siebel, Microsoft CRM), и другими источниками которые встречаются в банках.

2. Внедрение хранилища - это построение физической модели непосредственно экземпляра базы данных. Нашей компанией разработана собственная информационная модель, но по желанию мы можем  спроектировать хранилище под заказ. Компания 7Spring Consult использует трех-уровневую архитектуру хранилища.

• область временного хранения (Staging Area). Содержит в себе слепки базы, то есть копии структур источников данных, основной функцией Staging области является быстрая перегрузка сырых данных и источников с тем, чтобы максимально быстро отпустить их уложившись в минимальный размер технологического окна, когда они способны отдавать данные, чтобы не нарушать их производительность в рабочее время.
• Вторая область -  это объектно-реляционная модель данных построенная чаще всего с применением элементов архитектуры Билла Инмона. корпоративный слой с третьей нормальной формой представления данных и элементов архитектуры Data Vault Дэна Линстеда.
• Третий уровень хранилища - это витрина данных (Data Marts) построенная чаще всего по модели Ральфа Кимболла, либо в виде, проверенных на практике, денормализованных витрин данных, которые уже непосредственно используются бизнес-пользователями для получения конкретных наборов необходимых им данных.

После того как структура хранилища создана и настроена, в специальном программном обеспечении настраиваются ETL-потоки, после настройки которых , наступает самый ответственный момент во всем процессе внедрения. 

3. Загрузка данных, их выверка и подтверждение качества. Эту фазу зачастую пропускают или забывают, когда подходят к внедрению хранилища со слишком технологической стороны. Для нашей компании эта фаза является, важной, и без ее успешного прохождения, нельзя сказать о том, что внедрение хранилища на самом деле состоялось.

У нашей компании свой подход к внедрению хранилищ данных. В первую очередь мы загружаем в хранилище справочники, клиентские, и в полном объеме бухгалтерские данные банка или предприятия (счета, проводки, первичные документы, счета с остатками и оборотами, обязательно добиваемся того, чтобы остатки, обороты и проводки вышли на баланс банка и отчет «О прибылях и убытках» (в банках это 101 и 102 форма на предприятиях это формы 1 и 2)), и только после этого, мы начинаем загрузку портфелей сделок, которые мы загружаем в приоритете по убыванию значимости портфеля в валюте баланса, то есть чем более значимый портфель в валюте баланса, тем раньше он будет загружен в хранилище. Для каждого банка свой приоритет. В розничном банке - кредиты физических лиц, в корпоративном банке -  кредиты юридических лиц, в инвестиционной компании - сделки с ценными бумагами и т.д. После загрузки портфеля сделок, он обязательно сверяется в автоматизированном режиме, для этого разрабатываются специальные сверочные процедуры, этими обязательными сверочными процедурами сверяются портфель сделок с бухгалтерским учетом. И только после того, как мы получаем документальное подтверждение того, что портфель вышел на баланс, мы можем считать, что его загрузка завершена, и пользователи могут начинать им пользоваться. Далее следует этап опытной эксплуатации витрин данных пользователями. На этом этапе достаточно часто у пользователей появляются дополнительные требования,  мы не воспринимаем это как исключение из правил, ведь определенный объем доработок мы сразу закладываем в проект.