Рассказываем, как наши специалисты спроектировали архитектуру, внедрили систему аналитической отчетности и хранилище данных для одной из ведущих мировых и российских энергетических корпораций

Задачи проекта
Ключевой задачей проекта было спроектировать импортонезависимое решение для замены продуктов вендора SAP, которые использовались для корпоративного хранилища данных и системы отчетности в корпорации. Данный проект – часть масштабной программы по импортозамещению систем заказчика. Кроме того, было необходимо внедрить 4 блока отчетности на базе новых продуктов, а также разработать архитектуру и внедрить подходы разработки нового функционала и поддержки в системе.
Стек продуктов
Мы выбрали ряд импортонезависимых высокотехнологичных продуктов для решения задач проекта:
Форсайт – платформа бизнес-аналитики;
Arenadata DB – аналитическая СУБД;
Arenadata Quickmarts - колоночная СУБД для витрин данных;
PostgresPro - реляционная СУБД;
Apache NiFi - построение интеграций между ИС.
Ход проекта
- На старте проекта мы провели анализ требований заказчика, уточнили требования к отчетности для 4-х направлений бизнеса: электронный документооборот, налоговое планирование, управление качеством и подбор персонала. Также мы выполнили обследование данных в 10 системах-источниках.
- Далее на этапе проектирования мы подготовили концептуальный проект, утвердили целевую архитектуру, согласовали ряд проектных решений, описали ролевые модели, согласовали подходы к интеграции и миграции данных.
- На этапе тестирования и подготовки к опытной эксплуатации были подготовлены программа и методика испытаний, сценарии, протоколы тестирования, спецификации на проведенные разработки, программы подготовки и инструкции для пользователей и технического персонала.
- Спроектировали модель данных, в соответствии с которой построены витрины данных и наборы отчетов.
- Построили корпоративное хранилище данных с использованием концепции Data Vault 2.0, где реализовано несколько слоев хранения (STG, ODS, DDS, DM). Настроили интеграцию с системами-источниками 1С ERP, SAP ERP, SAP BW и др. с использованием таких технологий и протоков обмена, как PXF, REST, OData, и с частотой передачи данных до 1 раза в час.
- Выполнили миграцию и сверку мигрированных данных перед началом опытной эксплуатации.
- Провели функциональное тестирование по заранее созданным сценариям, прошли опытную эксплуатацию с исправлением полученных замечаний.
- Для обеспечения одновременной работы 2500 пользователей провели несколько видов нагрузочных тестов: тестирование производительности, стабильности и стрессовое тестирование.
- Приняли меры для увеличения производительности: настройка ПО, оптимизация БД и разработанного кода, выявление и исправление недостатков инфраструктуры.
- Провели обучение 2500 пользователей (ключевые пользователи системы, конечные пользователи, работники службы поддержки 1, 2 и 3 линии). Для службы поддержки были организованы семинары по настройкам системы, передаче компетенций, типовым инцидентам. Обеспечили поддержку решения на этапе промышленной эксплуатации в рамках 2-й и 3-й линии поддержки.
- На дату публикации этого материала 3 блока отчетности (налоговое планирование, управление качеством и подбор персонала) находятся в продуктивной эксплуатации и один блок отчетности (ЭДО) – в опытной эксплуатации.
Главные вызовы проекта
Нагрузочное тестирование на большом объеме пользователей. Здесь мы обеспечили качественную нагрузку, создали реалистичные сценарии, выявили узкие места для устранения проблем с производительностью
Большой объем данных при миграции. Долгое время миграции данных и невозможность выполнения «тяжелых» запросов из-за особенностей репликации мы решили созданием отдельной реплики для импорта данных в сети с качественным сетевым доступом и распараллеливанием потоков.
Пересчет большого объема данных при обновлении витрин. Мы столкнулись с длительным выполнением алгоритма расчета витрин из-за большого объема данных и передачи данных витрин из Greenplum в Clickhouse. Решение — оптимизация способов хранения таблиц, алгоритмов расчета, переход на расчет по дельтам, оптимизация коннектора Greenplum-Clickhouse.
Массовое обучение. В связи с большим числом обучаемых и сложностью решения мы подготовили документацию, провели вебинары и предварительную подготовку ключевых пользователей и службы поддержки, а затем их поэтапное обучение.
Результаты проекта
По итогам проекта заказчик получил новое импортонезависимое КХД и систему отчетности, интегрированные с 10 системами-источниками данных. На базе этого решения построены более 150 отчетов для 4-х бизнес-направлений: ЭДО, налоговое планирование, управление качеством и подбор персонала. В рамках проекта мы создали целевую архитектуру системы и разработали подходы к развитию КХД, готовые к использованию в последующих очередях проекта.
Решения и сервисы ТерраЛинк помогут улучшить ваш бизнес.
Свяжитесь с экспертами ТерраЛинк.
Контактная информация