РусГидро Ит Сервис
Реализация озера данных и дата каталога в рамках функционального развития Единой интеграционной платформы
реализация проекта: 2023
задачи
- Отсутствие правильно выстроенного единого хранилища данных
- Не было понимания атрибутивного состава сообщений, передаваемых между системами
- Построение отчетов и визуализации данных вручную
результат
1. Выстроили единое хранилище данных. Благодаря этому:
2. Создали единый каталог метаданных — так называемый дата-каталог
3. Настроили автоматическую отчетность и визуализацию данных. Теперь заказчик еще и видит качество данных, благодаря визуализации агрегатов по данным, которая показывает ошибки в исходных сообщениях
4. Выстроили гибкую ЕИП:
- Заказчик быстрее собирает отчеты.
- Повышается реакция на важные изменения в бизнес-процессах (например, финансовые показатели).
- Повышается управляемость.
- Снижаются затраты на развитие IT-ландшафта.
2. Создали единый каталог метаданных — так называемый дата-каталог
3. Настроили автоматическую отчетность и визуализацию данных. Теперь заказчик еще и видит качество данных, благодаря визуализации агрегатов по данным, которая показывает ошибки в исходных сообщениях
4. Выстроили гибкую ЕИП:
- Высокая скорость обработки поступающих из шины сообщений — 8000 сообщений в минуту.
- Высокая отказоустойчивость — при недоступности одного из узлов ClickHouse, запись происходит на другом узле. При восстановлении узла, данные автоматически реплицируются с работоспособного узла на восстановленный. При недоступности всех узлов Clickhouse и Nifi-pipeline, обработка данных приостанавливается без потери сообщений. При появлении хотя бы одного доступного узла Clickhouse, работа Nifi-pipeline автоматически продолжается.
Технологии
доверьте часть задач SATORI и сконцентрируйтесь на развитии бизнеса
