Необходимость хранилищ данных для управления предприятием.
В современном мире управленческие решения как тактического так и стратегического уровня все больше и больше принимаются на основе анализа данных. В связи с этим возникает необходимость сбора и анализа данных из различных ИТ систем, а со временем еще и данных, поступающих из внешних аналитических систем или систем статистики.
Начальный этап построения аналитики как правило базируется на создании отчетов непосредственно в производственных или учетных системах, в которых ведется учет и обработка первичных данных.

Это, как правило, возможно, если объемы обрабатываемых данных не велики, а требования к визуализации отчетов являются достаточно простыми и их можно реализовать с использованием встроенных средств построения отчетности используемых учетных (транзакционных) систем.
Однако с ростом объемов данных в системах, а также при возникновении необходимости использования в аналитике данных из нескольких систем для расчета водной информации возникает необходимость выделения отдельных систем Data warehouse (DWH) для хранения, обработки и анализа данных.

Построение ИТ архитектуры предприятия, где для учета и отчетности используются отдельно выделенные DWH системы а также BI системы построения отчетов позволяет решить сразу несколько следующих задач:

• Снизить нагрузку на производственные (транзакционные) системы, которые в момент построения аналитических отчетов теряют в производительности.
• Создать механизмы контроля данных между системами, если используются несколько различных систем путем построения объединения данных из нескольких источников в едином DWH
• Использовать специализированные инструменты визуализации и построения отчетов, имеющие значительно более широкий функционал по сравнению транзакционными системами, для которых функционал построения отчетов является скорее дополнением, чем их основной функцией.

Загрузка и обновление данных в DWH как правило производится один или несколько раз в сутки во время наименьшей нагрузки на транзакционные системы, являющиеся для DWH источниками данных. Однако часто возникает необходимость построения online отчетности, содержащей актуальную информацию либо online сверки данных между различными системами. Для решения такой задачи совместно с DWH как правило применяют Online Data Storage (ODS), позволяющее организовать внутридневное оперативное хранение данных.

В этом случае использование аиснхронных механизмов передачи данных позволяет снизить взаимную зависимость транзакционных систем и ODS, получив при этом возможность построения online отчетов а также сверки данных между системами внутри дня.

Мы предлагаем помощь в развитии и оптимизации существующих систем на базе различных платформ (Oracle, PostgreSQL, ArenaData, Picodata), переход на открытый и импортозамещенный стек, а также простой и удобный инструмент интеграции – платформу ИнтегроПоинт, которая обеспечивает как решение технически сложных интеграционных задач, так и упрощение, а, значит, и снижение стоимости поддержки для наших клиентов.

Подход к построению платформы (рис. 1 и 2):

• слой передачи и хранения (в случае асинхронной передачи) сообщений о событиях изолированы изолируются от систем-источников и систем-приемников слоями адаптеров;
• все события, публикуемые системами централизовано хранятся в платформе;
• для реализации сквозных бизнес-процессов используется BPM-система, например Camunda BPM;
• ИТ-системы отправляют сведения о событиях в интеграционную платформу: каждое событие помещается в свой список событий, который доступен для чтения любой другой IT системой, а любая ИТ-система может подписаться на события и начать их обрабатывать;
• сервисные адаптеры позволяют упростить интеграцию систем с платформой и принять на себя часть логики по трансформации событий как со стороны систем – отправителей так и со стороны систем-получателей (подписчиков).

Подход к интеграции систем на базе 1С (рис. 3)
Подход основан на использовании стандартного функционала 1С и минимизацией доработок!

Отправка событий из 1С:
1С имеет стандартный механизм подписки на события, позволяющий создавать свои обработчики событий минимально вмешиваясь в логику работы системы.
При подписке на событие вызывается адаптер рассылки, разработанный для интеграционной платформы, который отправляет событие в платформу.
Получение событий в 1С
При поступлении событий в очередь адаптер платформы инициирует обработку события на стороне приемной системы 1С путем вызова HTTP сервиса платформы.
В случае отказа в обработке событий событие помещается в очередь DLQ для повторной обработки
Получение событий в DWH
Параллельно с 1С событие направляется в систему DWH для его обработки и учета