Хранилище данных - руководители процессов

Менеджеры процессов отвечают за поддержание потока данных как в хранилище данных, так и из него. Есть три разных типа менеджеров процессов -

  • Менеджер нагрузки
  • Заведующий складом
  • Менеджер запросов

Диспетчер загрузки хранилища данных

Менеджер загрузки выполняет операции, необходимые для извлечения и загрузки данных в базу данных. Размер и сложность диспетчера нагрузки варьируются между конкретными решениями от одного хранилища данных до другого.

Архитектура диспетчера нагрузки

Диспетчер загрузки выполняет следующие функции -

  • Извлечение данных из исходной системы.

  • Быстрая загрузка извлеченных данных во временное хранилище данных.

  • Выполните простые преобразования в структуру, похожую на структуру хранилища данных.

Менеджер нагрузки

Извлечь данные из источника

Данные извлекаются из оперативных баз данных или внешних поставщиков информации. Шлюзы - это прикладные программы, которые используются для извлечения данных. Он поддерживается базовой СУБД и позволяет клиентской программе генерировать SQL для выполнения на сервере. Open Database Connection (ODBC) и Java Database Connection (JDBC) являются примерами шлюза.

Быстрая загрузка

  • Чтобы минимизировать общее окно загрузки, данные должны быть загружены в хранилище в кратчайшие сроки.

  • Преобразования влияют на скорость обработки данных.

  • Более эффективно загружать данные в реляционную базу данных до применения преобразований и проверок.

  • Технология шлюзов не подходит, так как они неэффективны при больших объемах данных.

Простые преобразования

Во время загрузки может потребоваться выполнить простые преобразования. После выполнения простых преобразований мы можем выполнять сложные проверки. Предположим, мы загружаем транзакцию продажи EPOS, нам нужно выполнить следующие проверки:

  • Удалите все столбцы, которые не требуются на складе.
  • Преобразуйте все значения в требуемые типы данных.

Заведующий складом

Менеджер склада отвечает за процесс управления складом. Он состоит из стороннего системного программного обеспечения, программ на C и сценариев оболочки. Размер и сложность менеджера склада варьируются в зависимости от конкретных решений.

Архитектура менеджера склада

Менеджер склада включает в себя следующее:

  • Процесс контроля
  • Хранимые процедуры или C с SQL
  • Инструмент резервного копирования / восстановления
  • Сценарии SQL
Заведующий складом

Функции менеджера склада

Менеджер склада выполняет следующие функции -

  • Анализирует данные для выполнения проверки согласованности и ссылочной целостности.

  • Создает индексы, бизнес-представления, разделы на основе базовых данных.

  • Создает новые агрегаты и обновляет существующие агрегаты.

  • Создает нормализации.

  • Преобразует и объединяет исходные данные временного хранилища в опубликованное хранилище данных.

  • Резервное копирование данных в хранилище данных.

  • Архивирует данные, которые достигли конца своей захваченной жизни.

Примечание . Менеджер склада анализирует профили запросов, чтобы определить, подходят ли индекс и агрегаты.

Менеджер запросов

Менеджер запросов отвечает за направление запросов к подходящим таблицам. Направляя запросы в соответствующие таблицы, это ускоряет процесс запроса и ответа. Кроме того, диспетчер запросов отвечает за планирование выполнения запросов, публикуемых пользователем.

Архитектура Query Manager

Диспетчер запросов включает в себя следующие компоненты -

  • Перенаправление запросов через инструмент C или RDBMS
  • Хранимые процедуры
  • Инструмент управления запросами
  • Планирование запросов с помощью инструмента C или RDBMS
  • Планирование запросов с помощью стороннего программного обеспечения
Менеджер запросов

Функции диспетчера запросов

  • Он представляет данные пользователю в понятной им форме.

  • Это планирует выполнение запросов, отправленных конечным пользователем.

  • Он хранит профили запросов, чтобы менеджер хранилища мог определить, какие индексы и агрегаты являются подходящими.