Хранилище данных - концепции метаданных

Что такое метаданные?

Метаданные просто определяются как данные о данных. Данные, которые используются для представления других данных, называются метаданными. Например, индекс книги служит метаданными для содержания в книге. Другими словами, мы можем сказать, что метаданные - это обобщенные данные, которые приводят нас к подробным данным. С точки зрения хранилища данных мы можем определить метаданные следующим образом.

  • Метаданные - это дорожная карта к хранилищу данных.

  • Метаданные в хранилище данных определяют объекты хранилища.

  • Метаданные действуют как каталог. Этот каталог помогает системе поддержки принятия решений определять местонахождение хранилища данных.

Примечание. В хранилище данных мы создаем метаданные для имен данных и определений данного хранилища данных. Наряду с этими метаданными, дополнительные метаданные также создаются для отметки времени любых извлеченных данных, источника извлеченных данных.

Категории метаданных

Метаданные можно разделить на три категории:

  • Бизнес-метаданные. Содержит информацию о владельце данных, определение бизнеса и изменяющиеся политики.

  • Технические метаданные. Включают имена систем баз данных, имена и размеры таблиц и столбцов, типы данных и допустимые значения. Технические метаданные также включают структурную информацию, такую как атрибуты и индексы первичного и внешнего ключей.

  • Операционные метаданные - включает в себя валюту данных и линии передачи данных. Валюта данных означает, являются ли данные активными, заархивированными или очищенными. Линия данных означает историю перенесенных данных и примененных к ним преобразований.

Метаданные Категории

Роль метаданных

Метаданные играют очень важную роль в хранилище данных. Роль метаданных в хранилище отличается от данных хранилища, но играет важную роль. Различные роли метаданных объясняются ниже.

  • Метаданные действуют как каталог.

  • Этот каталог помогает системе поддержки принятия решений определить местонахождение хранилища данных.

  • Метаданные помогают в системе поддержки принятия решений для отображения данных при преобразовании данных из операционной среды в среду хранилища данных.

  • Метаданные помогают в обобщении между текущими подробными данными и сильно обобщенными данными.

  • Метаданные также помогают в обобщении между слегка детализированными данными и сильно обобщенными данными.

  • Метаданные используются для инструментов запросов.

  • Метаданные используются в инструментах для извлечения и очистки.

  • Метаданные используются в инструментах отчетности.

  • Метаданные используются в инструментах преобразования.

  • Метаданные играют важную роль в загрузке функций.

На следующем рисунке показаны роли метаданных.

Роль метаданных

Хранилище метаданных

Хранилище метаданных является неотъемлемой частью системы хранилища данных. Он имеет следующие метаданные -

  • Определение хранилища данных - включает описание структуры хранилища данных. Описание определяется схемой, представлением, иерархиями, определениями производных данных, местоположениями и содержимым витрины данных.

  • Бизнес-метаданные. Содержит информацию о владельце данных, определение бизнеса и изменяющиеся политики.

  • Операционные метаданные - включает в себя валюту данных и линии передачи данных. Валюта данных означает, являются ли данные активными, заархивированными или очищенными. Линия данных означает историю перенесенных данных и примененных к ним преобразований.

  • Данные для отображения из операционной среды в хранилище данных - включает исходные базы данных и их содержимое, извлечение данных, очистку разделов данных, правила преобразования, правила обновления и очистки данных.

  • Алгоритмы суммирования - включает алгоритмы измерений, данные о гранулярности, агрегации, суммировании и т. Д.

Проблемы управления метаданными

Важность метаданных невозможно переоценить. Метаданные помогают повысить точность отчетов, проверяют преобразование данных и обеспечивают точность расчетов. Метаданные также обеспечивают определение бизнес-терминов для конечных пользователей. Со всеми этими видами использования метаданных у него также есть свои проблемы. Некоторые из проблем обсуждаются ниже.

  • Метаданные в большой организации разбросаны по всей организации. Эти метаданные распространяются в электронных таблицах, базах данных и приложениях.

  • Метаданные могут присутствовать в текстовых файлах или мультимедийных файлах. Чтобы использовать эти данные для решений по управлению информацией, они должны быть правильно определены.

  • Общепромышленных стандартов не существует. Поставщики решений для управления данными имеют узкую направленность.

  • Нет простых и общепринятых способов передачи метаданных.