В чем основные сложности у современных дата-центров? Часть 5

Пятая часть интервью с Дэвидом Горбетом, вице-президентом по инжинирингу компании MarkLogic, опубликованного на ODBMS.org 25 марта 2014 года.

Вопрос: В чем основные сложности при разработке стратегии ETL (выгрузки, трансформации, загрузки данных)?

Дэвид Горбет: ETL трудно сделать правильно, но еще большая проблема – это поддерживать ETL. У каждого приложения рано или поздно появляется «версия 2», и обычно это означает, что новые запросы будут требовать новых данных и потребуется заново разработать схему данных и ETL. ETL также добавляет сложности в решение.

ETL добавляет задержку, поскольку многие ETL-задания разрабатываются так, чтобы исполняться пакетами.

Сложно уследить за источниками данных при ETL, и сложно применить правила безопасности данных и жизненного цикла данных при ETL. Это не проблема самого ETL или средств ETL, это просто следствие модели, которая фундаментально сложна.

Вопрос: При аналитике «больших данных» вы заранее не знаете, какие данные вам потребуются (или какие вам удастся получить) в будущем. Как быть с этой проблемой?

Дэвид Горбет: Это большая проблема с реляционными технологиями, где вам надо сначала создать схему данных, которая будет «заранее» соответствовать всем вашим данным.

Лучшим подходом здесь будет использовать технологию, которая не требует заранее заданной схемы, и которая позволяе