07.02.2012  Экспертиза, Идеи и практики автоматизации

Когда я только начинал работать с приложениями для обработки “больших данных” (т. е. когда имеется много данных о чем-то или о ком-то или имеются данные о многих вещах и многих людях), “большое” на самом деле означало еще довольно малое. Однажды я создал систему для современного трёхсоткоечного госпиталя, которая хранила всё (включая записи о полумиллионе пациентов) в менее чем 10-Гб (да-да, именно так!) высокопроизводительном дисковом хранилище. Интересно, что современные относительно большие хранилища ненамного (возможно, вдвое) быстрее, чем те, которыми я располагал в 80-е. Просто в них хранится больше данных и снижена стоимость хранения в расчете на один бит. При этом некоторые операционные проблемы не решены. Во-первых, остается проблемой качество данных. Чем больше данных вы аккумулируете, тем труднее хранить все в порядке. Мы изобрели новые направления (управление мастер-данными) и инструменты для работы с проблемами “входящего мусора — исходящего мусора”, но легче не стало. Располагая действительно большими массивами накопленных со временем данных, вы должны обеспечивать “мусор на входе — золото на выходе” и предотвращать противоположные ситуации (“золото на входе — мусор на выходе”). Во-вторых, адекватное описание данных (метаданные) имеет решающее значение. Методика работы с данными (и даже методика хранения) требует знания того, сколько данных будет храниться, как быстро будет расти их объем и как часто они будут меняться. Запрос, который хорошо ... читать далее.