12.01.2015  Экспертиза, Розница, Управление данными

В последнее время тема использования новых методов анализа на базе разбора так называемых больших данных (традиционно термин big data оставляют без перевода). Это позволяет решить массу проблем, которые в прошлом доставляли существенные трудности или неудобства. Прежде всего, связанные с обработкой больших массивов неструктурируемых или плохо структурируемых данных, а также поиском не вполне очевидных зависимостей. Надо сказать, что только этим преимущества, которые дает разбор больших данных, не исчерпывается. Так, например, наиболее популярный движок hadoop является СПО, а значит, вообще говоря, его лицензирование не стоит ничего. Хорошо известные и популярные СУБД, как правило, являются коммерческими продуктами, причем от иностранных компаний, которые вынуждены следовать нормативным актам своих стран. Не надо долго распространяться, что в нынешних условиях последнее сопряжено с довольно серьезным риском. Да и стоимость лицензирования высока. При этом комплексы, ориентированные на работу с обработки большими данными позволяют добиться более высокой производительности, не просто в разы, а на порядки, часто при меньших ресурсах. Известно, что сама концепция обработки больших данных возникла вследствие того, что реляционные СУБД, при достижении некоей критичной массы данных, резко замедляли работу. Особенно при обработке сложных запросов. Так что в середине 2000-ных начали говорить о «конце безразмерности». Стало очевидно, что объемы данных достигли того уровня, что ... читать далее.