Чтобы полностью понять большие данные, нужно знать их историю. Это движение началось около пятнадцати лет назад с появлением данных, которые были слишком большими для обработки с помощью традиционных методов, таких как реляционные базы данных и SQL-запросы.
Поисковые системы столкнулись с огромными объемами неструктурированных данных. Столкнувшись с этими проблемами, Google в 2001 году создал сжатую базу данных Big Table и алгоритм MapReduce, который был опубликован в 2004 году.
Затем Дуг Каттинг осознал потенциал этой технологии. Hadoop, который сейчас является эталоном в мире больших данных, выпустил свой прототип с открытым исходным кодом.
Благодаря высокораспределенной файловой системе Hadoop обрабатывает большие объемы неструктурированных данных. Хотя тема больших данных возникла в начале 2000-х, сам термин «большие данные» прозвучал в Сети только в середине 2010-х.
Поэтому большие данные обрабатывают традиционные хранилища из различных источников и производятся в режиме реального времени. Представляет большие объемы структурированных или неструктурированных данных, которыми трудно управлять с помощью решений для обработки.
Большие данные — это место встречи распространения неструктурированных данных, необходимости анализа этих данных и развития технологий.
Трудно говорить полностью о больших данных. Это варьируется от одной отрасли к другой, поскольку средства и объемы управляемых данных неодинаковы. Поэтому у банков гораздо большие базы данных, чем у строительных компаний.
Более того, в связи с непрерывным развитием технологий большие данные в 2030 году не будут такими, как это было определено в 2015 году.
Но в целом можно сказать, что в ближайшие годы большие данные будут иметь место в диапазоне от десятков терабайт до нескольких петабайт и даже эксабайт в зависимости от отрасли.
Однако объем – это лишь вспомогательный элемент. Возможности анализа этих больших данных привлекают гораздо больше внимания.
Цели визуализации данных
Анализ объемных данных часто приводит к численным результатам, которые трудно интерпретировать, поскольку они не очень значимы. Не всегда легко разобраться даже в очень простых числовых таблицах.
Основная цель визуализации данных — преобразовать данные в релевантную, простую, информативную и обучающую визуальную форму. (называется визуализацией данных или Dataviz в англо-саксонских странах)
Следовательно, речь идет о построении графика, изображения или диаграммы, адаптированных к информации, которую нужно передать.
Компьютерные ресурсы теперь позволяют очень легко создавать двухмерные или трехмерные графические изображения, независимо от того, цветные они или нет.
С появлением больших данных и растущим вниманием к аналитике данных стало возможным общаться, понимать и улучшать результаты аналитики больших данных. В этих техниках визуализации (картинки, диаграммы, анимация) есть точка кипения.
.
Типы визуализации больших данных
Среди множества возможностей визуализации поговорим о наиболее часто используемых в контексте больших данных.
Классические визуализации
Это гистограммы, кривые, секторы, круговые диаграммы, области, пузырьки и т. д., которые можно найти в большинстве традиционных инструментов обработки данных, включая средства автоматизации делопроизводства, такие как Excel.
Эти инструменты по-прежнему подходят для представления результатов анализов, связанных с объемными данными типа Big Data.
Эти диаграммы позволяют лицам, принимающим решения, быстро анализировать данные и сокращать время, необходимое для понимания основ. Поэтому соответствующие обозначения просты.
Этот тип визуализации очень распространен в бизнесе, особенно для внутренней или внешней коммуникации. Отделы маркетинга, финансов, управленческого контроля и общего управления широко используют эти инструменты визуализации в виде индикаторов для передачи оборота или чистой прибыли.
Расширенные визуализации
С ростом объема данных мы уже много лет наблюдаем творческий поиск в представлении данных с более эстетичной и даже художественной визуализацией. Рост журналистики данных способствует этому явлению, которое черпает вдохновение в компьютерной графике.
Узнайте больше о докторе Аявефе и его работе здесь:
Сообщение Visual Uses of Big Data — Dr. Yasam Ayavefe впервые появилось на .
