Анализируем вместе: история данных

За последние 20 лет в России произошел скачок в развитии технологий сбора данных для анализа: от систематизации информации на бумаге до прогнозирования на несколько лет вперёд в специализированном ПО. Наш эксперт Александр Зенькович рассказал о том, как раньше компании обходились без средств анализа информации и какое будущее ждёт аналитические системы.

Сначала Земля остыла

Первыми «базами данных» начала 2000-ных были бумажные носители. Они содержали имена клиентов, номера их паспортов, контакты и минимальную историю взаимодействия. Естественно, ни о какой консолидации данных и тем более аналитике на таком уровне речи не шло. На моём первом месте работы – оператор связи – сотрудники колл-центра распечатывали огромные списки из справочника «Желтые страницы» и вручную обзванивали каждого потенциального клиента. Эффективность, как вы понимаете, была на низком уровне.

Следующая веха развития в работе с данными – появление Excel и Access, локальные программы на компьютерах сотрудников, но с начальным уровнем каталогизации и ведения реестра (например, клиентов). Очевидно, такой подход порождал дубликаты данных и несинхронное ведение информации. Но он же позволял хоть как-то анализировать собранный материал. В том же телекоме это выглядело уже «экселькой» с номерами и именами клиентов. Менеджеры формировали Excel-файл и загружали его в базу колл-центра для автоматического обзвона.

Постепенно российский крупный бизнес осознавал, что для продуктивной работы нужна аналитика и отчетность, которая могла строиться только на общих выверенных данных. Наконец, настал этап повсеместного накопления информации, а с ним – и расцвет хранилищ, BI-систем, построения отчетности для ретроспективного анализа. И здесь я тоже расскажу про федерального оператора связи. Один из крупных на тот момент телеком-провайдеров, который объединил под одним названием десятки региональных игроков, решил консолидировать биллинговую и финансовую информацию, а для централизации большого объёма данных из различных систем ему нужно было хранилище.

Следующий логичный виток развития – попытка не анализировать прошлое, а заглянуть в будущее. Именно здесь рождается предиктивная аналитика, которая позволяет на основе накопленных данных спрогнозировать перспективу. Параллельно с этим растут объемы хранимой информации, бизнес мигрирует в облака для отказоустойчивости и доступности. Хорошие примеры есть в розничных сетях и фармацевтике. На одном из таких проектов мы на основе накопленной бизнесом информации строили сразу несколько систем: для прогнозирования спроса, оценки эффективности промо, подбора персональных предложений. Все это позволило ему лучше понять своего клиента и спланировать развитие.

Что дальше

Интерес к аналитике и накоплению данных растёт. Помимо офлайн-анализа и прогнозирования появились множественные онлайн-аналитики, компании собирают информацию с датчиков, предугадывают поведение в реальном времени. Этому сильно способствует удешевление оборудования и расчетов.

На основе накопленных данных и опыта будут совершенствоваться ML-модели, появятся дополнительные области их применения. Мы постепенно движемся к умному искусственному интеллекту, который способен всё лучше подстраиваться под задачу без дополнительного участия человека. Например, уже сейчас есть проекты беспилотных большегрузов, способных заменить тысячи дальнобойщиков на дорогах мира. Однако из-за страха краха этой сферы услуг (как и любых других, где задействован человек), технология пока не идет в массы — но стоит помнить, что большая автоматизация, скорее, трансформирует человеческий труд, чем исключит его полностью.

Рынок полон потребностей в продвинутой аналитике, среди передовых в этой области ритейл, банковская сфера и производство. Работа с клиентами, формирование персональных предложений, мониторингом площадок и конвейерного оборудования, соблюдение правил безопасности, оценка брака на заводах – всё это требует данных, их безостановочного сбора и полноценной обработки.

Среди такого разнообразия векторов развития аналитики перед бизнесом появляются новые интересные вопросы о разработке передовых нейросетей, интеграции искусственного интеллекта и интернета вещей и, конечно, технологической стороне реализации. На мой взгляд, безусловное будущее за решениями на основе открытого кода. Предложений на базе open source больше год от года, за ними частенько не поспевают именитые вендоры. Компании начали смотреть в сторону более легковесных и понятных решений, которые не требуют миллионные инвестиций «здесь и сейчас» в сотни миллионов для внедрения и перестройки бизнес- и ИТ-процессов.

Еще одно из преимуществ такой технологии – более высокие шансы избежать многолетних «монолитных» проектов, которые в итоге уходят «в стол». Применение простых решений, но в общей целостной структуре, дают иногда более интересный результат. Важно не бояться решать любые задачи – от небольших локальных с использованием ML до более амбициозных и трудозатратных.

Уверен, что в ближайшем будущем мы увидим еще не одну трансформацию в работе с данными, но пока имеет смысл полноценно использовать то, что есть – комплексные аналитические системы и решения по обработке информации. Всё то, что прямо сейчас может принести преимущества вашему бизнесу.

Источник: Habr.com