Файл: Большие данные в системе оценки качества государственных и муниципальных услуг в электронном виде.rtf

ВУЗ: Не указан

Категория: Дипломная (вкр)

Дисциплина: Не указана

Добавлен: 31.05.2026

Просмотров: 195

Скачиваний: 1

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

Сегодня ситуация изменилась: в решение проблемы были вложены серьезные ресурсы и появилось множество доступных технологий, которые позволяют анализировать данные и получать самую ценную информацию о вашей деятельности, будь то бизнес или, рассматриваемые нами, государственные услуги.

С помощью технологий, которые будут перечислены ниже, появилась возможность узнать о своей деятельности то, что было недоступно человеческому глазу ранее. Более того, теперь возможно не просто узнать об этих инсайтах (внутренней организационной информации), а еще и выводить определенные действия, которые будут осуществляться в зависимости от тех или иных условий, которые были выявлены автоматизированной машиной.

1)       Business intelligence

«Умный бизнес» - это набор программных решений, то есть система, которая позволяет анализировать и делать выводы на основе хранящихся данных. Важными условиями технологий business intelligence являются: возможность представления данных в удобном, «изучаемом» виде, то есть применение инструментов визуализации данных; возможность автоматической рассылки сгенерированных отчетов; возможность подключения разных источников данных.

)         Хранилище данных

В данном случае, название говорит само за себя: хранилище данных - это то, где собираются большие массивы данных в структурированном виде. Обычно в качестве источника хранения данных используются неавтоматизированные процессы выгрузки, обработки и загрузки данных в хранилище данных.

)         Облачные хранилища

Технология хранения больших массивов данных, при которой используются не локальные серверные мощности, а предоставляемые третьей стороной серверы, которое формирует, так называемое «облако».

4)       MapReduce

Данная технология представляет собой фреймворк (программная оболочка) от компании Google и заключается в распределении загрузки по задаче, которая требует высокой производительности серверов. Сама технология, как и название, делится на две части. В первой части - Map- поступает задача, которая обрабатывается на главном сервере, который называется master Node, после чего принимается решение о том, как распределить задачу и на какие серверы. На втором этапе - Reduce - происходит параллельное решение распределенных задач и сбор решений из разных серверов в одном - главном.

5)       Hadoop

Данная технология от Yahoo! решает ровно ту же проблему при обработке Больших Данных, что и MapReduce. Единственная разница в том, что Hadoop включает в себя, помимо MapReduce, другие модули, как Hadoop Common, HDFS и YARN, которые лишь дополняют фреймворк от Google и предваряют решение главной задачи по распределению мощностей.

6)       R Studio

Язык программирования для работы со статистическими запросами, базами данных и визуализации. Программа позволяет производить практически любые манипуляции с данными, в том числе строить регрессионные модели, проводить корреляционный анализ и просто выводить необходимые таблицы. Для работы с программой необходимо знать нотацию, однако существуют такие надстройки, как R Studio, которые предоставляют удобный и интуитивно понятный интерфейс для работы с технологией.


)         Реляционные базы данных

Базы данных, в которых информация хранится структурированно в таблицах со строками и столбцами, между которыми можно выявить определенные связи. Существуют также нереляционные базы данных, в которых информация хранится в сыром виде.

8)       SQL

Для работы с вышеописанными реляционными базами данных существует специальный язык программирования. Данная нотация позволяет производить множество манипуляций с таблицами в базе данных - удалять, добавлять, выводить необходимые таблицы, контролировать доступы к базе данных. Для работы с таблицами в таком формате необходимо знать нотацию, однако существуют надстройки, которые позволяют производить необходимый набор действий с таблицами в рамках удобного и понятного интерфейса с фильтрацией, графиками и другими техниками визуализации данных.

Также существуют определенные методы работы с анализом больших данных, и это именно то, что действительно ценно, так как инструментарий позволяет лишь правильно хранить и управлять данными, а выявление полезной информации возможно именно с помощью определенных техник. Аналогично с инструментарием, существует также и большое множество популярных методов работы с анализом больших данных, однако если в первом случае инструменты появляются зачастую в коммерческих целях продажи программного обеспечения, то методы анализа являются тем, на чем строятся эти инструменты и каждый из методов имеет свое право на существование ввиду уникальности.

)         А/Б тестирование или мультивариантное тестирование

Данный вид тестирования позволяет проверить определенные гипотезы на разных группах аудиторий. Примером такого тестирования может служить проверка наиболее подходящего текста на веб-странице в зависимости от отклика аудитории на тот или иной предложенный вариант. Вариант, собравший большее количество положительных откликов является «правильным». Необходимым условием является достаточно качественная выборка и количество респондентов для того, чтобы попасть в требуемый уровень значимости.

)         Ассоциативное обучение

Данная техника позволяет находить взаимосвязи между переменными в базе данных для установления зависимостей. В качестве примера можно предложить автоматическое выведение государственных и муниципальных услуг, которые чаще всего востребованы вместе или после тех, которые пользователь заказывает на данный момент.

)         Машинное обучение

Пожалуй, самая удивительная технология для анализа Больших Данных. Она включает в себя набор алгоритмов, которые позволяют технологии самообучаться на основе ретроспективных данных и принимать оптимальные решения в рамках заложенных алгоритмов самостоятельно. По сути, машинное обучение - это подраздел в компьютерной науке и относится к изучению, так называемого искусственного интеллекта. Сейчас, в основном, используется в сложных системах, которые направлены на полную автоматизацию работы в виду больших масштабов.


)         Краудсорсинг

Данная технология содержит в себе мало «технологичности» и автоматизации процесса, поэтому крайне редко используется. Метод заключается в анализе данных с помощью социальных сетей, где собирается аналитика по большой группе людей в виду простоты масштабируемости через Веб 2.0.

)         Смешение и интеграция данных

Технология, которая является, пожалуй, самым важным «умением» в рамках работы с Большими Данными. Данный метод анализа данных позволяет смешивать и интегрировать данные из разных источников для построения выводов на основе этих данных.

)         Нейронные сети

Данный метод является набором моделей, которые позволяют находить паттерны в данных для налаживания процесса оптимизации. Метод включает в себя, в том числе и машинное обучение, которое было упомянуто ранее. Обучение может проходить как и с помощью ручной настройки определенных параметров оптимизации, так и без включения человека в процесс. Удивительно, что «вдохновением» для модели стали неврологические связи в мозгу человека, которые схожи с тем, как строит процесс работы с данными машина при самообучении.

)         Предиктивное моделирование

Набор техник применения математического моделирования для анализа статических данных. Результатом такого моделирования становится функция (модель), которая позволяет прогнозировать вероятность наступления определенного события на основе ввода данным по другим независимым переменным. Данный метод включает в себя также и регрессионный анализ, который обычно выделяют отдельным методом, однако на самом деле является одной из техник, которую применяют при предиктивном моделировании.

)         Пространственный анализ

Метод аналогичен с вышеупомянутым предиктивным моделированием, однако единственным отличием является включение «пространственных» данных, то есть включения геолокационных параметров для переменных в модели. Включение таких параметров позволяет выводить модели с пространственными значениями, то есть анализировать ситуацию для тех или иных регионов, городов, районов и так далее.

)         Анализ временных рядов

Очередной метод, который идентичен с предиктивным моделированием, но включает в себя дополнительный параметр: в данном случае это распределение значения переменных по времени. Позволяет включать в модель учет изменений переменных и увеличивать прогнозную силу разрабатываемой модели.

)         Визуализация данных

Все вышеупомянутые методы и техники анализируют огромные массивы данных в сыром виде, структурируя уже их в процессе работы с ними. Однако рядовому пользователю, которому нужно выводить инсайты и принимать решения на основе этих данных, необходимо строить графики, таблицы, диаграммы для того, чтобы понимать, что заложено в наборе цифр.

)         «Дата майнинг»

Данная технология включает в себя набор методов, которые были описаны выше, включая и статистический анализ и работу с данными из разряда машинного обучения для выведения гипотез и заключения необходимых выводов для оптимизации принятия решений. Важным условием «дата майнинга» является то, что анализом данных в данном случае занимается человек, применяя вышеописанные методы автоматизации этого процесса.


«Дата майнингом» занимаются, так называемые, «дата сайнтисты». Точного перевода для данных терминов на русский не имеется, поэтому в данной работе будем применять именно устоявшиеся английские термины в русской транслитерации.

Таким образом, Большие Данные включают в себя огромный пласт технологий и методик, которые позволяют работать с большим количеством данных, включая сбор, хранение, анализ, интерпретацию и визуализацию.

Этот набор особенно актуален в рамках данного исследования и позволяет при правильном применении этих технологий расширить возможности и вывести на новый уровень мониторинг по оценке качества предоставления государственных и муниципальных услуг, в частности услуг в электронном виде через Единый портал государственных и муниципальных услуг.

2.2 Возможности и риски Больших Данных для оценки качества предоставления государственных услуг: мнение экспертов


Еще в 2012 году Президент Российской Федерации подписал Указ № 601 «Об основных направлениях по совершенствованию системы государственного управления». К основным мерам в рамках данного указа приписывается повышение качества предоставления государственных услуг, а также информационная прозрачность за счет публикации государственных данных в открытом доступе.

На сегодняшний день эти меры находятся на этапе активной проработки, как уже отмечалось много раз - проводится ежегодный мониторинг оценки качества предоставления услуг для формирования выводов и рекомендаций по их улучшению на основе ретроспективных данных и результатах работы. А также в виде последних обновлений введены ежеквартальные отчеты, которые поступают ответственным органам через систему «Ваш контроль». Сегодня это наши реалии и наш уровень работы с данными.

Однако полноценно ли мы реализуем потенциал современных информационных технологий? Каким образом Большие Данные могут помочь нашим государственным органам достичь установленного индикатора в 90% удовлетворенности населением государственными и муниципальными услугами?

Очевидно, что если появится возможность проводить точечную оценку, более регулярную и более оперативную оценку качества предоставления государственных и муниципальных услуг, то мы сможем значительно быстрее исправлять недочеты и персонализировать государственные и муниципальные услуги для каждого конкретного пользователя в зависимости от его нужд и потребностей.

Именно с такими мыслями и надеждами говорят о Больших Данных для государственного сектора в кругу экспертов. Так, например, в отчете одной из лучших консалтинговых компаний McKinsey - MGI, к которому мы обращались в рамках данной работы ранее, упоминается, что Европейский государственный сектор сможет сократить административные расходы на 15-20% при условии, что будет внедрена аналитика на основе Больших Данных.

Другие эксперты, как, например исполнительный директор компании «Делл», упоминает о том, что Большие Данные могут сделать предоставление государственных услуг более эффективным, дадут возможность предоставлять услуги точечно, вовремя и персонализированно, что так же поможет сократить уже упоминавшиеся административные расходы на предоставление государственных услуг.


Большие Данные также являются источником огромного количества, так называемых инсайтов, то есть важнейшей скрытой информации, которая позволяет принимать серьезные решения и драматически изменять ход событий в лучшую сторону. Так, например, Большие Данные в их наиболее простом представлении позволяют собирать ценную информацию о пользователях с порталов электронного правительства: изучать то, откуда пришли пользователи на тот или иной портал государственных и муниципальных услуг; на каком этапе к получению государственной и муниципальной услуги пользователи уходят с сайта, поскольку им не удается получить желаемое; с какого устройства заходил тот или иной пользователь; насколько удобно было пользователю работать с порталом с того или иной устройства и многую другую полезную информацию. На основе этой информации можно узнать, насколько пользователь был удовлетворен при получении той или иной услуги, даже без прохождения опросов и принимать оперативные решения по устранению проблем.

Самое главное, что сегодня практически полноценный набор этих возможностей доступен благодаря элементарному набору инструментов группы «Умного бизнеса» (Business intelligence), которые могут быть, как внутренней разработкой, так и общедоступными внешними решениями вроде самого популярного зарубежного решения Google Analytics, а также Yandex Metrika и многие другие. В умелых руках с правильной адаптацией для конкретного кейса эти инструменты позволяют добывать самую важную информацию о поведении пользователей и выводить уровень принятия решений на абсолютно новый уровень.

Помимо этого, Большие Данные позволяют узнавать о конкретном пользователе огромное количество полезной информации - для персонализации сообщений для него: социально-демографические параметры, интересы, поведение и многую другую информацию, помимо той, что пользователь сам предоставил при регистрации на портале.

По мнению экспертов из другой крупной консалтинговой компании - PWC - на сегодняшний день Большие Данные «простаивают», и около 75% полезной информации не используется, и она остается в сыром неструктрированном виде, несмотря на всю свою ценность. Таким образом, Большие Данные нуждаются в дополнительной огранке, в систематизации и структуризации для того, чтобы быть не просто «Большими», но также и полезными данными, на основе которых можно принимать судьбоносные решения. Конечно, в первую очередь связано это с тем, что необходимы специалисты по анализу данных, которые могли бы систематизировать работу с данными и заставить эти данные работать на государственный сектор.

Более того, в том же отчете PWC, говорится о том, что Большие Данные при правильном применении позволяют работать и принимать решения не только на основе сведенных ретроспективных отчетов, но и следить за результатами работы государственных и муниципальных порталов с точки зрения качества предоставления услуг в режиме реального времени и оперативно реагировать на возникающие проблемы, которые приходят в виде экстренных уведомлений тому или иному ответственному органу.