Файл: Конспект лекций методы инспекции пакетов и анализа трафика (наименование дисциплины) СанктПетербург 2021 1.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 29.04.2024
Просмотров: 75
Скачиваний: 8
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
Рис. 52: Классификация систем DPI с учетом их применения
45
€ централизованный контроль сайтов и нелегального контента (по адресу ресурса внесенному в черный список в БД категорий URL);
€ персонализированный доступ пользователей (черный или белый списки общие или частные, - персонализация самого понятия безопасность);
€ уведомление о посещении потенциально опасных ресурсов, с проверкой трафика на наличие вирусов;
- контроль трафика файлообменных сетей на основе политик (ограничение/выделение минимальной гарантированной/блокировка общей скорости передачи, скорости по типу трафика (web, video, P2P,
IM и пр.), указание приоритета для каждого типа);
€ контроль почтового спама (по количеству рассылок). При этом зараженный пользователь перенаправляется на страницу с инструкциями по удалению вируса;
€ обнаружение DoS/DDoS атак (по большой нагрузке на вычислительную систему);
€ обнаружение сканирования сети;
€ сбор статистики (используемая полоса пропускания по каждому типу трафика, по каждому интернет серверу или пользователю, их процентное соотношение, количество соединений или обьем трафика к интернет серверам);
1 2 3 4 5
€ фильтрация по адресам, портам, доменным именам и протоколам (например, P2P или Skype);
€ применение динамических индивидуальных политик для фиксированных и мобильных абонентов
(APN, телефонный номер, тип доступа (2G, 3G, 4G));
€ блокировка или ограничение скорости при опасности перегрузки или высокой загруженности в соте
(для сетей подвижной связи).
DPI позволяет вести сбор статистики по предоставляемым услугам (per-service) - (приложениям - ,
протоколам) и/или по каждому пользователю (per-subscriber).
Может быть применено ограничение передачи к определенным ресурсам (социальные сети, online игры,
потоковое видео).
DPI предоставляет широкие возможности для персонализированных тарифов. Например, тарификация по контенту. Учет зависимости потребления услуг (рис.53) и их оплаты. Использование аппаратных ресурсов для обеспечения QoS, SLA. Дифференциация услуг: тариф для веб-трафика (HTTP); ограничение/тариф для P2P приложений; тариф для соц. сетей; тариф для развлечений. Особенно интереснаа тарификация с учетом: time-точки (времени), geo-точки (местоположения), empty-точки (загруженности сети). Отдельную важную роль играет тарификация для телефонии и ОТТ.
4.2 Примеры решений
Как уже говорилось ранее, простейшим способом осуществить обработку трафика в соответствии с политикой на практике можно с помощью свободного программного обеспечения (которое естественно имеет ограничения по производительности), применив такие пакеты как: nDPI (рис.54), IPTables, tc.
Система nDPI предполагает применение одного сервера без взаимодействия. Вендорные системы DPI
обычно не имеют описания сценариев взаимодействия в открытых источниках. Тем не менее, расмотрим возможные варианты сценариев взаимодействия системы DPI отталкиваясь от стандартов ITU-T, 3GPP
и данных в открытых источниках.
Другие примеры решений наглядно представлены в презентации курса лекций, понятны и не требуют дополнительного текстового описания. В случае возникновения интереса, многие решения имеют коммерческие описания доступные на сайте вендора.
4.3 Сетевой нейтралитет
Возможность приоритизации одних и блокировки других потоков трафика (или трафика к конкретным услугам) может ущемлять права абонентов. А компании, предоставляющие контент, не хотели бы отдельно оплачивать высокоскоростной доступ пользователей к их серверам. Такое решение обусловлено технологиями мультисервисных сетей. Сетевой нейтралитет вредит качеству предоставляемых услуг. Технически оператор связи не может применить сетевую нейтральность к такой услуге, как HD IPTV.
В США директива Федеральной комиссии по связи (FCC) о сетевом нейтралитете, действующая с 2010
г., была отменена в январе 2014 г. Но уже в феврале 2015 г. был подготовлен коммуникационный акт ќ
1934 (раздел II), предполагающий компромиссный подход к сетевому нейтралитету. Его правила вступили в действие в июне 2015 г. В частности, операторам связи запрещается предлагать приоритетный доступ
46
€ применение динамических индивидуальных политик для фиксированных и мобильных абонентов
(APN, телефонный номер, тип доступа (2G, 3G, 4G));
€ блокировка или ограничение скорости при опасности перегрузки или высокой загруженности в соте
(для сетей подвижной связи).
DPI позволяет вести сбор статистики по предоставляемым услугам (per-service) - (приложениям - ,
протоколам) и/или по каждому пользователю (per-subscriber).
Может быть применено ограничение передачи к определенным ресурсам (социальные сети, online игры,
потоковое видео).
DPI предоставляет широкие возможности для персонализированных тарифов. Например, тарификация по контенту. Учет зависимости потребления услуг (рис.53) и их оплаты. Использование аппаратных ресурсов для обеспечения QoS, SLA. Дифференциация услуг: тариф для веб-трафика (HTTP); ограничение/тариф для P2P приложений; тариф для соц. сетей; тариф для развлечений. Особенно интереснаа тарификация с учетом: time-точки (времени), geo-точки (местоположения), empty-точки (загруженности сети). Отдельную важную роль играет тарификация для телефонии и ОТТ.
4.2 Примеры решений
Как уже говорилось ранее, простейшим способом осуществить обработку трафика в соответствии с политикой на практике можно с помощью свободного программного обеспечения (которое естественно имеет ограничения по производительности), применив такие пакеты как: nDPI (рис.54), IPTables, tc.
Система nDPI предполагает применение одного сервера без взаимодействия. Вендорные системы DPI
обычно не имеют описания сценариев взаимодействия в открытых источниках. Тем не менее, расмотрим возможные варианты сценариев взаимодействия системы DPI отталкиваясь от стандартов ITU-T, 3GPP
и данных в открытых источниках.
Другие примеры решений наглядно представлены в презентации курса лекций, понятны и не требуют дополнительного текстового описания. В случае возникновения интереса, многие решения имеют коммерческие описания доступные на сайте вендора.
4.3 Сетевой нейтралитет
Возможность приоритизации одних и блокировки других потоков трафика (или трафика к конкретным услугам) может ущемлять права абонентов. А компании, предоставляющие контент, не хотели бы отдельно оплачивать высокоскоростной доступ пользователей к их серверам. Такое решение обусловлено технологиями мультисервисных сетей. Сетевой нейтралитет вредит качеству предоставляемых услуг. Технически оператор связи не может применить сетевую нейтральность к такой услуге, как HD IPTV.
В США директива Федеральной комиссии по связи (FCC) о сетевом нейтралитете, действующая с 2010
г., была отменена в январе 2014 г. Но уже в феврале 2015 г. был подготовлен коммуникационный акт ќ
1934 (раздел II), предполагающий компромиссный подход к сетевому нейтралитету. Его правила вступили в действие в июне 2015 г. В частности, операторам связи запрещается предлагать приоритетный доступ
46
Рис. 53: Анализ потребления трафика пользователями с помощью DPI
Рис. 54: Политика
47
за дополнительную плату. В 2017г FCC отменила сетевой нейтралитет в США. В 2018г Калифорния ввела сетевой нейтралитет. Европарламент в апреле 2014 г., наоборот, принял пакет законов о реформе телекоммуникационной отрасли. В нем, в том числе, был сформулирован принцип сетевой нейтральности,
а также указана необходимость его выполнения (поправки 234 236). Однако Совет Европейского Союза в мае 2015 г. исключает это понятие полностью из итогового документа, утвержденного 6 июля 2015 г.
В РФ в 2009 г. МегаФон и ТТК инициировали разбирательство ФАС относительно принципов сетевой нейтральности. Антимонопольный комитет считает, что операторы имеют право управлять трафиком, но публично и без дискриминации других участников рынка. Билайн самостоятельно прекратил применять ограничения по типу трафика и использует DPI для прогнозирования уровня загрузки каналов и повышения качества услуг. Особую роль играает п.27 Постановления 575 от 2007 (2008)гг.
4.4 Конфиденциальность
Существует техническая возможность DPI систем анализировать передаваемую информацию (например текст письма электронной почты) в режиме реального времени, что может восприниматься как потенциальное нарушение тайны переписки. (Конституция РФ и ФЗ-126 гл.9 ст.63).
Технология поведенческого таргетинга ВТ (Behavioral Targeting) на основе анализа взаимодействия между сайтами сети Интернет. Путем применения переменных в ссылках на другие сайты или javascript- указаний, либо посредством запросов данных, хранящихся в веб-браузере (cookies), собирается информация о посещенных страницах. Все эти данные собираются в профиль интересов пользователя, могут продаваться и использоваться для таргетированной рекламы. Средства DPI позволяют сделать поведенческий таргетинг более точным и всеобъемлющим. Провайдеры, применяющие DPI, могут не только собирать информацию,
но и внедрять в проходящий трафик рекламу.
4.5 Проблема шифрования трафика
DPI-системы не способны расшифровать данные. Но они могут проанализировав, идентифицировать и классифицировать эти данные, основываясь на эвристической информации или поведенческом анализе.
Например, DPI находит зашифрованный трафик BitTorrent, но не удается определить, какой именно передается файл.
4.6 Виртуализация DPI
Особый интерес вызывает решение задач выделения и распределения аппаратных ресурсов для (между)
серверами системы DPI. В том числе в режиме реального времени. Такой подход возможен при работе с системой глубокой инспекции пакетов на основе технологий виртуализации. Например, когда производитель
DPI в своем решении использует сервера с виртуализацией. Либо разворачивает программное решение DPI
на стандартных серверах с технологией виртуализации. Еще один вариант это построение системы DPI
согласно концепции NFV (Network function virtualization, виртуализации сетевых функций), что описано в рекомендации [13](рис.55,56). Для систем с применением технологии виртуализации, либо в случае технологии балансировки нагрузки или резервирования (горячего или холодного) расчет необходимого числа аппаратных ресурсов должен иметь программную реализацию.
На рис.57 представлены функции DPI в составе стандартной архитектуре NFV решений. При это следует понимать, что каждый функциональный обьект может быть реализован отдельной виртуальной машиной (VM) и масштабирован путем увеличения выделяемых аппаратных ресурсов этой виртуальной машине или путем увеличения числа виртуальных машин выполняющих задачу исходного функционального обьекта. Все функции DPI могут выполняться в рамках одной виртуальной маашины, или распределены по нескольким виртуальным машинам по одной или группами.
На первый взгляд при использовании программного решения DPI поверх систем с виртуализацией становится невозможным применять аппаратную разгрузку и ускорение. Однако, технологии виртуализации подразумевают предоставления аппаратных ресурсов для виртуальных машин. Этот факт является ключевым для понимания возможности предоставления аппаратных составляющих систем DPI для ускорения работы программной части DPI установленной поверх систем с виртуализацией. Что наглядно изложено в ITU-T
Y.2775 [13] (рис.58 и 59).
4.7 Применение DPI совместно с технологией SDN
В данном конспекте совместное применение технологий будет описано поверхностно, исходя из того,
что читатель уже на достаточном уровне усвоил как технологию DPI, так и технологию SDN.
Сразу выделим три важных для симбиоза этих технологий момента. Во-первых, логика работы контроллера
SDN основана на манипуляции и маршрутизации потоков пакетов. Таким образом, обе технологии оперируют
48
а также указана необходимость его выполнения (поправки 234 236). Однако Совет Европейского Союза в мае 2015 г. исключает это понятие полностью из итогового документа, утвержденного 6 июля 2015 г.
В РФ в 2009 г. МегаФон и ТТК инициировали разбирательство ФАС относительно принципов сетевой нейтральности. Антимонопольный комитет считает, что операторы имеют право управлять трафиком, но публично и без дискриминации других участников рынка. Билайн самостоятельно прекратил применять ограничения по типу трафика и использует DPI для прогнозирования уровня загрузки каналов и повышения качества услуг. Особую роль играает п.27 Постановления 575 от 2007 (2008)гг.
4.4 Конфиденциальность
Существует техническая возможность DPI систем анализировать передаваемую информацию (например текст письма электронной почты) в режиме реального времени, что может восприниматься как потенциальное нарушение тайны переписки. (Конституция РФ и ФЗ-126 гл.9 ст.63).
Технология поведенческого таргетинга ВТ (Behavioral Targeting) на основе анализа взаимодействия между сайтами сети Интернет. Путем применения переменных в ссылках на другие сайты или javascript- указаний, либо посредством запросов данных, хранящихся в веб-браузере (cookies), собирается информация о посещенных страницах. Все эти данные собираются в профиль интересов пользователя, могут продаваться и использоваться для таргетированной рекламы. Средства DPI позволяют сделать поведенческий таргетинг более точным и всеобъемлющим. Провайдеры, применяющие DPI, могут не только собирать информацию,
но и внедрять в проходящий трафик рекламу.
4.5 Проблема шифрования трафика
DPI-системы не способны расшифровать данные. Но они могут проанализировав, идентифицировать и классифицировать эти данные, основываясь на эвристической информации или поведенческом анализе.
Например, DPI находит зашифрованный трафик BitTorrent, но не удается определить, какой именно передается файл.
4.6 Виртуализация DPI
Особый интерес вызывает решение задач выделения и распределения аппаратных ресурсов для (между)
серверами системы DPI. В том числе в режиме реального времени. Такой подход возможен при работе с системой глубокой инспекции пакетов на основе технологий виртуализации. Например, когда производитель
DPI в своем решении использует сервера с виртуализацией. Либо разворачивает программное решение DPI
на стандартных серверах с технологией виртуализации. Еще один вариант это построение системы DPI
согласно концепции NFV (Network function virtualization, виртуализации сетевых функций), что описано в рекомендации [13](рис.55,56). Для систем с применением технологии виртуализации, либо в случае технологии балансировки нагрузки или резервирования (горячего или холодного) расчет необходимого числа аппаратных ресурсов должен иметь программную реализацию.
На рис.57 представлены функции DPI в составе стандартной архитектуре NFV решений. При это следует понимать, что каждый функциональный обьект может быть реализован отдельной виртуальной машиной (VM) и масштабирован путем увеличения выделяемых аппаратных ресурсов этой виртуальной машине или путем увеличения числа виртуальных машин выполняющих задачу исходного функционального обьекта. Все функции DPI могут выполняться в рамках одной виртуальной маашины, или распределены по нескольким виртуальным машинам по одной или группами.
На первый взгляд при использовании программного решения DPI поверх систем с виртуализацией становится невозможным применять аппаратную разгрузку и ускорение. Однако, технологии виртуализации подразумевают предоставления аппаратных ресурсов для виртуальных машин. Этот факт является ключевым для понимания возможности предоставления аппаратных составляющих систем DPI для ускорения работы программной части DPI установленной поверх систем с виртуализацией. Что наглядно изложено в ITU-T
Y.2775 [13] (рис.58 и 59).
4.7 Применение DPI совместно с технологией SDN
В данном конспекте совместное применение технологий будет описано поверхностно, исходя из того,
что читатель уже на достаточном уровне усвоил как технологию DPI, так и технологию SDN.
Сразу выделим три важных для симбиоза этих технологий момента. Во-первых, логика работы контроллера
SDN основана на манипуляции и маршрутизации потоков пакетов. Таким образом, обе технологии оперируют
48
Рис. 55: DPI согласно NFV по Y.2775
Рис. 56: DPI согласно NFV по Y.2775 2 49
Рис. 57: DPI согласно NFV по Y.2775 3
Рис. 58: Применение аппаратной части DPI согласно NFV по Y.2775 50
Рис. 59: Применение аппаратной части DPI согласно NFV по Y.2775 2 51
Рис. 60: DPI совместно с SDN по Y.2775
схожими логическими сущностями. Во-вторых, как было упомнято ранее, применяемый в SDN протокол openFlow и его дополнения позволяют передавать сведенья о потоке и проводить дополнительную его маркировку. В третьих, контроллер SDN осуществляет одновременное управление несколькими коммутаторами по продвижению пакетов/кадров в некоторой области сети.
Однако, SDN не позволяет провести анализ передаваемой информации в потоке на 5-7 уровнях модели
OSI, чтобы понимать какую ценность предоставляет тот или иной поток. Именно эту задачу помогает решить система DPI установленная выше контроллера SDN (рис.60)[13]. Но нужно понимать, что для проведения анализа потока потребуется передать полезную нагрузку нескольких пакетов на систему DPI.
С другой стороны т.к. контроллер SDN управляет продвижением пакетов не только в одной точке сети,
а в определенной области сети, то появляется стандартная возможность, определив трафик приложения в одной точки, ограничить его прохождение в другой точке (ближе к источнику трафика). Что исходя из стоимости систем DPI и в отсутствии стандартного взаимодействия с устройствами передачи данных ранее было недоступно.
52
5 Заключение
В период с 2012 по 2019 годы ITU-T выпустила ряд международных рекомендаций Y.277x[8, 9, 10,
11, 12, 13] стандартизирующих системы DPI. Все они имеют обобщенный характер ввиду различий в реализациях вендорами конечных решений. Кроме того, важную роль играет интеграция систем DPI с
PGW/PCRF на сотовых сетях 4G/5G. Ежегодно выходят научные статьи по классификации трафика и технологиям легковестной и глубокой инспекции пакетов. Ожидаемое обновление оборудования систем передачи данных для поддержки SDN и внедрение на сети контроллеров SDN, вызовет дополнения описания стандартов и технологий глубокой инспекции пакетов. Однако ITU-T с запазданием но описала основы такого симбиоза в Y.2775[13]. Данный конспект дает обзорное первое знакомство с системами
DPI, и не включает в себя математические подходы по расчету системы и применяемые технологии data mining.
Конспект базируется на ранее разработанных графических материалах курса лекций, и для вдумчивого чтения настоятельно рекомендуется ознакомится с методическим пособием ѕМетоды инспекции пакетов и анализа трафикаї[21], а так же с серией выпущенных за прошедшие годы русскоязычных статей рядом авторов. Следует брать в расчет что подавляющие большинство научных исследований в данном направлении публикуется в англоязычных источниках.
53
Список литературы
[1] Приказ Минкомсвязи РФ от 16.04.2014 г. ќ 83 "Об утверждении Правил применения оборудования систем коммутации. Часть III. Правила применения оборудования коммутации и маршрутизации пакетов информации сетей передачи данных, включая программное обеспечение, обеспечивающего выполнение установленных действий при проведении оперативно-розыскных мероприятий
, 2014.
[2] IEEE Standard for Local and Metropolitan Area NetworkBridges and Bridged Networks, 2018.
[3] S. Blake, D. Black, M. Carlson, E. Davies, Z. Wang, and W. Weiss. An Architecture for Dierentiated
Services. IETF, 1998.
[4] R. Braden, D. Clark, and S. Shenker. Integrated Services in the Internet Architecture: an Overview. IETF,
1994.
[5] Niccolo Cascarano, Luigi Ciminiera, and Fulvio Risso. Optimizing deep packet inspection for high-speed trac analysis. J. Network Syst. Manage., 19:731, 03 2011.
[6] ITU-T. Recommendation ITU-T Y.1540 Internet protocol data communication service IP packet transfer and availability performance parameters, 2007.
[7] ITU-T. Recommendation ITU-T Y.1541 Network performance objectives for IP-based services, 2011.
[8] ITU-T. Recommendation ITU-T Y.2770 Requirements for deep packet inspection in next generation networks, 2012.
[9] ITU-T. Recommendation ITU-T Y.2771 Framework for deep packet inspection, 2014.
[10] ITU-T. Recommendation ITU-T Y.2772 Mechanisms for the network elements with support of deep packet inspection, 2016.
[11] ITU-T. Recommendation ITU-T Y.2773 Performance models and metrics for deep packet inspection, 2017.
[12] ITU-T. Recommendation ITU-T Y.2774 Functional requirements of deep packet inspection for future networks, 2019.
[13] ITU-T. Recommendation ITU-T Y.2775 Functional architecture of deep packet inspection for future networks, 2019.
[14] K. Nichols, S. Blake, F. Baker, and D. Black. Denition of the Dierentiated Services Field (DS Field) in the IPv4 and IPv6 Headers. IETF, 1998.
[15] J. Postel. Internet Protocol. IETF, 1981.
[16] K. Ramakrishnan, S. Floyd, and D. Black. The Addition of Explicit Congestion Notication (ECN) to IP.
IETF, 2001.
[17] Д. Галушко. СОРМ за счет операторов, а "Яровая"? [Электронный ресурс]. Информационно- аналитический портал NAG.ru, 2018. Режим доступа: https://nag.ru/material/31443.
[18] Б.С. Гольдштейн and В.С. Елагин. Законный перехват сообщений: подходы etsi, calea и СОРМ.
Вестник связи, (3):6672, 2007.
[19] Б.С. Гольдштейн and В.С. Елагин. Новые решения СОРМ для сети skype. Вестник связи, (9):3640,
2010.
[20] Б.С. Гольдштейн, В.С. Елагин, and А.А. Зарубин. Влияние систем законного перехвата на временные характеристики трафика. T-COMM: ТЕЛЕКОММУНИКАЦИИ И ТРАНСПОРТ, (4):1016, 2018.
[21] Б.С. Гольдштейн, В.С. Елагин, А.А. Зарубин, and В.В. Фицов.
Методы глубокой инспекции пакетов и анализа трафика. Учебно-методическое пособие по выполнению практических занятий и лабораторных работ студентов. СПбГУТ, СПб, 2018.
[22] Б.С. Гольдштейн, В.С. Елагин, Ю.С. Крюков, and Ю.Н. Семенов. Новая парадигма законного перехвата сообщений в ngn/ims. Вестник связи, (4):3846, 2010.
54
[23] Б.С. Гольдштейн, Ю.С. Крюков, А.В. Пинчук, И.П. Хегай, and В.Э. Шляпоберский. Интерфейсы
СОРМ.
БХВ-Петербург, СПб, Справочник по телекоммуникационным протоколам. Серия справочников "Телекоммуникационные протоколы ЕСЭ РФ"edition, 2006.
[24] Б.С. Гольдштейн, Ю.С. Крюков, and В.И. Полянцев. Проблемы и решения СОРМ-2. Вестник связи,
(12):4146, 2006.
[25] В.С. Елагин. Комплексные решения СОРМ для операторов мобильной связи при эксплуатации сетей поколений 2g, 3g. Мобильные телекоммуникации, (2):3036, 2008.
[26] А.Н. Изотова. Правовое регулирование тайны связи в информационном обществе. Вестник РУДН,
4(2):9851004, 2020. Серия: Юридические науки RUDN.
[27] Ю.Х. Сенченко. НТЦ Протей: подходы к тарификации пакетного трафика в сетях мобильного широкополосного доступа. Мобильные телекоммуникации, (9-10):89, 2012.
[28] Ю.Х. Сенченко. Система dpi: генератор добавленной стоимости седьмого уровня. Мобильные телекоммуникации, (8):46, 2012.
[29] Ю.Х. Сенченко. Некоторые аспекты высокоскоростной обработки трафика. Технологии и средства связи, (1):5253, 2013.
55