Файл: Тема Информационные системы и бизнесориентированные информационные платформы.pdf

Рис 3. Пример горизонтальной интеграции платформ
Вопрос 3. Обзор инфраструктуры MS Azure. Критерии выбора и
интеграции платформы
Глобальная инфраструктура MS Azure из состоит аппаратной структуры серверов обработки данных и сетевой структуры, объединяющей центры обработки данных, распределенных по регионам.
Благодаря подключению к глобальной сети Azure, каждый центр обработки данных Azure обеспечивает высокий уровень доступности, малую задержку, масштабируемость и новейшие усовершенствования в облачной инфраструктуре. Все это доступно на платформе Azure.
В совокупности, эти компоненты позволяют хранить все данные в пределах надежной сети Майкрософт. IP-трафик никогда не попадает в общедоступный Интернет.
Microsoft Azure — открытая и гибкая облачная платформа. Она позволяет быстро развернуть ИТ-инфраструктуру любой сложности и поддерживает

большое число приложений, операционных систем, баз данных, платформ для разработки и прочих решений.
Это глобальная платформа Microsoft, которая включает в себя более 200 различных сервисов. К ним относятся виртуальные машины и контейнеры, различные облачные СУБД (SQL, NoSQL), сервисы хранения данных, резервного копирования и георепликации, сетевые сервисы и сервисы анализа данных. Более
100 ЦОДов Microsoft располагаются в Европе, Азии, Северной и Южной Америке в 54 регионах. На территории России дата-центра нет, поэтому нашим заказчикам доступны европейские ЦОД. Если бизнес масштабируется на другие страны, то можно выбрать любую страну.
Каковы основные трудности, с которыми помогает справиться глобальное облако Microsoft?
В первую очередь это высокие затраты на ИТ: стоимость владения текущей инфраструктурой и сложности соотношения затрат на конкретные ИТ-проекты.
Второе – это низкая работоспособность: сбои в текущей инфраструктуре или отказ оборудования. И также к сложностям относится потребность в масштабировании. Если бизнес развивается, то открываются новые филиалы, офисы, магазины, возникает необходимость безопасного мобильного доступа к корпоративным ресурсам. Эти проблемы помогают решить виртуальные машины
Microsoft Azure.
Microsoft Azure отвечает таким запросам клиентов, как развертывание инфраструктуры, резервное копирование, разработка и тестирование приложений.
Инфраструктурные сервисы Microsoft Azure включают в себя виртуальные машины, обеспечивающие гибкость виртуализации для широкого ряда вычислительных решений.
Azure позволяет не только экономично хранить данные, но и оплачивать только те ресурсы, которые были употреблены. Это дает возможность проектам, которые находятся на начальном этапе, вкладывать финансовые средства не в покупку большого хранилища, а в развитие своего дела. А ведь еще буквально несколько лет назад без такой возможности многие проекты не смогли бы даже начать свое существование. Для того чтобы самостоятельно запустить какое-то приложение, необходимо было нанять инженеров по виртуализации, сетям, веб- сервисам, построить эпического размера инфраструктуру и поддерживать ее, а сейчас все это доступно в рамках коробочного решения. У заказчика есть SLA, и он не думает о том, что происходит с виртуальными машинами, ЦОД и другие, он просто реализует свои идеи, пользуясь стандартизированными сервисами.
К тому же, у Microsoft есть специальные программы для стартапов, к примеру, международная программа поддержки – BizSpark. По ней начинающие компании, которым меньше 5 лет, могут получить ресурсы облака Microsoft Azure бесплатно. Для них это блестящая возможность экономить на первоначальных вложениях и при этом иметь полный доступ к полноценным версиям продуктов
Microsoft, облачным ресурсам, получать консультационную помощь для реализации идей и мн. др. Кроме того, Azure – это гибкая платформа, в которой нет никаких запретов на решения с открытым исходным кодом. Разработчики могут использовать знакомые инструменты, привычные программные средства и технологии с открытым исходным кодом, пользуясь всеми возможностями.
В России очень актуален вопрос политических рисков. Крупный бизнес, так как он почти весь государственный или «около государственный», осторожно использует иностранные облака. Даже если компании технически могут себе их

позволить, то не хранят там ничего ценного, в связи с ограничивающими законопроектами, регламентами, санкциями и т.д. У малого и среднего бизнеса таких жестких ограничений нет, но очень часто у людей присутствуют необоснованные страхи за сохранность своих данных. Нет ни малейшего повода сомневаться в надежности глобального облака, ведь оно обладает абсолютно всем необходимым для защиты пользовательских данных и критически важных приложений, а бюджеты, которые Microsoft выделяет на безопасность, невообразимы для организаций малого и среднего бизнеса.
Платформа приложений Azure позволяет реализовывать любые инновационные решения. С ее помощью можно быстро и легко создавать проекты любой сложности. На этапах внедрения технологий, развития бизнеса, финансирования предприятия или поиска клиентов Microsoft готов оказать любую помощь.
Вопрос 4. Обзор инфраструктуры Apache Spark. Критерии выбора и
интеграции платформы
Инфраструктура Apache Spark

инструмент для
«молниеносных кластерных вычислений». Проект находится в свободном доступе, в настоящий момент является наиболее активным из проектов Apache. Spark предоставляет быструю и универсальную платформу для обработки данных.
Ценным в проекте Apache Spark является интерактивная оболочка (REPL), при помощи которой можно протестировать результат выполнения каждой строки кода, без необходимости сначала программировать и выполнять все задание целиком.
Apache Spark – это Big Data фреймворк, с открытым исходным кодом для распределённой пакетной и потоковой обработки неструктурированных и слабоструктурированных данных.
Spark – это проект Apache, который позиционируется как инструмент для
«молниеносных кластерных вычислений».
Проект разрабатывается процветающим свободным сообществом, в настоящий момент является наиболее активным из проектов Apache.
Spark предоставляет быструю и универсальную платформу для обработки данных. По сравнению с Hadoop Spark ускоряет работу программ в памяти более чем в 100 раз, а на диске – более чем в 10 раз.
Кроме того, код на Spark пишется быстрее, поскольку здесь в вашем распоряжении будет более 80 высокоуровневых операторов.
Кроме того, Spark имеет следующие ключевые черты:
● в настоящее время предоставляет API для Scala, Java и Python, также готовится поддержка других языков (например, R);
● хорошо интегрируется с экосистемой Hadoop и источниками данных
(HDFS, Amazon S3, Hive, HBase, Cassandra);
● может работать на кластерах под управлением Hadoop YARN или Apache
Mesos, а также работать в автономном режиме.
Проект предоставляет программные интерфейсы для языков Java, Scala,
Python, R. Изначально написан на Scala, впоследствии добавлена существенная часть кода на Java для предоставления возможности написания программ непосредственно на Java. Состоит из ядра и нескольких расширений, таких как
Spark SQL (позволяет выполнять SQL-запросы над данными), Spark Streaming
(надстройка для обработки потоковых данных), Spark MLlib (набор библиотек машинного обучения), GraphX (предназначено для распределённой обработки

графов). Может работать как в среде кластера Hadoop под управлением YARN, так и без компонентов ядра Hadoop, поддерживает несколько распределённых систем хранения — HDFS, OpenStack Swift, NoSQL-СУБД Cassandra, Amazon S3.
Благодаря наличию разнопрофильных инструментов для аналитической обработки данных «на лету» (SQL, Streaming, MLLib, GraphX), Спарк активно используется в системах интернета вещей (Internet of Things, IoT) на стороне IoT- платформ, а также в различных бизнес-приложениях, в т.ч. на базе методов
Machine Learning.
Например, Spark применяется для прогнозирования оттока клиентов (Churn
Predict) и оценки финансовых рисков.
Во-первых, Spark помогает быстро строить отчеты, извлекать факты, агрегаты из большого количества как статично лежащих данных, так и стремительно втекающих в ваш Data Lake.
Во-вторых, он решает проблему интеграции машинного обучения и распределенных данных, которые размазаны по кластеру и обсчитываются параллельно.
Это делается достаточно легко, причем за счет R- и Python-коннекторов возможностями Spark могут пользоваться дата-сайентисты, которые максимально далеки от проблем построения высокопроизводительных бэкэндов.
В-третьих, он справляется с проблемой интеграции всего со всем. Все пишут Spark-коннекторы. Spark можно использовать как быстрый фильтр для уменьшения размерности входных данных
Сейчас Spark применяется во многих крупнейших компаниях, таких, как
Amazon, eBay и Yahoo! Многие организации эксплуатируют Spark в кластерах, включающих тысячи узлов. Согласно FAQ по Spark, в крупнейшем из таких кластеров насчитывается более 8000 узлов.
Вопрос 5. Обзор инфраструктуры Google cloud. Критерии выбора и
интеграции платформы
В инфраструктуру Google cloud входят:
- приложения для совместной работы команды;
- сервисы для создания цифровых продуктов;
- сервисы аренды виртуальных мощностей;
- сервисы построения гибридной инфраструктуры.
Глобальная платформа Google Cloud Platform (GCP) предоставляет облачные сервисы в формате IaaS, SaaS и PaaS.
В GCP легко создавать, контролировать и использовать облака под разные задачи, например:
● создание собственных облачных инфраструктур;
● вычисления и хостинг;
● миграция в облако.
На базе GCP работают международная платежная система PayPal, интернет-магазин eBay, интернет-сервис Spotify и Twitter.
Разбор вычислительного стека Google Cloud Platform
Google Cloud Platform (GCP) предлагает множество сервисов, и, в частности, вычислительный стек, который содержит Google Compute Engine
(GCE), Google Kubernetes Engine (ранее — Container Engine) (GKE), Google App
Engine (GAE) и Google Cloud Functions (GCF). Все эти сервисы имеют крутые названия, но могут быть не совсем очевидными в отношении их функций и того, что делает их уникальными по отношению друг к другу. Эта статья предназначена

для тех, кто только знакомится с облачными концепциями, в частности с облачными сервисами и GCP.
1. Вычислительный стек.
Вычислительный стек можно рассматривать как многоуровневую абстракцию над тем, что может предоставить компьютерная система. Этот стек восходит (moves up) от «голого железа» (bare metal), относящегося к фактическим аппаратным компонентам компьютера, вплоть до функций (functions), которые представляют собой наименьшую единицу вычисления.
Что важно отметить в отношении стека, так это то, что сервисы агрегируются при перемещении вверх по стеку, например, раздел «приложения»
(apps), показанный на рисунке 1 ниже, должен содержать все базовые компоненты контейнеров (containers), виртуальных машин (virtual machines) и железа. Таким же образом компонент виртуальных машин должен содержать железо внутри для работы.
2. Облачные сервисы.
Мир облачных вычислений очень разнообразен. Облачные провайдеры предлагают множество услуг, адаптированных к различным требованиям клиентов. Возможно, вы слышали о таких терминах, как IaaS, PaaS, SaaS, FaaS,
KaaS и другие, со всеми буквами алфавита, за которыми следует «aaS». Несмотря на странное соглашение об именовании, они образуют набор сервисов облачных провайдеров.
Есть 3 основных предложения «как услуга» (as a Service), которые облачные провайдеры почти всегда предоставляют. Это IaaS, PaaS и SaaS, которые обозначают соответственно инфраструктуру как услугу (Infrastructure as a Service), платформу как услугу (Platform as a Service) и программное обеспечение как услугу (Software as a Service).
Важно визуализировать облачные сервисы как уровни предоставляемых услуг. Это означает что, когда вы поднимаетесь или спускаетесь с уровня на уровень, вы, как клиент, пересекаете различные варианты обслуживания, которые либо добавляются, либо убираются из основного предложения.
1. Инфраструктура как услуга (IaaS).
Это самый низкий уровень, который может предложить поставщик облачных услуг, и он включает провайдера облачных вычислений, поставляющего «голую» инфраструктуру, включая промежуточное программное обеспечение, сетевые кабели, процессоры, графические процессоры, оперативную память, внешнее хранилище, серверы и образы базовых операционных систем, например, Debian Linux, CentOS, Windows и т. д.
Если закажите у поставщика облачных услуг IaaS предложение, то это то, что вы должны ожидать получить. За вами, как за клиентом, остается сборка этих частей для ведения вашего бизнеса. Степень того, с чем вам придется работать, может варьироваться от поставщика к поставщику, но, как правило, вы просто получаете аппаратное обеспечение и ОС, а остальное за вами. Примерами IaaS являются AWS Elastic Compute, Microsoft Azure и GCE.
Некоторым людям может не понравиться тот факт, что им приходится устанавливать образы ОС и заниматься сетью, балансировкой нагрузки или заботиться о том, какой тип процессора идеально подходит для их рабочей нагрузки. Именно здесь мы двигаемся вверх по пирамиде к PaaS.
Платформа как услуга (PaaS).
PaaS включает в себя только поставщика облачных услуг, предлагающего определенную платформу, на которой пользователи могут создавать приложения.
Это абстракция над IaaS, означающая, что поставщик облака берет на себя все детали типов ЦП, памяти, ОЗУ, хранилища, сетей и т. д. Как показано на рисунке
2, вы, как клиент, имеете небольшой контроль над реальной платформой,

поскольку облачный провайдер занимается всеми деталями инфраструктуры за вас. Вы запрашиваете выбранную платформу и собираете на ней проект.
Примерам PaaS являютс Heroku.
Для кого-то это может быть слишком высокий уровень, так как он не обязательно хочет собирать проект на указанной платформе, а скорее нуждается в наборе сервисов непосредственно от поставщика облачных услуг. Здесь на сцену выходит SaaS.
Программное обеспечение как услуга (SaaS).
SaaS представляет собой наиболее распространенные сервисы, предоставляемые поставщиками облачных услуг. Они предназначены для конечных пользователей и доступны главным образом через веб-сайты, например
Gmail, Google Docs, Dropbox и т. д. Что касается Google Cloud, есть несколько предложений вне их вычислительного стека, которые являются SaaS. К ним относятся Data Studio, Big Query и т. д.
Вычислительный пакет Google Cloud Platform.
Рассмотрев типичные предложения облачных провайдеров в разделе 2, мы можем сопоставить их с предложениями Google Cloud.
Google Compute Engine (GCE) — IaaS.
GCE — это IaaS предложение от Google. С GCE вы можете свободно создавать виртуальные машины, распределять ресурсы процессора и памяти, выбирать тип хранилища, например SSD или HDD, а также объем памяти. Это почти так же, как если бы вы создали свой собственный компьютер/рабочую станцию и занимались всеми деталями его работы.
В GCE вы можете выбрать от микроинстанций с 0,3-ядерным процессорами и 1 ГБ ОЗУ до 96-ядерных монстров с более чем 300 ГБ ОЗУ. Вы также можете создавать виртуальные машины нестандартного размера для своих рабочих нагрузок. Для тех, кто заинтересовался — это виртуальные машины, которые вы можете собрать.
Google Kubernetes Engine (GKE) — (Caas / Kaas).
GKE — это уникальное вычислительное предложение от GCP, которое представляет собой абстракцию над Compute Engine. В более общем смысле GKE можно отнести к категории «Контейнер как услуга» (CaaS), иногда называемой
«Kubernetes как услуга» (KaaS), который позволяет клиентам легко запускать свои
Docker-контейнеры в полностью управляемой среде Kubernetes. Для тех, кто не знаком с контейнерами, контейнеры помогают модульно формировать сервисы/приложения, поэтому разные контейнеры могут содержать разные сервисы, например, один контейнер может размещать интерфейс вашего веб- приложения, а другой может содержать его серверную часть. Kubernetes выполняет автоматизацию, координацию, управление и развертывание ваших контейнеров.
Google App Engine (GAE) — (PaaS).
PaaS находится выше IaaS, и в случае GCP его также можно рассматривать как предложение над GKE. GAE — это специализированный Google PaaS, и как они сами лучше всего описывают себя — «несите ваш код, а мы позаботимся обо всем остальном».
Это гарантирует, что клиенты, использующие GAE, не должны иметь дело с базовым аппаратным/промежуточным программным обеспечением, и уже могут иметь предварительно настроенную платформу, готовую к работе. Все, что им нужно сделать, это предоставить код, необходимый для его запуска.
GAE автоматически обрабатывает масштабирование, чтобы удовлетворить нагрузку и спрос со стороны пользователей, что означает, что, если ваш сайт, продающий цветы, внезапно достигнет пика, потому что приближается день святого Валентина, GAE будет обрабатывать масштабирование базовой