Edge computing что это
Одним из ключевых трендов, оказывающих существенное влияние на развитие ИТ-рынка, стала цифровая трансформация бизнеса. Она сопровождается повсеместным проникновением информационных технологий в процессы компаний и влечет за собой рост требований к поддерживающей их ИТ-инфраструктуре. В этой статье мы расскажем о некоторых полезных технологиях и способах их реализации.
Edge computing для экономии трафика
Датская компания Maersk — один из лидеров морских грузовых перевозок в мире — решила сократить потребление топлива у своих судов и снизить выбросы загрязняющих веществ в атмосферу.
Для решения этой проблемы использовалась технология Siemens EcoMain Suite, датчики на двигателях и основных узлах корабля, а также локальный сервер BullSequana Edge для вычислений «на месте».
Благодаря датчикам система EcoMain Suite постоянно мониторит состояние критических узлов корабля и их отклонение от заранее вычисленной нормы. Это позволяет быстро диагностировать неисправность и локализовать ее вплоть до проблемного узла. Так как телеметрия постоянно передается «в центр», сервисный техник может выполнить анализ удаленно и дать рекомендации бортовой команде. И главный вопрос тут — сколько данных и в каком объеме передавать на центральный ЦОД.
Так как подключить дешевый проводной интернет к морскому контейнеровозу весьма проблематично, передача большого объема сырых данных на центральный сервер получается слишком дорогой. На центральном сервере BullSequana S200 просчитывается общая логическая модель корабля, а обработка данных и непосредственное управление передается локальному серверу. Как результат, внедрение этой системы окупилось за три месяца.
Ускорение данных
Битман делает некоторые справедливые замечания, но он употребляет аргумент, который часто используется в отношении задержек и ЦОДов: они должны быть расположены близко друг к другу. Истина заключается в том, что глобальные сети всегда будут фундаментом edge computing и облачных вычислений. Во-вторых, Битману явно не попадались инструменты ускорения данных, такие, как PORTrockIT и WANrockIT. В то время как физика, безусловно, является ограничивающим и сложным фактором, который всегда будет иметь место в сетях всех видов – включая WANs, сегодня можно разместить свои центры обработки данных на расстоянии друг от друга. Задержка может быть уменьшена, и его воздействие может быть нивелировано, независимо от того, где происходит обработка данных, и независимо от того, где хранятся данные.
Поэтому, edge computing это не новое прорывное решение. Это лишь одно из решений, как и облако. Вместе эти две технологии могут поддержать друг друга. Различие между edge computing и облачными вычислениями, в том, что «edge являются методом ускорения и повышения производительности облачных вычислений для мобильных пользователей». Таким образом, аргумент, что edge computing заменит облачные вычисления является очень неубедительным. По маркетинговым соображениям, облачные вычисления могут быть переименованы, но суть останется та же.
При разработке сетевой инфраструктуры обычно рассматривают либо локальные вычисления, либо облачные. Но этих двух вариантов и их комбинаций мало. Например, что делать, если от облачных вычислений отказаться нельзя, а пропускной способности не хватает или трафик стоит слишком дорого?
Добавить промежуточное звено, которое выполнит часть вычислений на границе локальной сети или производственного процесса. Эта периферийная концепция называется Edge Computing — «граничные вычисления». Концепция дополняет текущую облачную модель использования данных, и в этой статье мы рассмотрим необходимое оборудование и примеры задач для него.
Edge devices
В первую очередь, у нас есть какое-либо встроенное или дискретное edge-устройство, к которому подключены сенсоры, датчики или управляющие механизмы, например, для координации движения роборуки. Из сервисов/данных на таком устройстве могут находиться:
- Модель обработки данных, например, предобученная ML-модель
- Сервис аналитики, который является средой исполнения модели
- Пользовательский интерфейс для отображения результатов или инициирования аналитики
- Легковесная база данных для хранения промежуточных результатов и кеширования на случай сбоя связи с центральным сервером
- Любые другие сервисы в зависимости от решаемых на данном устройстве задач
Edge computing и IoT
Довольно часто звучит вопрос — "Чем же отличается edge computing от IoT". IoT можно назвать дедушкой edge computing. IoT — это множество устройств, связанных между собой, и способных передавать информацию друг другу. А edge computing это скорее подход к организации вычислений и управлению edge устройствами. Как вы отлично понимаете, любое приложение необходимо обновлять, мониторить и осуществлять прочие обслуживающие функции. В результате edge computing подразумевает использование определенных подходов и фреймворков, о которых я расскажу чуть позже.
Уровни edge computing
Допустим, у вас дома установлена целая куча датчиков: термометр, гигрометр, датчик освещения, протечек и прочее. Логический контроллер обрабатывает поступающую от них информацию, реализует сценарии автоматизации, выдает облачному сервису обработанную телеметрию и получает от него обновленные сценарии автоматизации и свежие прошивки. Таким образом, непосредственно на объекте выполняются локальные вычисления, но оборудование контролируется из узла, объединяющего множество таких устройств.
Это пример очень простой системы граничных вычислений, но на нем уже видны все три уровня edge computing:
- IoT-устройства: генерируют «сырые данные» и передают их по различным протоколам.
- Периферийные узлы: обрабатывают данные в непосредственной близости от источников информации и действуют в качестве временных хранилищ данных.
- Облачные сервисы: предлагают функции управления как для периферийных, так и для IoT-устройств, выполняют долгосрочное хранение и анализ данных. Кроме того, они поддерживают интеграцию с другими корпоративными системами.
Референсная архитектура edge computing
edge computing vs fog computing
Когда я однажды рассказал коллеге про edge computing, он ответил — ”так это же fog computing”. Давайте попробуем разобраться, в чём же разница. С одной стороны, edge computing и fog computing часто используются как синонимы, однако fog computing, или "туманные вычисления", все-таки немного отличаются.
И edge computing, и fog computing — это вычисления, которые находятся в непосредственной близости к получаемым данным. Различие заключается в том, что при туманных вычислениях обработка осуществляется на устройствах, которые постоянно подключены к сети. В edge computing вычисления осуществляются как на сенсорах, умных устройствах – без передачи на уровень gateway, так и на уровне gateway и на микрокластерах.
Для меня было открытием, что edge computing может работать в кластерах Kubernetes или OpenShift. Оказывается, что существует достаточно много задач, где кроме оконечных устройств необходимо выполнять обработку информации в локальном кластере и передавать в централизованные дата центры только результирующие данные. И такие вычисления — тоже edge computing.
Особенности граничных серверов
На уровне периферийных узлов в Edge Computing используют граничные серверы, которые ставят непосредственно там, где производится информация. Обычно это производственные или технические помещения, в которых нельзя установить серверную стойку и обеспечить чистоту. Таким образом, граничные серверы выполняются в компактных пыле- и влагозащищенных корпусах с расширенным температурным диапазоном, их нельзя поставить в стойку. Да, такой сервер спокойно может висеть на двухстороннем скотче анкерах где-нибудь под лестницей или в подсобке.
Так как граничные серверы ставятся вне защищенных ЦОД, у них выше требования к физической безопасности. Для них предусматривают защитные контейнеры:
На уровне работы с данными в граничных серверах предусмотрено шифрование дисков и защищенная загрузка. Само шифрование отнимает 2-3% вычислительной мощности, но в граничных серверах обычно используют процессоры Xeon D со встроенным модулем ускорения AES, который минимизирует потери мощности.
Открытые возможности
Что касается распределения вычислений по периферийным точкам, то эта миссия будет возложена на некоторые контейнерные технологии, которые сегодня применяются для перемещения рабочих нагрузок между корпоративными системами и облаком. По словам Дробота, даже если системы для подсчета трафика и выставления счетов клиентам будут проприетарными, эра облачных вычислений преподнесла урок, который заключается в том, что наиболее успешные операции с вычислительными услугами связаны с ПО на базе Open Source и открытыми спецификациями.
Адиб говорит, что в прошлом многие из клиентов его компании, которые представляют промышленную, нефтегазовую и телекоммуникационную отрасли, уже обожглись на проприетарных устаревших технологиях. «Они стараются не повторять ошибок прошлого, — отмечает она. — Кроме того, они еще толком не знают, с кем будут работать, но им точно не понравится, если их попытаются замкнуть на каком-либо приложении или системе, из которых они при желании не смогут выбраться».
Производительность в реальном времени является одной из основных причин использования архитектуры периферийных вычислений, но не единственной. Помимо этого Edge computing позволяет предотвратить перегрузку сетевых магистралей за счет обработки значительной части данных локально, отправляя в облако только обязательный минимум. Еще одно преимущество — хранение данных вблизи источника позволяет лучше обеспечить их безопасность, конфиденциальность и суверенитет, чего сложнее добиться при их отправке в централизованную локацию.
Тем не менее, на пути продвижения периферийных вычислений стоит множество задач. В недавнем отчете Gartner «How to Overcome Four Major Challenges in Edge Computing» говорится, что «в 2022 г. 50% Edge-решений, которые сегодня существуют на уровне проверки концепции, не смогут масштабироваться для производственного использования». В отсутствие лучших рыночных практик в области управления периферийными системами, компаниям нужно быть готовыми к решению базовых задач, возникающих при внедрении новых технологий.
BullSequana Edge
Серверы BullSequana Edge являются частью большой инфраструктуры для работы с «большими данными», они уже протестированы с платформами Microsoft Azure и Siemens MindSphere, VMware WSX и имеют сертификаты NVidia NGC/EGX. Эти серверы разработаны специально для граничных вычислений и выпускаются в корпусах форм-фактора U2 в вариантах для установки в стандартную стойку, на DIN-рейку, на стену и в напольном исполнении.
BullSequana Edge построены на материнской плате собственной разработки и процессоре Intel Xeon D-2187NT. Они поддерживают установку до 512 Гб оперативной памяти, 2 SSD по 960 Гб либо 2 HDD по 8 или 14ТБ. Также в них можно установить 2 GPU Nvidia T4 16 ГБ для работы с видео; Wi-fi, LoRaWAN и 4G модули; до 2-х 10-гигабитных модулей SFP. В самих серверах уже установлен датчик открытия крышки, который подключен к BMC, управляющему модулем IPMI. Его можно настроить на автоматическое отключение питания при срабатывании датчика.
Полностью технические характеристики серверов BullSequana Edge можно найти по ссылке. Если вам интересны подробности, мы будем рады ответить на наши вопросы в комментариях.
Являются ли периферийные вычисления (Edge computing) своего рода ребрендингом облачных вычислений (Cloud computing) или это действительно что-то новое? Портал Enterprisers Project рассказывает о том, как работает Edge computing, для каких целей его применяют и как он сосуществует с облаком.
Перевод корпоративных операций в облако больше не является новой концепцией, чего не скажешь о периферийных вычислениях. О них часто упоминают в контексте 5G и Интернета вещей (IoT), так что это — разновидность облачных вычислений или отдельная технология?
Как правило, на передовом рубеже технологий всегда открывается простор для дискуссий по поводу того, что из себя представляет та или иная новинка, а также спектра ее применения. Edge computing — не исключение. Что подразумевается под периферийными вычислениями? «Периферийные вычисления могут применяться ко всему, что подводит обслуживание, данные и информацию ближе к пользователям и устройствам», — говорит технологический евангелист Red Hat Гордон Хафф. Другими словами, термин «периферийные вычисления» охватывает слишком большое пространство.
Предназначение Edge computing — перемещение вычислительных ресурсов из гипермасштабируемого облачного ЦОДа, который может находиться на значительном удалении (в «ядре» сети) ближе к пользователю или устройству, к «краю» сети. Этот подход акцентирует внимание на снижении задержек в сети и аккумуляции вычислительных мощностей для обработки данных вблизи их источника. Работая с помощью периферийной сети, мобильные приложения могли бы в большей степени задействовать алгоритмы искусственного интеллекта и машинного обучения, тогда как сейчас они полностью зависят от вычислительных возможностей мобильных процессоров. Помимо этого требующие интенсивных вычислений задачи гораздо быстрее разряжают аккумуляторы телефона.
Edge computing также связывают с такими областями, как автономные автомобили, дополненная реальность, промышленная автоматизация, прогнозное обслуживание и видеонаблюдение.
Взаимодополняющие модели
Эти два подхода могут дополнять друг друга. Часть аргументов за edge computing просто отпадает, когда речь заходит об увеличении объемов данных, которые приводят к еще более удручающей и медленной сети. Задержка – виновник. Данных становится все больше: увеличивается количество данных на одну транзакцию, «тяжелые» видео и много данных разных датчиков. Виртуальная и дополненная реальность будет играть все большую роль в его росте. При таком росте объема данных, решить проблемы задержки представляется более сложной задачей, чем это было раньше. Сейчас имеет смысл размещать данные ближе к устройствам типа беспилотного автомобиля для того, чтобы устранить задержку, но тем не менее большая часть данных всё-еще находится удаленно в облаке. Облако по-прежнему будет использоваться в качестве поставщика сервисов, таких как СМИ и развлечения. Оно также может быть использовано для резервного копирования данных и для обмена данными, исходящих от транспортного средства.
Немного отойдем от автономных транспортных средств и вернемся к более привычному бизнесу. Создание ряда небольших ЦОДов или площадок аварийного восстановления может уменьшить эффект масштаба, как следствие, увеличить затраты и сделать работу менее эффективной. Да, задержка может быть уменьшена, но в случае катастрофы последствия будут не менее плачевными; поэтому для обеспечения непрерывности бизнеса некоторые данные следует хранить и обрабатывать в другом месте – в облаке. В случае беспилотных машин, в частности, потому что они должны работать независимо от того, есть сетевое соединение или его нет, имеет смысл, чтобы определенные типы вычислений и анализа были совершены самим транспортным средством. Однако эти данные по-прежнему будут бэкапиться в облако, когда соединение доступно. Подход будет гибридным: edge и cloud computing будут взаимодополнять друг друга, а не использоваться по одиночке.
Пророчество Левина
Так почему же люди думают, что edge computing победит облако? Это утверждение было заявлено во многих статьях. Например, Клинт Бултон в марте этого года пишет об этом в статье «edge computing заменит облако». Он ссылается на венчурного капиталиста Эндрю Левина, генерального партнера Andreessen Horowitz, который считает, что больше вычислительных ресурсов будут двигаться в направлении оконечных устройств — таких, как беспилотный автомобиль и дроны, — которые составляют, по меньшей мере, часть Интернета вещей. Левин прогнозирует, что это будет означать то, что облаку пришел конец, т.к. процесс обработки данных будет двигаться назад по направлению к edge computing.
Другими словами, сейчас идет тенденция централизации вычислений в ЦОДах, в то время, как в прошлом они часто были децентрализованы или находились ближе к месту использования. Левин видит беспилотный автомобиль, как центр обработки данных: они имеют более чем 200 процессоров, способных обеспечить полную отказоустойчивость, чтобы не привести к несчастному случаю на дороге. Характер автономных транспортных средств означает, что их вычислительные мощности должны быть независимыми и для того, чтобы обеспечить безопасность нужно свести к минимуму любую связь, которую они имеют с облаком. Тем не менее, они не смогут полностью обойтись без него.
Edge computing – ответ на технологические ограничения
Ответом стало появление периферийных вычислений (edge computing). Это – принцип построения иерархической ИТ-инфраструктуры, при котором вычислительные ресурсы частично перемещаются из ядра – центрального дата-центра – на периферию и располагаются в непосредственной близости от места создания «сырых» данных для их первичной обработки перед передачей вышестоящему вычислительному узлу.
Еdge computing – принцип построения иерархической ИТ-инфраструктуры, при котором вычислительные ресурсы частично перемещаются из ядра на периферию для первичной обработки «сырых» данных на месте
Необходимо учитывать, что зависимость бизнеса от бесперебойной работы распределенных ИТ-систем в этом случае многократно возрастает, что потребует переосмысления подходов к построению ИТ-инфраструктуры. Периферийные узлы должны быть обеспечены бесперебойным электропитанием, охлаждением, средствами мониторинга.
Если периферийные узлы расположены локально, например, в рамках одного города, то может быть построена двухуровневая система: центральный ЦОД и распределенные вычислительные узлы.
В таком случае оптимальным решением могут быть микро-ЦОДы, в которых вся критичная инженерная инфраструктура — электропитание, охлаждение и управление — интегрируется внутри специализированного телекоммуникационного шкафа. В частности, микро-ЦОДы Schneider Electric допускают монтаж в неподготовленном помещении, например, в офисе либо на производственной линии. Причем они были разработаны с учетом принципиальных отличий требований в зависимости от места установки. Таким образом, решение может быть выполнено как в офисном стиле — с деревянными дверцами и звукоизоляцией, чтобы шум серверов не мешал сотрудникам, — так и в промышленном исполнении, с защитой от пагубного воздействия внешней среды.
Если же объекты размешаются на территории целого региона либо всей страны, то может потребоваться создание еще одного уровня, регионального, для которого может не найтись готовых серверных помещений.
В этом случае Schneider Electric может предложить заказчику быстровозводимые модульные либо контейнерные ЦОДы, включающие всю необходимую инженерную инфраструктуру. Очевидные преимущества таких решений — их быстрая установка и запуск, а также возможность учесть все требования проекта. Связано это с отсутствием необходимости вписывать инфраструктурное оборудование в существующее помещение, зачастую не приспособленное для нужд ЦОДа. При этом доработка может потребовать даже больших затрат, чем возведение нового ЦОДа с нуля.
Поскольку особенностью периферийных вычислений является их высокая распределенность, то это может создавать определенные сложности при их обслуживании. Наличие правильно организованной системы мониторинга, такой как StruxureWare Data Center Expert, может существенно упростить задачу. Удаленный доступ к состоянию периферийного оборудования, информации с датчиков, данных о состоянии электропитания и иным параметрам позволит оперативно определить причину возникновения нештатной ситуации и спланировать действия для ее устранения.
В заключение можно сказать, что, несмотря на видимую сложность развертывания периферийных вычислений, при продуманном планировании, такие проекты могут быть успешно реализованы с минимальными рисками, финансовыми и временными затратами. В этом помогут использование специализированных решений для периферийных вычислений, унификация устанавливаемого оборудования и наличие опыта реализации проектов такого типа, как у подрядчика, так и у производителя.
Меня зовут Игорь Хапов. Я руководитель разработки в Научно-техническом центре IBM. И сегодня я хотел бы вам помочь окунуться в мир периферийных вычислений, или edge computing, как его ещё называют. Я расскажу о том, что же такое edge computing и как он может повлиять на наш с вами мир. Также хотелось бы пояснить различия между edge computing и fog computing, какие преимущества даёт этот подход. В статье я также описал референсную архитектуру приложения на edge computing. И под конец немного расскажу о проекте с открытым исходным кодом Open Horizon, который совсем недавно присоединился к Linux Foundation.
Проблемы централизации ИТ
Цифровая трансформация – это не просто автоматизация каких-либо отдельных функций. Это полноценная трансформация бизнес-процессов: их всестороннее переосмысление через призму максимального использования цифровых технологий. Этот процесс тесно связан с применением таких технологий, как промышленный интернет вещей, анализ больших данных и предиктивная аналитика, повсеместное использование мобильных и носимых устройств и т.д.
Однако применение данных технологий приводит к лавинообразному росту создаваемых «на периферии», передаваемых и обрабатываемых данных. В результате принцип централизации вычислительных мощностей перестает соответствовать растущим требованиям.
Ограничивающим фактором является пропускная способность каналов, соединяющих центральный ЦОД с удаленными площадками – существующие каналы могут быть неспособны передавать возросшие объемы «сырых» данных. Также неизбежны задержки в канале, возникающие при передаче данных. Для некоторых систем они могут быть неприемлемы для корректной работы. В частности, это касается систем, работающих в реальном времени.
Кроме этого, многие системы, которые еще недавно существовали независимо от ИТ, прошли процесс цифровизации, поэтому усиливаются требования к отказоустойчивости и возможности их автономной работы в условиях отсутствия связи с центральным ЦОДом. Например, это касается систем безопасности (видеонаблюдения, контроля и управления доступом), а также телефонии, систем мониторинга и управления производственными процессами.
Edge framework
Когда мы осознаем, что есть необходимость в управлении большим количеством сервисов на тысячах устройств и сотнями приложений в разных кластерах, наступает понимание, что надо бы использовать какой-то фреймворк для управления всем этим зоопарком и синхронизации между устройствами.
Именно наличие данного фреймворка раскрывает преимущества edge computing перед разнородными разнесёнными вычислениями.
Как мы видим, кроме центральной части по управлению сервисами и моделями в данном фреймворке присутствуют агенты, обеспечивающие контроль за управлением жизненным циклом сервисов на устройствах/кластерах на каждом из уровней использования.
Edge computing для экономии ресурсов
Еще один пример граничных вычислений — это видеоаналитика. Так, у производителя оборудования для технических газов Air Liquide одной из локальных задач производственного цикла является контроль качества окраски газовых баллонов. Он осуществлялся вручную и составлял около 7 минут на один баллон.
Чтобы ускорить этот процесс, человека заменили блоком из 7 видеокамер высокого разрешения. Камеры снимают баллон с нескольких сторон, генерируя около 1 ГБ видео в минуту. Видео отправляется на граничный сервер BullSequana Edge c Nvidia T4 на борту, на котором нейронная сеть, натренированная на поиск дефектов, анализирует стрим в онлайн-режиме. В результате среднее время на осмотр сократилось с нескольких минут до нескольких секунд.
Hybrid multicloud
Если мы говорим об использовании ML-модели, которая будет запускаться на десятках или тысячах устройств, то нам необходимо облако, которое сможет отвечать за обучение такой модели, обработку статистики, отображение сводной информации (правая часть архитектуры).
Когда применяются граничные серверы
При Edge Computing в дата-центр поступают на обработку лишь те данные, которые невозможно или нерационально обрабатывать по-другому. Таким образом, граничные серверы применяют, когда требуется:
- Гибкий подход к безопасности, так как в случае Edge Computing можно настроить передачу в центральный ЦОД заранее обработанной и подготовленной информации;
- Защита от потери информации, так как при потере связи с центром локальные узлы будут накапливать информацию;
- Экономия на трафике, она достигается благодаря обработке основного массива информации на месте.
Периферия и облако: параллельное существование
Существует мнение, что периферийные вычисления заменят облако. Оно ошибочно. Согласно FCC, многие отраслевые эксперты отрицают, что облачные и периферийные вычисления конкурируют друг с другом. Более того, проницательные организации и даже многие поставщики публичных облачных услуг начинают задумываться о том, как избирательно использовать обе технологии. Другими словами, та часть функций, которая лучше всего «чувствует» себя между конечным устройством и локальными сетевыми ресурсами, будет выполняться на периферии сети, тогда как приложения для работы с большими данными, которые агрегируют данные отовсюду, чтобы просеять их с помощью аналитических и машинных алгоритмов обучения, и которые экономически целесообразно держать в гипермасштабируемых ЦОДах, так и останутся в облаке.
Системным архитекторам предстоит много работы, чтобы научиться использовать все эти возможности с максимальной пользой для всей системы. «Думаю, что ситуации, когда приложение будет работать только на периферии сети, окажутся довольно редкими, — говорит Адиб. — Это связано с тем, что ему необходимо будет общаться и взаимодействовать с другими рабочими нагрузками, которые находятся в облаке, в ЦОДе предприятия или на другом устройстве».
Edge server and Edge micro data center
Как мы уже говорили, можно встретить промежуточные (близкие) кластеры обработки данных на уровне шлюзов или микро-датацентров с установленной поддержкой кластерных технологий.
Edge победит облако
Несмотря на этот аргумент, аналитик компании Gartner Томас Битман считает, что «Edge computing «съест» облако». «Сегодня облачные вычисления пожирают центры обработки данных предприятий, все больше и больше нагрузок приходится на облако, а некоторые преобразовываются и перемещаются в облако… но есть еще одна тенденция, которая переместит рабочие нагрузки, данные и стоимость бизнеса далеко от облака… И тенденция перехода к edge computing еще более важная и сильная, чем когда-то была тенденция облачных вычислений.
Позже в своем блоге Битман пишет: «Не хватает одной только быстроты облачных решений. Массивная централизация, экономия от масштаба, самообслуживание и полная автоматизации преодолевает только полпути — но все это не преодолеет физику — вес данных, скорость света. Как люди должны взаимодействовать с цифровой реальностью в режиме реального времени, если происходит задержка от центра обработки данных, расположенного за тысячи километров. Задержка имеет большое значение. Я существую здесь и прямо сейчас. Воспроизвести правильную рекламу, прежде чем я не отвернулся, указать на магазин, который я ищу, когда я за рулём, помочь моему беспилотному автомобилю выбрать верный путь через оживленный перекресток. И все это мне нужно получить СЕЙЧАС».
Что же такое edge computing
Согласно определению Гартнера, edge computing — это подвид распределенных вычислений, в котором обработка информации происходит в непосредственной близости к месту, где данные были получены и будут потребляться. Это основное отличие edge computing от облачных вычислений, при которых информация собирается и обрабатывается в публичных или частных датацентрах. Основным отличием от локальных вычислений является то, что обычно edge computing — это часть большей системы, которая включает в себя сбор статистики, централизованное управление и удаленное обновление приложений на edge устройствах.
Что же такое edge устройство? Многие считают, что edge computing — это когда приложение работает на Raspberry Pi или других микрокомпьютерах. На самом деле edge computing может быть и на мобильных устройствах, персональных ноутбуках, умных камерах и других устройствах, на которых можно запустить приложение по обработке данных.
В целом, когда я изучал этот вопрос, у меня сложилось впечатление, что тема недооценена и что многие, пытаясь решить задачи edge computing, изобретают свой велосипед и применяют подходы, используемые при облачных вычислениях. Также достаточно часто происходит путаница в терминах IoT , edge computing и fog computing . Попробуем с этим разобраться.
Где важна производительность вычислений
Для начала можно рассмотреть пример с автономными автомобилями и сетевыми системами, которые требуются для их поддержки. Обновление навигационного ПО одновременно для всего автомобильного парка, как это уже делают Tesla и другие автопроизводители, идеально подходит для облачных вычислений. С другой стороны, решение о том, следует ли повернуть налево или направо, чтобы избежать столкновения с перебегающим улицу пешеходом, должно приниматься незамедлительно, поэтому у бортового компьютера, безусловно, не будет времени ждать ответа от сервера в удаленном ЦОДе. Таким образом, между ними должна быть какая-то связующая технология, чтобы ускорить реакцию бортового компьютера.
В качестве промежуточного решения между сервером и дата-центром может выступать подключенная транспортная система, вычислительные узлы которой располагались бы на границе сети — в светофорах и вышках сотовой связи. Например, если один водитель движется навстречу другому по встречной полосе, второму нужно отдать указание своей машине, в какую сторону свернуть с дороги, чтобы избежать столкновения. Излишне говорить, что реакция на нетипичное поведение на дороге должна исчисляться миллисекундами. С учетом того, что гипотетическая автономная транспортная система работает в мобильных сетях 5G, пропускная способность и низкая задержка этой сетевой технологии ускорят подключение к транспортным средствам и датчикам на дорогах.
Вопрос заключается том, куда дальше пойдет сигнал после того, как он достигнет ближайшего узла мобильной сети? В ситуациях, когда речь идет о жизни или смерти, требуется, чтобы данные обрабатывались возле обочины или как можно ближе к ней — это позволит получить уведомление о назревающей опасности столкновения в нужное время, когда еще имеется возможность сохранить жизнь. «Сигнал с вышки сотовой связи передается по оптоволокну. Это происходит молниеносно, но даже у скорости света есть физические пределы, и если вам нужно связаться с центром обработки данных, который отстоит от вас на 2000 миль, то это чревато большой задержкой», — говорит председатель совета директоров OpenTechWorks и член технологического консультативного комитета FCC Адам Дробот, один из соавторов справочника FCC по 5G, периферийным вычислениям и IoT.
«Решения, которым требуется производительность в режиме реального времени, будут выполняться на периферии сети», — отмечает Дробот. По его словам, Edge computing займет свое место в спектре вычислительных и коммуникационных технологий как еще одна технология, с помощью которой системные архитекторы смогут размещать вычислительные рабочие нагрузки не локально или в облаке, а на периферии сети. Дробот добавляет, что возможности играть важную роль в будущем компьютерных вычислений особенно рады мобильные операторы: «За каждой вышкой сотовой связи закреплена „собачья будка“, что является особым поводом для радости». На жаргоне операторов «собачьими будками» называют укрытия для телеком-оборудования. Расчет строится на том, что когда-то они смогут превратить их в миниЦОДы, предоставляющие периферийные услуги.
Телекоммуникационные компании сегодня активно обсуждают потенциал 5G, но, как и мобильные операторы, они также нуждаются в периферийных вычислениях, говорит главный консультант и руководитель практики периферийных вычислений консалтинговой компании STL Partners Далия Адиб. «Целевые значения задержек для 5G практически невозможно получить без Edge», — отмечает она, добавляя, что эти две технологии взаимозависимые и будут нуждаться друг в друге для достижения зрелости.
Наглядный пример промышленного применения периферийных вычислений для прогнозного обслуживания оборудования в заводских цехах предлагает Siemens. В этом примере робот забирает с конвейера электронные компоненты и укладывает их в упаковку для отправки. В случае, когда робот ломается, продукты падают на пол, и линия останавливается для экстренного ремонта. Чтобы избежать дорогостоящей остановки оборудования и заблаговременно запланировать техническое обслуживание, его мониторинг проводит периферийное устройство, обладающее большей вычислительной мощностью, чем некоторые роботы. Считывая данные их датчиков, которые используются для прогнозирования сбоя отдельных компонентов, оно может установить точное время выхода из строя таких деталей, как, например, втягивающий захват робота. Приложение на периферийном устройстве передает данные в еще более мощные системы машинного обучения в облаке, которые улучшают алгоритмы прогнозирования и обновляют его данные.
Проблемы централизации ИТ
Цифровая трансформация – это не просто автоматизация каких-либо отдельных функций. Это полноценная трансформация бизнес-процессов: их всестороннее переосмысление через призму максимального использования цифровых технологий. Этот процесс тесно связан с применением таких технологий, как промышленный интернет вещей, анализ больших данных и предиктивная аналитика, повсеместное использование мобильных и носимых устройств и т.д.
Однако применение данных технологий приводит к лавинообразному росту создаваемых «на периферии», передаваемых и обрабатываемых данных. В результате принцип централизации вычислительных мощностей перестает соответствовать растущим требованиям.
Ограничивающим фактором является пропускная способность каналов, соединяющих центральный ЦОД с удаленными площадками – существующие каналы могут быть неспособны передавать возросшие объемы «сырых» данных. Также неизбежны задержки в канале, возникающие при передаче данных. Для некоторых систем они могут быть неприемлемы для корректной работы. В частности, это касается систем, работающих в реальном времени.
Кроме этого, многие системы, которые еще недавно существовали независимо от ИТ, прошли процесс цифровизации, поэтому усиливаются требования к отказоустойчивости и возможности их автономной работы в условиях отсутствия связи с центральным ЦОДом. Например, это касается систем безопасности (видеонаблюдения, контроля и управления доступом), а также телефонии, систем мониторинга и управления производственными процессами.
От периферии до облака
Сейджу Скария, старший директор консалтинговой фирмы TCS, предлагает несколько примеров, где edge computing может оказаться полезным. В своей статье на LinkedIn Pulse, «Edge computing vs. Облачные вычисления: за кем будущее?». Он не считает, что с облаком будет покончено.
«Edge computing не заменит облачные вычисления… на самом деле, аналитическая модель или правила могут быть созданы в облаке и затем применяться оконечными устройствами… и некоторые [из них] способны делать анализ». Затем он продолжает говорить о fog computing (туманные вычисления), которая включает в себя обработку данных от периферии до облака. Он считает, что люди не должны забывать о хранилищах данных, так как они используется для «медленных аналитических запросов и массивного хранения данных».
Open Horizon и IBM Edge Application Manager
Именно для решения задач в области edge computing IBM разработала и выложила в open-source проект Open Horizon. Если вы помните, один из принципов, которые IBM заложила в edge computing – все компоненты должны быть основаны на open source технологиях. В мае 2020 года проект Open Horizon вошел в Linux Foundation Edge — Международный фонд open-source технологий для созданий edge-решений. Также Open Horizon является ядром нового продукта от RedHat и IBM — IBM Edge Application Manager, решения для управления приложениями на всех устройствах edge computing: от Raspberry Pi до промежуточных кластеров обработки данных.
Несмотря на то, что проект Open Horizon вошел в консорциум только в мае, он уже достаточно давно развивается как open-source проект. И мы в Научно-техническом центре IBM не только успели его попробовать, но и довести свое решение до промышленного использования. О том, как мы разрабатывали проект с использованием edge computing, и что у нас получилось — будет отдельная статья, которая выйдет в ближайшие несколько недель.
С одной стороны, edge computing framework — это специализированное решение для определённого круга задач, но оно нашло применение во многих индустриях.
В своё время, когда я изучал работу московских камер “Стрелка”, я понял, что это в чистом виде edge computing, с вычислениями "прямо на столбе" и промежуточной обработкой данных в раздельных вычислительных кластерах у различных ведомств.
Сценарии нашлись в финансовом секторе, в продажах при самообслуживании, в медицине и секторе страхования, торговле и конечно при производстве. Именно в создании решения для автоматизации и оценки качества произведённого оборудования, основанного на edge computing, мне с коллегами из Научно-технического центра IBM и посчастливилось принять участие. И на своем опыте попробовать, как создаются решения edge computing.
Если Вас заинтересовала данная тематика, следите за обновлениями в хабраблоге компании IBM и смотрите видео в разделе Ссылки. Наши зарубежные коллеги к настоящему моменту уже осветили многие технические вопросы и описали, какие сценарии уже работают и применяются в различных отраслях.
Мы с коллегами не так давно обсуждали динамичность развития технологий и перспективы развития облачных вычислений. И как раз наткнулась на статью.
Каждая новая технология приходит на смену старой. Иногда, как и в случае с облаком, проводится ребрендинг старых технологий, чтобы сделать их более привлекательными для потребителей и, тем самым, создать иллюзию нового продукта. Облачные вычисления ранее существовали в той или иной форме. На одном из этапов они назывались «on demand computing» (компьютерные ресурсы по требованию), а затем преобразовались в «application service provider» (ASP).
Теперь существует edge computing (прим. устоявшегося русского термина еще нет, но можно перевести, как «концепция граничных вычислений» или «периферийные вычисления»). которому отраслевые обозреватели и эксперты пророчат способность заменить облако. Но вот вопрос: произойдет ли это на самом деле? Ведь тоже самое говорили о радио, когда было изобретено телевидение. Тем не менее, миллионы людей каждый день включают радиоприемники, но оно изменило формат, теперь его слушают в основном в машине.
Конечно, есть некоторые технологии, которые действительно осуществляют переворот в том, что меняют привычки людей и их образ мышления. Когда-то люди слушали музыку с Sony Walkmans, а сегодня мы повсеместно используем для этого смартфон.
Принципы компании IBM при создании платформы edge computing
Компания IBM, являясь одним из лидеров в области гибридных облаков, использует определённые принципы при разработке решений для edge computing:
- Развивать инновации (Drive Innovation)
- Обеспечить безопасность данных (Secure data)
- Управлять в масштабе (Manage at scale)
- Открытость исходного кода (Open Source)
IBM применяет эти принципы при декомпозиции задачи построения фреймворка edge computing.
Как вы можете видеть, всё решение разбито на 4 сегмента использования:
- Edge-устройства
- Edge-сервера или шлюзы
- Edge-облако
- Гибридное облако в частном или публичном дата центре
Помимо основных принципов и подходов, IBM разработала референсную архитектуру для решений, основанных на edge computing. Референсная архитектура — это шаблон, показывающий основные элементы системы и детализированный настолько, чтобы иметь возможность адаптировать его под конкретное решение для заказчика. Давайте рассмотрим такую архитектуру более подробно.
Edge computing в аналитике
Аттракционы в Диснейленде — это не только веселье, но и сложный технический объект. Так, на «Американской горке» установлено порядка 800 различных датчиков. Они постоянно отправляют на сервер данные о работе аттракциона, а локальный сервер обрабатывает эти данные, вычисляет вероятность выхода аттракциона из строя и сигнализирует об этом на центральный ЦОД.
На основе этих данных определяется вероятность технического отказа и запускается превентивный ремонт. Аттракцион продолжает работать до конца рабочего дня, а тем временем уже оформлен наряд на ремонт, и рабочие оперативно чинят аттракцион ночью.
Edge не заменяет публичные облака
На заре облачных вычислений бытовало мнение, что однажды они будут предоставляться в виде традиционных коммунальных услуг, к примеру, как поставки электричества, напоминает Хафф. «На самом деле централизованная доставка компьютерных вычислений никогда не выглядела реалистичной затеей. К тому же публичные облака сами по себе эволюционировали в ключе, который скорее нацелен на предложение дифференцированных услуг клиентам, поэтому поставщики облачных услуг всегда конкурировали друг с другом, а не с компаниями, которые предоставляют коммунальные услуги, — отмечает он. — Edge computing в более широком смысле — это понимание того, что по своей природе корпоративные вычисления гетерогенны и не терпят упрощенных подходов и шаблонов. Таким образом, они могут заменить публичные облака только в воображаемом мире, где последние бы замкнули на себе все рабочие нагрузки. Но в реальном есть место и для Edge computing».
Преимущества и недостатки edge computing
При выборе технологий для своего проекта я в первую очередь основываюсь на двух критериях — "Что я от этого получу?" и "Какие проблемы я от этого получу?".
Начнём с преимуществ:
- Во-первых, это снижение количества трафика, передаваемого по сети, за счет обработки информации на самом устройстве и передачи только результирующих данных. Особенно виден эффект при использовании edge computing при обработке видеопотока и большого количества фотографий, а также при работе с несжатым звуком.
- Во-вторых, это уменьшение задержек, если необходимо оперативно отреагировать на те или иные результаты обработки данных.
- Для многих систем также важно, чтобы персональные данные не выходили из определённого контура. С введением электронных медицинских карт данное требование является крайне актуальным на сегодняшний день.
- Возможность для устройства быть независимым, определённое время работать без доступа к центральным серверам также повышают отказоустойчивость системы. А централизованный сбор результирующей информации защищает от потери данных при отказе edge-устройства.
Хотя, конечно, проектируя систему с edge computing, не стоит забывать, что как и любую другую технологию её стоит использовать в зависимости от требований к системе, которую вам необходимо реализовать.
Среди недостатков edge computing можно выделить следующие:
- Крайне тяжело обеспечить гарантию отказоусточивости для всех edge-устройств.
- Устройства могут иметь различные платформы и версии OS, для чего, вероятно, потребуется создавать несколько версий сервисов (например, для x86 и ARM).
- Для управления большим количеством устройств потребуется платформа, решающая технические задачи edge computing.
С одной стороны, последний пункт является наиболее критичным, но, к счастью, консорциум Linux Foundation Edge (LF EDGE) включает в себя всё больше и больше проектов с открытым исходным кодом, а их зрелость стремительно растет.
Читайте также: