Edge artificial intelligence это
Периферийные вычисления (Edge computing) вызывают значительный интерес благодаря новым сценариям использования, особенно после появления 5G. Согласно прогнозам Linux Foundation, опубликованным в отчете «2021 State of the Edge», капитализация мирового рынка инфраструктуры периферийных вычислений к 2028 г. превысит 800 млрд. долл. В то же время предприятия также активно инвестируют в искусственный интеллект. По данным исследования McKinsey «The state of AI in 2020», 50% респондентов внедрили ИИ как минимум в одну бизнес-функцию.
Хотя большинство компаний делают эти технологические инвестиции в рамках своей цифровой трансформации, дальновидные организации и облачные компании видят новые возможности в объединении периферийных вычислений и ИИ.
Что такое Edge AI
ИИ в значительной степени зависит от передачи данных и выполнения сложных алгоритмов машинного обучения. Периферийные вычисления — вычислительная парадигма нового поколения, которая переносит ИИ и машинное обучение туда, где происходят генерация данных и вычисления: на границу сети. Их объединение привело к появлению нового направления — периферийного ИИ (Edge AI).
Edge AI обеспечивает более быстрые вычисления и извлечение инсайтов, лучшую безопасность данных и эффективный контроль над непрерывностью операций. В результате он может повысить производительность приложений с поддержкой ИИ и снизить эксплуатационные расходы. Edge AI также может помочь в преодолении связанных с ИИ технологических проблем.
Периферийный ИИ облегчает машинное обучение, автономное применение моделей глубокого обучения и передовых алгоритмов на самих устройствах Интернета вещей (IoT), вне облачных сервисов.
Сценарии использования Edge AI
Виртуальные помощники, такие как Amazon Alexa или Apple Siri, являются большими бенефициарами разработок Edge AI, которые позволяют их алгоритмам машинного обучения быстро обучаться на основе данных, хранящихся на устройстве, и не зависеть от данных, хранящихся в облаке.
Автоматизированный оптический контроль играет важную роль на производственных линиях. Он позволяет обнаруживать неисправные детали собранных компонентов продуктов с помощью автоматизированного визуального анализа. Edge AI дает возможность проводить высокоточный сверхбыстрый анализ данных, не полагаясь на огромные объемы передачи данных через облако.
Автономные транспортные средства. Способность автономных транспортных средств с поддержкой Edge AI принимать быстрые и точные решения позволяет лучше распознавать объекты дорожного движения и легче ориентироваться в маршрутах движения по сравнению с человеком. Это приводит к более быстрому и безопасному потоку транспорта без ручного вмешательства.
Помимо всех рассмотренных выше сценариев использования, Edge AI может сыграть решающую роль в технологиях распознавания лиц, повышении безопасности промышленного IoT и оказании неотложной медицинской помощи. Список вариантов использования Edge AI растет с каждым днем. В ближайшем будущем, удовлетворяя личные и деловые потребности каждого, Edge AI станет традиционной повседневной технологией.
В последние годы методы внедрения искусственного интеллекта меняются по всему миру. По мере того как пользователи проводят все больше времени на своих устройствах, компании все больше осознают необходимость переноса на устройства необходимых вычислений для обслуживания большего числа клиентов. Это причина того, что рынок периферийных вычислений продолжит ускоряться в следующие несколько лет и к 2023 году достигнет $1,12 трлн. По данным Gartner, 91% сегодняшних данных обрабатывается в централизованных центрах обработки данных. Но к 2022 году около 74% всех данных потребуют анализа и на граничных устройствах.
Edge Computing, или граничные вычисления – это парадигма распределенных вычислений, которая приближает вычисления и хранение данных к месту нахождения устройства. Они возникли из сетей доставки контента, и компании используют виртуализацию для расширения собственных возможностей.
Инфраструктура граничных вычислений
Крупные облачные компании уже предлагают услуги пограничных вычислений, а Intel и Udacity недавно запустили свою программу по обучению 1 миллиона разработчиков по всему миру.
Перспективы граничных вычислений и Edge AI
Потенциал граничных вычислений огромен. Так, по оценкам Tractica к 2025 году количество периферийных устройств составит 2,6 млрд по всему миру. Среди самых популярных девайсов – смарт-динамики, смартфоны, планшеты, камеры видеонаблюдения, автомобильные датчики, дроны и роботы.
Эксперты ожидают от Edge AI множество изменений, включая увеличение спроса на устройства Интернета вещей, развитие сетей 5G и интеллектуальных устройств. По мере того как компании все чаще делают свои системы «умными», рынок будет стараться удовлетворить вычислительные потребности интеллектуальных корпоративных платформ.
Граничные вычисления больше не находятся на этапе проверки концепции. Предприятия будут продолжать применять передовые стратегии для улучшения своей деятельности и обеспечения производительности своих сетей в реальном времени.
Меня зовут Игорь Хапов. Я руководитель разработки в Научно-техническом центре IBM. И сегодня я хотел бы вам помочь окунуться в мир периферийных вычислений, или edge computing, как его ещё называют. Я расскажу о том, что же такое edge computing и как он может повлиять на наш с вами мир. Также хотелось бы пояснить различия между edge computing и fog computing, какие преимущества даёт этот подход. В статье я также описал референсную архитектуру приложения на edge computing. И под конец немного расскажу о проекте с открытым исходным кодом Open Horizon, который совсем недавно присоединился к Linux Foundation.
Что такое Edge AI
Мы уже не один раз видели переход от одних видов вычислений к другим. От мэйнфреймов к компьютерам, от компьютеров – к облаку. Теперь облачные вычисления сменяются граничными. Существует заблуждение, что граничные вычисления заменят облако. Напротив, они работают вместе с облаком.
Big Data всегда будет работать в облаке. Однако мгновенные данные, которые генерируются пользователями и относятся только к пользователям, могут быть вычислены и обработаны на периферии.
В Edge AI алгоритмы искусственного интеллекта запускаются и работают локально, без необходимости подключения к облаку или центральному серверу. ИИ использует данные, генерируемые на устройстве, обрабатывает их в режиме реального времени и выдает результат за миллисекунды.
Простейшим примером ИИ на граничном устройстве является распознавание лиц в iPhone. Камера телефона улавливает лицо пользователя, передает изображение на специальный процессор, который выполняет операцию распознавания лиц и разблокирует телефон, если изображение в реальном времени совпадает с образцом. И все это происходит за доли секунды. Более сложный пример – самоуправляемый автомобиль, компьютерная система которого собирает данные с множества датчиков и обрабатывает их локально и позволяет машине передвигаться самостоятельно. В обоих случаях алгоритмы обрабатывают информацию прямо на смартфоне или в автомобиле, чтобы не передавать данные в облако и ждать их обработки.
Why Deploy AI at the Edge? What Are the Benefits of Edge AI?
Since AI algorithms are capable of understanding language, sights, sounds, smells, temperature, faces and other analog forms of unstructured information, they’re particularly useful in places occupied by end users with real-world problems. These AI applications would be impractical or even impossible to deploy in a centralized cloud or enterprise data center due to issues related to latency, bandwidth and privacy.
The benefits of edge AI include:
- Intelligence: AI applications are more powerful and flexible than conventional applications that can respond only to inputs that the programmer had anticipated. In contrast, an AI neural network is not trained how to answer a specific question, but rather how to answer a particular type of question, even if the question itself is new. Without AI, applications couldn’t possibly process infinitely diverse inputs like texts, spoken words or video.
- Real-time insights: Since edge technology analyzes data locally rather than in a faraway cloud delayed by long-distance communications, it responds to users’ needs in real time.
- Reduced cost: By bringing processing power closer to the edge, applications need less internet bandwidth, greatly reducing networking costs.
- Increased privacy: AI can analyze real-world information without ever exposing it to a human being, greatly increasing privacy for anyone whose appearance, voice, medical image or any other personal information needs to be analyzed. Edge AI further enhances privacy by containing that data locally, uploading only the analysis and insights to the cloud. Even if some of the data is uploaded for training purposes, it can be anonymized to protect user identities. By preserving privacy, edge AI simplifies the challenges associated with data regulatory compliance.
- High availability: Decentralization and offline capabilities make edge AI more robust since internet access is not required for processing data. This results in higher availability and reliability for mission-critical, production-grade AI applications.
- Persistent improvement: AI models grow increasingly accurate as they train on more data. When an edge AI application confronts data that it cannot accurately or confidently process, it typically uploads it so that the AI can retrain and learn from it. So the longer a model is in production at the edge, the more accurate the model will be.
Преимущества машинного обучения на периферии
Машинное обучение — это искусственное моделирование процесса человеческого обучения с использованием данных и алгоритмов. С помощью Edge AI оно может протянуть руку помощи предприятиям, особенно тем, которые в значительной степени полагаются на устройства IoT.
Ниже перечислены некоторые из преимуществ машинного обучения на периферии.
Конфиденциальность. Сегодня, когда информация и данные являются наиболее ценными активами, потребители с осторожностью относятся к местонахождению своих данных. Компании, которые внедрят в свои приложения персонализированные функции с поддержкой ИИ, смогут предоставить своим пользователям понимание того, как собираются и хранятся их данные. Это повысит лояльность клиентов к бренду.
Сокращение задержки. Большинство процессов обработки данных происходит как на уровне сети, так и на уровне устройства. Edge AI устраняет необходимость пересылки огромных объемов данных через сети и на устройства; таким образом, улучшается пользовательский опыт.
Минимизация полосы пропускания. Каждый день предприятию с тысячами IoT-устройств приходится передавать огромные объемы данных в облако. Затем проводить аналитику в облаке и возвращать результаты анализа обратно на устройство. Без достаточно большой пропускной способности сети и облачного хранилища этот сложный процесс превратился бы в невыполнимую задачу. Не говоря уже о возможности раскрытия конфиденциальной информации во время процесса передачи.
Однако в Edge AI реализована технология клаудлетов (cloudlet), которая представляет собой небольшое облачное хранилище, расположенное на периферии. Эта технология повышает мобильность и снижает нагрузку на передачу данных. Следовательно, она может снизить стоимость услуг передачи данных и повысить скорость и надежность потока данных.
Недорогая цифровая инфраструктура. По данным Amazon, 90% затрат на цифровую инфраструктуру приходится на Inference — жизненно важный процесс генерации данных в машинном обучении. 60% респондентов недавнего исследования RightScale согласны с тем, что Святой Грааль экономии затрат скрывается в инициативах облачных вычислений. Edge AI, в свою очередь, устраняет непомерные расходы на процессы ИИ или машинного обучения, выполняемые в облачных дата-центрах.
What Are Examples of Edge AI Use Cases?
AI is the most powerful technology force of our time. We’re now at a time where AI is revolutionizing the world’s largest industries.
Across manufacturing, healthcare, financial services, transportation, energy and more, edge AI is driving new business outcomes in every sector, including:
-
: For critical industries such as energy, in which discontinuous supply can threaten the health and welfare of the general population, intelligent forecasting is key. Edge AI models help to combine historical data, weather patterns, grid health and other information to create complex simulations that inform more efficient generation, distribution and management of energy resources to customers. : Sensor data can be used to detect anomalies early and predict when a machine will fail. Sensors on equipment scan for flaws and alert management if a machine needs a repair so the issue can be addressed early, avoiding costly downtime. : Modern medical instruments at the edge are becoming AI-enabled with devices that use ultra-low-latency streaming of surgical video to allow for minimally invasive surgeries and insights on demand. : Retailers are looking to improve the digital customer experience by introducing voice ordering to replace text-based searches with voice commands. With voice ordering, shoppers can easily search for items, ask for product information and place online orders using smart speakers or other intelligent mobile devices.
Что же такое edge computing
Согласно определению Гартнера, edge computing — это подвид распределенных вычислений, в котором обработка информации происходит в непосредственной близости к месту, где данные были получены и будут потребляться. Это основное отличие edge computing от облачных вычислений, при которых информация собирается и обрабатывается в публичных или частных датацентрах. Основным отличием от локальных вычислений является то, что обычно edge computing — это часть большей системы, которая включает в себя сбор статистики, централизованное управление и удаленное обновление приложений на edge устройствах.
Что же такое edge устройство? Многие считают, что edge computing — это когда приложение работает на Raspberry Pi или других микрокомпьютерах. На самом деле edge computing может быть и на мобильных устройствах, персональных ноутбуках, умных камерах и других устройствах, на которых можно запустить приложение по обработке данных.
В целом, когда я изучал этот вопрос, у меня сложилось впечатление, что тема недооценена и что многие, пытаясь решить задачи edge computing, изобретают свой велосипед и применяют подходы, используемые при облачных вычислениях. Также достаточно часто происходит путаница в терминах IoT , edge computing и fog computing . Попробуем с этим разобраться.
Edge server and Edge micro data center
Как мы уже говорили, можно встретить промежуточные (близкие) кластеры обработки данных на уровне шлюзов или микро-датацентров с установленной поддержкой кластерных технологий.
Open Horizon и IBM Edge Application Manager
Именно для решения задач в области edge computing IBM разработала и выложила в open-source проект Open Horizon. Если вы помните, один из принципов, которые IBM заложила в edge computing – все компоненты должны быть основаны на open source технологиях. В мае 2020 года проект Open Horizon вошел в Linux Foundation Edge — Международный фонд open-source технологий для созданий edge-решений. Также Open Horizon является ядром нового продукта от RedHat и IBM — IBM Edge Application Manager, решения для управления приложениями на всех устройствах edge computing: от Raspberry Pi до промежуточных кластеров обработки данных.
Несмотря на то, что проект Open Horizon вошел в консорциум только в мае, он уже достаточно давно развивается как open-source проект. И мы в Научно-техническом центре IBM не только успели его попробовать, но и довести свое решение до промышленного использования. О том, как мы разрабатывали проект с использованием edge computing, и что у нас получилось — будет отдельная статья, которая выйдет в ближайшие несколько недель.
С одной стороны, edge computing framework — это специализированное решение для определённого круга задач, но оно нашло применение во многих индустриях.
В своё время, когда я изучал работу московских камер “Стрелка”, я понял, что это в чистом виде edge computing, с вычислениями "прямо на столбе" и промежуточной обработкой данных в раздельных вычислительных кластерах у различных ведомств.
Сценарии нашлись в финансовом секторе, в продажах при самообслуживании, в медицине и секторе страхования, торговле и конечно при производстве. Именно в создании решения для автоматизации и оценки качества произведённого оборудования, основанного на edge computing, мне с коллегами из Научно-технического центра IBM и посчастливилось принять участие. И на своем опыте попробовать, как создаются решения edge computing.
Если Вас заинтересовала данная тематика, следите за обновлениями в хабраблоге компании IBM и смотрите видео в разделе Ссылки. Наши зарубежные коллеги к настоящему моменту уже осветили многие технические вопросы и описали, какие сценарии уже работают и применяются в различных отраслях.
Recent strides in the efficacy of AI, the adoption of IoT devices and the power of edge computing have come together to unlock the power of edge AI.
This has opened new opportunities for edge AI that were previously unimaginable — from helping radiologists identify pathologies in the hospital, to driving cars down the freeway, to helping us pollinate plants.
Countless analysts and businesses are talking about and implementing edge computing, which traces its origins to the 1990s, when content delivery networks were created to serve web and video content from edge servers deployed close to users.
Today, almost every business has job functions that can benefit from the adoption of edge AI. In fact, edge applications are driving the next wave of AI in ways that improve our lives at home, at work, in school and in transit.
Learn more about what edge AI is, its benefits and how it works, examples of edge AI use cases, and the relationship between edge computing and cloud computing.
Edge computing и IoT
Довольно часто звучит вопрос — "Чем же отличается edge computing от IoT". IoT можно назвать дедушкой edge computing. IoT — это множество устройств, связанных между собой, и способных передавать информацию друг другу. А edge computing это скорее подход к организации вычислений и управлению edge устройствами. Как вы отлично понимаете, любое приложение необходимо обновлять, мониторить и осуществлять прочие обслуживающие функции. В результате edge computing подразумевает использование определенных подходов и фреймворков, о которых я расскажу чуть позже.
What Role Does Cloud Computing Play in Edge Computing?
AI applications can run in a data center like those in public clouds, or out in the field at the network’s edge, near the user. Cloud computing and edge computing each offer benefits that can be combined when deploying edge AI.
The cloud offers benefits related to infrastructure cost, scalability, high utilization, resilience from server failure, and collaboration. Edge computing offers faster response times, lower bandwidth costs and resilience from network failure.
There are several ways in which cloud computing can support an edge AI deployment:
- The cloud can run the model during its training period.
- The cloud continues to run the model as it is retrained with data that comes from the edge.
- The cloud can run AI inference engines that supplement the models in the field when high compute power is more important than response time. For example, a voice assistant might respond to its name, but send complex requests back to the cloud for parsing.
- The cloud serves up the latest versions of the AI model and application.
- The same edge AI often runs across a fleet of devices in the field with software in the cloud
Проблемы Edge AI
Низкое качество данных, предоставляемых ведущими интернет-провайдерами по всему миру является основным препятствием для исследований и разработок в области Edge AI. Недавний отчет Alation показывает, что 87% респондентов — в основном сотрудники ИТ-компаний — приводят низкое качество данных в качестве причины, из-за которой их организации не могут внедрить инфраструктуру Edge AI.
Уязвимая функция безопасности. Некоторые эксперты в области цифровых технологий утверждают, что децентрализованный характер периферийных вычислений повышает их безопасность. Но в действительности распределенные данные требуют обеспечения безопасности в большем количестве точек. Это делает инфраструктуру Edge AI уязвимой для различных кибератак.
Ограниченные возможности машинного обучения. МО требует больших вычислительных мощностей на аппаратных платформах периферийных вычислений. В инфраструктуре Edge AI производительность вычислений ограничена производительностью периферийного или IoT-устройства. В большинстве случаев сложные модели Edge AI приходится упрощать перед развертыванием, чтобы повысить их точность и эффективность.
Как Edge AI преобразит предприятия
Эффективная модель Edge AI включает оптимизированную инфраструктуру вычислений, которая может обрабатывать более объемные рабочие нагрузки ИИ на периферии. Edge AI в сочетании с решениями для хранения данных может обеспечить лучшую в отрасли производительность и безграничную масштабируемость, что позволит предприятиям эффективно использовать свои данные.
Многие мировые компании уже пользуются преимуществами Edge AI. Периферийный ИИ может принести пользу различным отраслям: от улучшения контроля производства на сборочной линии до управления автономными транспортными средствами. Более того, начавшееся во многих странах внедрение технологии 5G дает Edge AI дополнительный импульс, поскольку появляется все больше промышленных приложений для этой технологии.
К числу преимуществ сочетания периферийных вычислений и ИИ для предприятий относятся:
- эффективное предиктивное обслуживание и управление активами;
- сокращение продолжительности контрольной проверки продукта до менее чем одной минуты;
- сокращение количества проблем на местах;
- повышение удовлетворенности клиентов;
- обеспечение крупномасштабной инфраструктуры и управление жизненным циклом периферийных устройств;
- улучшение управления дорожным движением в городах.
Внедрение Edge AI является мудрым бизнес-решением: средний возврат инвестиций (ROI) в 5,7% от развертывания промышленного Edge AI происходит в течение трех лет.
Принципы компании IBM при создании платформы edge computing
Компания IBM, являясь одним из лидеров в области гибридных облаков, использует определённые принципы при разработке решений для edge computing:
- Развивать инновации (Drive Innovation)
- Обеспечить безопасность данных (Secure data)
- Управлять в масштабе (Manage at scale)
- Открытость исходного кода (Open Source)
IBM применяет эти принципы при декомпозиции задачи построения фреймворка edge computing.
Как вы можете видеть, всё решение разбито на 4 сегмента использования:
- Edge-устройства
- Edge-сервера или шлюзы
- Edge-облако
- Гибридное облако в частном или публичном дата центре
Помимо основных принципов и подходов, IBM разработала референсную архитектуру для решений, основанных на edge computing. Референсная архитектура — это шаблон, показывающий основные элементы системы и детализированный настолько, чтобы иметь возможность адаптировать его под конкретное решение для заказчика. Давайте рассмотрим такую архитектуру более подробно.
Hybrid multicloud
Если мы говорим об использовании ML-модели, которая будет запускаться на десятках или тысячах устройств, то нам необходимо облако, которое сможет отвечать за обучение такой модели, обработку статистики, отображение сводной информации (правая часть архитектуры).
Что такое Edge AI
ИИ в значительной степени зависит от передачи данных и выполнения сложных алгоритмов машинного обучения. Периферийные вычисления — вычислительная парадигма нового поколения, которая переносит ИИ и машинное обучение туда, где происходят генерация данных и вычисления: на границу сети. Их объединение привело к появлению нового направления — периферийного ИИ (Edge AI).
Edge AI обеспечивает более быстрые вычисления и извлечение инсайтов, лучшую безопасность данных и эффективный контроль над непрерывностью операций. В результате он может повысить производительность приложений с поддержкой ИИ и снизить эксплуатационные расходы. Edge AI также может помочь в преодолении связанных с ИИ технологических проблем.
Периферийный ИИ облегчает машинное обучение, автономное применение моделей глубокого обучения и передовых алгоритмов на самих устройствах Интернета вещей (IoT), вне облачных сервисов.
Референсная архитектура edge computing
The Future of Edge AI
Thanks to the commercial maturation of neural networks, proliferation of IoT devices, advances in parallel computation and 5G, there is now robust infrastructure for generalized machine learning. This is allowing enterprises to capitalize on the colossal opportunity to bring AI into their places of business and act upon real-time insights, all while decreasing costs and increasing privacy.
We are only in the early innings of edge AI, and still the possible applications seem endless.
Learn how your organization can deploy edge AI by checking out the top considerations for deploying AI at the edge.
Learn the fundamentals of Edge AI and its growing importance in the field of artificial intelligence
Edge AI describes a class of ML architecture in which AI algorithms are processed locally on devices (at the edge of the network). A device using Edge AI does not need to be connected to work properly and can process data and take decisions independently without a connection. Learn why this is becoming increasingly important in modern applications of AI.
One that should be familiar to you, will feature an ML model, lovingly crafted, trained, and hosted on Cloud infrastructure, to which prediction requests are sent from devices. These requests involve sending a request to a Cloud-based API and receiving a response over the internet.
These requests involve sending a request to a cloud-based API, then receiving a response over the internet. This is typically a successful method when the data being transferred is small, like for snippets of text, but where it breaks down is larger data like high-quality photos or videos. Even moderate data sizes can pose a problem in areas with poor (or no) network coverage.
The idea of Edge AI is for the model instead to live on the devices at the edge (hence the name) of the network. The AI algorithms are then processed locally on the device, cutting out the requirement of an internet connection to process data and generate useful results.
In 2020, Deloitte predicts that more than 750 million Edge AI chips that perform or accelerate machine learning tasks on-device, rather than in a remote data center — will be sold, representing US$2.6 billion in revenue.
Edge AI offers lots of improvement over conventional ML architectures. First of all the latency involved with any network transfer is removed, which can be critical in some use cases. The battery drain involved with streaming data is no longer an issue, allowing for better battery life, and associated costs for data communication are significantly reduced.
This is highly beneficial for a number of use cases. Sensors in remote locations like offshore wind farms can come pre-loaded with the algorithms that enable them to make decisions without the complex infrastructure of getting them internet-connected.
Similarly, this approach is being used to monitor the flow rate in underground gas pipes, where a cloud-based strategy is not feasible. Sensors measure flow rate and pressure to determine the health of the pipeline, and valves can be shut off if symptoms of a leak are detected.
Edge AI is not exclusive to remote locations, it is already being adopted closer to home on the high street.
UK cosmetics brand Lush has used an Edge AI approach with a new initiative; the Lush Lens feature has recently been added to their Lush Labs app.
Designed to help reduce the need for packaging, the Lens is used by scanning a product with your smartphone’s camera. Under the hood there is an image recognition model living within the app, taking advantage of Edge AI to reduce battery consumption and network requirements. With the product correctly identified, the user is given detailed product information, without the need for packaging.
Learn more about how the Lush Lens uses AI to reduce packaging here.
Finally, Edge AI chips will likely find their way into an increasing number of consumer devices, such as high-end smartphones, tablets, smart speakers, wearables, and bio-implants. They will also be used in many enterprise markets: robots, cameras, sensors, and other IoT devices.
Complex machine learning models are often quite large in size and in some cases it’s not feasible to shift these models to small devices. Models need to be simplified, which inevitably reduces accuracy.
Compute power is limited on edge devices, further restricting the AI tasks that can be performed.
Edge AI often involves deploying a model to a wide range of device types (and operating system versions), and this can increase the likelihood of failures. A lot of testing is therefore typically needed before a chip is ready for circulation.
Edge framework
Когда мы осознаем, что есть необходимость в управлении большим количеством сервисов на тысячах устройств и сотнями приложений в разных кластерах, наступает понимание, что надо бы использовать какой-то фреймворк для управления всем этим зоопарком и синхронизации между устройствами.
Именно наличие данного фреймворка раскрывает преимущества edge computing перед разнородными разнесёнными вычислениями.
Как мы видим, кроме центральной части по управлению сервисами и моделями в данном фреймворке присутствуют агенты, обеспечивающие контроль за управлением жизненным циклом сервисов на устройствах/кластерах на каждом из уровней использования.
Драйверы развития граничных вычислений
Специалисты выделяют несколько факторов, которые спровоцировали активное развитие граничных вычислений. Один из самых важных драйверов – это конфиденциальность. Поскольку потребители все больше осознают, где находятся их данные, компании разрабатывают приложения, в которых функции персонализации предоставляются после авторизации внутри них. Это позволяет компаниям предоставлять больше персонализированных функций с поддержкой ИИ, давая пользователям возможность понять, как собираются их данные.
Еще одним драйвером является безопасность. В связи с развертыванием все более распределенной архитектуры и использованием чувствительных данных, хранящихся в облаке, наблюдается движение к нескольким уровням шифрования и более динамическим механизмам шифрования. С увеличением разнообразия устройств с поддержкой ИИ, таких как смарт-динамики и телефоны, граничные узлы могут определять правильный механизм безопасности для различных девайсов. Кроме этого, локальные устройства не нуждаются в постоянном подключении к Интернету и не зависят от перебоев в работе сети. Это позволяет обрабатывать данные в местностях, где подключение к всемирной паутине затруднено или полностью отсутствует.
Еще одной очевидной причиной, по которой задачи должны выполняться на граничных устройствах – это задержка. Поскольку услуги становятся более распределенными как на уровне сети, так и на уровне устройств, возникает больше проблем с задержкой при отправке данных по сетям и устройствам.
Для повышения сквозной отказоустойчивости приложений во все более распределенных системах необходимо наличие нескольких конечных точек балансировки нагрузки. Это вызывает идею Cloudlet, который находится ближе к мобильному устройству, чтобы повысить отказоустойчивость на уровне девайса.
Edge AI: Why Now?
Organizations from every industry are looking to increase automation to improve processes, efficiency and safety.
To help them, computer programs need to recognize patterns and execute tasks repeatedly and safely. But the world is unstructured and the range of tasks that humans perform covers infinite circumstances that are impossible to fully describe in programs and rules.
Advances in edge AI have opened opportunities for machines and devices, wherever they may be, to operate with the “intelligence” of human cognition. AI-enabled smart applications learn to perform similar tasks under different circumstances, much like real life.
The efficacy of deploying AI models at the edge arises from three recent innovations.
Преимущества и недостатки edge computing
При выборе технологий для своего проекта я в первую очередь основываюсь на двух критериях — "Что я от этого получу?" и "Какие проблемы я от этого получу?".
Начнём с преимуществ:
- Во-первых, это снижение количества трафика, передаваемого по сети, за счет обработки информации на самом устройстве и передачи только результирующих данных. Особенно виден эффект при использовании edge computing при обработке видеопотока и большого количества фотографий, а также при работе с несжатым звуком.
- Во-вторых, это уменьшение задержек, если необходимо оперативно отреагировать на те или иные результаты обработки данных.
- Для многих систем также важно, чтобы персональные данные не выходили из определённого контура. С введением электронных медицинских карт данное требование является крайне актуальным на сегодняшний день.
- Возможность для устройства быть независимым, определённое время работать без доступа к центральным серверам также повышают отказоустойчивость системы. А централизованный сбор результирующей информации защищает от потери данных при отказе edge-устройства.
Хотя, конечно, проектируя систему с edge computing, не стоит забывать, что как и любую другую технологию её стоит использовать в зависимости от требований к системе, которую вам необходимо реализовать.
Среди недостатков edge computing можно выделить следующие:
- Крайне тяжело обеспечить гарантию отказоусточивости для всех edge-устройств.
- Устройства могут иметь различные платформы и версии OS, для чего, вероятно, потребуется создавать несколько версий сервисов (например, для x86 и ARM).
- Для управления большим количеством устройств потребуется платформа, решающая технические задачи edge computing.
С одной стороны, последний пункт является наиболее критичным, но, к счастью, консорциум Linux Foundation Edge (LF EDGE) включает в себя всё больше и больше проектов с открытым исходным кодом, а их зрелость стремительно растет.
edge computing vs fog computing
Когда я однажды рассказал коллеге про edge computing, он ответил — ”так это же fog computing”. Давайте попробуем разобраться, в чём же разница. С одной стороны, edge computing и fog computing часто используются как синонимы, однако fog computing, или "туманные вычисления", все-таки немного отличаются.
И edge computing, и fog computing — это вычисления, которые находятся в непосредственной близости к получаемым данным. Различие заключается в том, что при туманных вычислениях обработка осуществляется на устройствах, которые постоянно подключены к сети. В edge computing вычисления осуществляются как на сенсорах, умных устройствах – без передачи на уровень gateway, так и на уровне gateway и на микрокластерах.
Для меня было открытием, что edge computing может работать в кластерах Kubernetes или OpenShift. Оказывается, что существует достаточно много задач, где кроме оконечных устройств необходимо выполнять обработку информации в локальном кластере и передавать в централизованные дата центры только результирующие данные. И такие вычисления — тоже edge computing.
How Does Edge AI Technology Work?
Lifecycle of an edge AI application.
For machines to see, perform object detection, drive cars, understand speech, speak, walk or otherwise emulate human skills, they need to functionally replicate human intelligence.
AI employs a data structure called a deep neural network to replicate human cognition. These DNNs are trained to answer specific types of questions by being shown many examples of that type of question along with correct answers.
This training process, known as “deep learning,” often runs in a data center or the cloud due to the vast amount of data required to train an accurate model, and the need for data scientists to collaborate on configuring the model. After training, the model graduates to become an “inference engine” that can answer real-world questions.
In edge AI deployments, the inference engine runs on some kind of computer or device in far-flung locations such as factories, hospitals, cars, satellites and homes. When the AI stumbles on a problem, the troublesome data is commonly uploaded to the cloud for further training of the original AI model, which at some point replaces the inference engine at the edge. This feedback loop plays a significant role in boosting model performance; once edge AI models are deployed, they only get smarter and smarter.
Edge devices
В первую очередь, у нас есть какое-либо встроенное или дискретное edge-устройство, к которому подключены сенсоры, датчики или управляющие механизмы, например, для координации движения роборуки. Из сервисов/данных на таком устройстве могут находиться:
- Модель обработки данных, например, предобученная ML-модель
- Сервис аналитики, который является средой исполнения модели
- Пользовательский интерфейс для отображения результатов или инициирования аналитики
- Легковесная база данных для хранения промежуточных результатов и кеширования на случай сбоя связи с центральным сервером
- Любые другие сервисы в зависимости от решаемых на данном устройстве задач
Технологии, влияющие на развитие Edge AI
Наиболее значительную роль в сфере Edge AI играет развитие знаний в сферах науки о данных, машинного обучения и IoT. Однако главное здесь — строго следовать траектории развития информатики. В частности, это касается приложений и устройств нового поколения с поддержкой ИИ, которые могут идеально вписаться в экосистему ИИ и машинного обучения.
В 2017 г. Intel приобрела за 15,3 млрд. долл. израильскую компанию Mobileye, занимающуюся развитыми системами помощи водителю (ADAS) [ для снижения опасности столкновения. Недавно китайский технологический гигант Baidu начал массовое производство второго поколения Kunlun AI — сверхбыстрых микрочипов для периферийных вычислений на границе.
Сюда следует добавить ускорители Google Edge TPU и Nvidia Jetson Nano, а также разработку компаниями Amazon, Microsoft, Intel и Asus материнских плат для расширения возможностей периферийных вычислений. И упомянуть AWS DeepLens — первую в мире видеокамеру с поддержкой глубокого обучения.
What Is Edge AI?
Edge AI is the deployment of AI applications in devices throughout the physical world. It’s called “edge AI” because the AI computation is done near the user at the edge of the network, close to where the data is located, rather than centrally in a cloud computing facility or private data center.
Since the internet has global reach, the edge of the network can connote any location. It can be a retail store, factory, hospital or devices all around us, like traffic lights, autonomous machines and phones.
Читайте также: