Das Potenzial von IoT-Systemen erschließen: Die Rolle von Deep Learning und KI

Nov 16, 2023

Das Internet der Dinge (IoT), ein Netzwerk miteinander verbundener Geräte, die mit Sensoren und Software ausgestattet sind, hat die Art und Weise, wie wir mit der Welt um uns herum interagieren, revolutioniert und es uns ermöglicht, Daten wie nie zuvor zu sammeln und zu analysieren.

Da die Technologie voranschreitet und immer zugänglicher wird, werden immer mehr Objekte mit Konnektivitäts- und Sensorfunktionen ausgestattet, wodurch sie Teil des IoT-Ökosystems werden. Es wird erwartet, dass die Zahl der aktiven IoT-Systeme bis 2027 29,7 Milliarden erreichen wird, was einen deutlichen Anstieg gegenüber den 3,6 Milliarden Geräten im Jahr 2015 darstellt. Dieses exponentielle Wachstum erfordert eine enorme Nachfrage nach Lösungen, um die Sicherheits- und Rechenherausforderungen von IoT-Anwendungen zu mindern. Insbesondere industrielles IoT, Automotive und Smart Homes sind drei Hauptbereiche mit spezifischen Anforderungen, aber sie alle haben einen gemeinsamen Bedarf an effizienten IoT-Systemen, um optimale Funktionalität und Leistung zu ermöglichen.

Die Steigerung der Effizienz von IoT-Systemen und die Erschließung ihres Potenzials können durch künstliche Intelligenz (KI) und die Schaffung von AIoT-Architekturen erreicht werden. Durch den Einsatz ausgefeilter Algorithmen und Techniken des maschinellen Lernens versetzt KI IoT-Systeme in die Lage, intelligente Entscheidungen zu treffen, große Datenmengen zu verarbeiten und wertvolle Erkenntnisse zu gewinnen. Diese Integration treibt beispielsweise die Betriebsoptimierung im industriellen IoT voran, ermöglicht fortschrittliche autonome Fahrzeuge und bietet intelligentes Energiemanagement und personalisierte Erlebnisse in Smart Homes.

Unter den verschiedenen KI-Algorithmen eignet sich Deep Learning, das künstliche neuronale Netze nutzt, aus mehreren Gründen sehr gut für IoT-Systeme. Einer der Hauptgründe ist die Fähigkeit, automatisch aus Sensorrohdaten zu lernen und Funktionen zu extrahieren. Dies ist besonders wertvoll bei IoT-Anwendungen, bei denen die Daten unstrukturiert oder verrauscht sein oder komplexe Beziehungen aufweisen können. Darüber hinaus ermöglicht Deep Learning IoT-Anwendungen, Echtzeit- und Streaming-Daten effizient zu verarbeiten. Diese Fähigkeit ermöglicht eine kontinuierliche Analyse und Entscheidungsfindung, was bei zeitkritischen Anwendungen wie Echtzeitüberwachung, vorausschauender Wartung oder autonomen Steuerungssystemen von entscheidender Bedeutung ist.

Trotz der zahlreichen Vorteile von Deep Learning für IoT-Systeme birgt seine Implementierung inhärente Herausforderungen wie Effizienz und Sicherheit, die angegangen werden müssen, um sein Potenzial voll auszuschöpfen. DerVEryEeffizientDpiepLverdienenIoTDas Projekt (VEDLIoT) zielt darauf ab, diese Herausforderungen zu lösen.

Einen allgemeinen Überblick über die verschiedenen VEDLIoT-Komponenten finden Sie in Abb. 1. IoT wird vom VEDLIoT-Projekt in Deep Learning integriert, um Anwendungen zu beschleunigen und die Energieeffizienz des IoT zu optimieren. VEDLIoT erreicht diese Ziele durch den Einsatz mehrerer Schlüsselkomponenten:

VEDLIoT konzentriert sich auf einige Anwendungsfälle, wie zum Beispiel bedarfsorientierte Interaktionsmethoden in Smart Homes (siehe Abb. 2), industrielle IoT-Anwendungen wie Motor Condition Classification und Arc Detection sowie das Pedestrian Automatic Emergency Braking (PAEB)-System im Automobilbereich ( siehe Abb. 3). VEDLIoT optimiert solche Anwendungsfälle systematisch durch einen Bottom-up-Ansatz durch den Einsatz von Anforderungsentwicklungs- und Verifizierungstechniken, wie in Abb. 1 dargestellt. Das Projekt kombiniert Expertenwissen aus verschiedenen Bereichen, um eine robuste Middleware zu schaffen, die die Entwicklung durch Tests, Benchmarking usw. erleichtert. und Bereitstellungs-Frameworks, um letztendlich die Optimierung und Wirksamkeit von Deep-Learning-Algorithmen innerhalb von IoT-Systemen sicherzustellen. In den folgenden Abschnitten stellen wir kurz jede Komponente des VEDLIoT-Projekts vor.

Für ein breites Anwendungsspektrum stehen verschiedene Beschleuniger zur Verfügung, von kleinen eingebetteten Systemen mit Leistungsbudgets im Milliwattbereich bis hin zu leistungsstarken Cloud-Plattformen. Diese Beschleuniger werden basierend auf ihren Spitzenleistungswerten in drei Hauptgruppen eingeteilt, wie in Abb. 4 dargestellt.

Die erste Gruppe ist die Ultra-Low-Power-Kategorie (< 3 W), die aus energieeffizienten Kernen im Mikrocontroller-Stil in Kombination mit kompakten Beschleunigern für spezifische Deep-Learning-Funktionen besteht. Diese Beschleuniger sind für IoT-Anwendungen konzipiert und bieten einfache Schnittstellen für eine einfache Integration. Einige Beschleuniger dieser Kategorie bieten Kamera- oder Audioschnittstellen und ermöglichen so effiziente Bild- oder Tonverarbeitungsaufgaben. Sie bieten möglicherweise eine generische USB-Schnittstelle, die es ihnen ermöglicht, als an einen Host-Prozessor angeschlossene Beschleunigergeräte zu fungieren. Diese Beschleuniger mit extrem geringem Stromverbrauch eignen sich ideal für IoT-Anwendungen, bei denen Energieeffizienz und Kompaktheit im Vordergrund stehen, und bieten optimierte Leistung für Deep-Learning-Aufgaben ohne übermäßigen Stromverbrauch.

Der VEDLIoT-Anwendungsfall der vorausschauenden Wartung ist ein gutes Beispiel und nutzt einen Beschleuniger mit extrem geringem Stromverbrauch. Eines der wichtigsten Designkriterien ist ein geringer Stromverbrauch, da es sich um eine batteriebetriebene kleine Box handelt, die extern an jeden Elektromotor montiert werden kann und den Elektromotor mindestens drei Jahre lang ohne Batteriewechsel überwachen soll.

Die nächste Kategorie ist die Low-Power-Gruppe (3 W bis 35 W), die auf ein breites Spektrum von Automatisierungs- und Automobilanwendungen abzielt. Diese Beschleuniger verfügen über Hochgeschwindigkeitsschnittstellen für externe Speicher und Peripheriegeräte sowie eine effiziente Kommunikation mit anderen Verarbeitungsgeräten oder Hostsystemen wie PCIe. Sie unterstützen modulare und mikroserverbasierte Ansätze und bieten Kompatibilität mit verschiedenen Plattformen. Darüber hinaus verfügen viele Beschleuniger in dieser Kategorie über leistungsstarke Anwendungsprozessoren, die vollständige Linux-Betriebssysteme ausführen können, was eine flexible Softwareentwicklung und -integration ermöglicht. Einige Geräte in dieser Kategorie verfügen über dedizierte anwendungsspezifische integrierte Schaltkreise (ASICs), während andere über eingebettete Grafikprozessoren (GPUs) von NVIDIA verfügen. Diese Beschleuniger vereinen Energieeffizienz und Verarbeitungskapazitäten und eignen sich daher gut für verschiedene rechenintensive Aufgaben in der Automatisierungs- und Automobilbranche.

Die Hochleistungskategorie (> 35 W) der Beschleuniger ist für anspruchsvolle Inferenz- und Trainingsszenarien in Edge- und Cloud-Servern konzipiert. Diese Beschleuniger bieten eine außergewöhnliche Rechenleistung und eignen sich daher für rechenintensive Aufgaben. Sie werden häufig als PCIe-Erweiterungskarten eingesetzt und bieten Hochgeschwindigkeitsschnittstellen für eine effiziente Datenübertragung. Die Geräte dieser Kategorie verfügen über hohe Thermal Design Powers (TDPs), was darauf hindeutet, dass sie in der Lage sind, erhebliche Arbeitslasten zu bewältigen. Zu diesen Beschleunigern gehören dedizierte ASICs, die für ihre spezielle Leistung bei Deep-Learning-Aufgaben bekannt sind. Sie bieten beschleunigte Verarbeitungsfunktionen und ermöglichen schnellere Inferenz- und Trainingszeiten. Einige GPUs der Verbraucherklasse können auch in Benchmarking-Vergleiche einbezogen werden, um eine breitere Perspektive zu bieten.

Die Auswahl des richtigen Beschleunigers aus der oben genannten breiten Palette verfügbarer Optionen ist nicht einfach. VEDLIoT übernimmt jedoch diese entscheidende Verantwortung, indem es gründliche Bewertungen und Bewertungen verschiedener Architekturen durchführt, darunter GPUs, feldprogrammierbare Gate-Arrays (FPGAs) und ASICs. Das Projekt untersucht sorgfältig die Leistung und den Energieverbrauch dieser Beschleuniger, um ihre Eignung für bestimmte Anwendungsfälle sicherzustellen. Durch die Nutzung seines Fachwissens und seines umfassenden Bewertungsprozesses steuert VEDLIoT die Auswahl von Deep-Learning-Beschleunigern innerhalb des Projekts und in der breiteren Landschaft von IoT- und Deep-Learning-Anwendungen.

Trainierte Deep-Learning-Modelle verfügen über eine Redundanz, die manchmal mit vernachlässigbarem Genauigkeitsverlust auf das 49-fache ihrer ursprünglichen Größe komprimiert werden kann. Obwohl sich viele Arbeiten mit einer solchen Komprimierung befassen, zeigen die meisten Ergebnisse theoretische Beschleunigungen, die sich nur manchmal in einer effizienteren Hardwareausführung niederschlagen, da sie die Zielhardware nicht berücksichtigen. Andererseits umfasst der Prozess der Bereitstellung von Deep-Learning-Modellen auf Edge-Geräten mehrere Schritte, wie z. B. Training, Optimierung, Kompilierung und Laufzeit. Obwohl für diese Schritte verschiedene Frameworks verfügbar sind, kann ihre Interoperabilität variieren, was zu unterschiedlichen Ergebnissen und Leistungsniveaus führt. VEDLIoT begegnet diesen Herausforderungen durch hardwarebewusste Modelloptimierung mit ONNX, einem offenen Format zur Darstellung von Modellen für maschinelles Lernen, und stellt so die Kompatibilität mit dem aktuellen offenen Ökosystem sicher. Darüber hinaus dient Renode, ein Open-Source-Simulationsframework, als Funktionssimulator für komplexe heterogene Systeme und ermöglicht die Simulation kompletter System-on-Chips (SoCs) und die Ausführung derselben Software auf Hardware.

Darüber hinaus nutzt VEDLIoT das EmbeDL-Toolkit zur Optimierung von Deep-Learning-Modellen. Das EmbeDL-Toolkit bietet umfassende Tools und Techniken zur Optimierung von Deep-Learning-Modellen für eine effiziente Bereitstellung auf Geräten mit eingeschränkten Ressourcen. Durch die Berücksichtigung hardwarespezifischer Einschränkungen und Eigenschaften ermöglicht das Toolkit Entwicklern das Komprimieren, Quantisieren, Bereinigen und Optimieren von Modellen bei gleichzeitiger Minimierung der Ressourcennutzung und Beibehaltung einer hohen Inferenzgenauigkeit. EmbeDL konzentriert sich auf hardwarebewusste Optimierung und stellt sicher, dass Deep-Learning-Modelle effektiv auf Edge-Geräten und IoT-Geräten eingesetzt werden können, wodurch das Potenzial für intelligente Anwendungen in verschiedenen Bereichen freigesetzt wird. Mit EmbeDL können Entwickler eine überlegene Leistung, schnellere Schlussfolgerungen und eine verbesserte Energieeffizienz erzielen, was es zu einer unverzichtbaren Ressource für diejenigen macht, die das Potenzial von Deep Learning in realen Anwendungen maximieren möchten.

Da VEDLIoT darauf abzielt, Deep Learning mit IoT-Systemen zu kombinieren, wird die Gewährleistung von Sicherheit und Schutz von entscheidender Bedeutung. Um diese Aspekte im Kern hervorzuheben, nutzt das Projekt vertrauenswürdige Ausführungsumgebungen (TEEs) wie Intel SGX und ARM TrustZone sowie Open-Source-Laufzeiten wie WebAssembly. TEEs bieten sichere Umgebungen, die kritische Softwarekomponenten isolieren und vor unbefugtem Zugriff und Manipulation schützen. Durch die Verwendung von WebAssembly bietet VEDLIoT eine gemeinsame Umgebung für die Ausführung im gesamten Kontinuum, vom IoT über den Edge bis in die Cloud.

Im Zusammenhang mit TEEs führt VEDLIoT Twine und WaTZ als vertrauenswürdige Laufzeiten für Intels SGX bzw. ARMs TrustZone ein. Diese Laufzeiten vereinfachen die Softwareerstellung in sicheren Umgebungen durch die Nutzung von WebAssembly und seiner modularen Schnittstelle. Diese Integration schließt die Lücke zwischen vertrauenswürdigen Ausführungsumgebungen und AIoT und trägt zur nahtlosen Integration von Deep-Learning-Frameworks bei. Innerhalb von TEEs, die WebAssembly verwenden, erreicht VEDLIoT einen hardwareunabhängigen, robusten Schutz vor böswilligen Eingriffen und wahrt so die Vertraulichkeit sowohl der Daten als auch der Deep-Learning-Modelle. Diese Integration unterstreicht das Engagement von VEDLIoT für die Sicherung kritischer Softwarekomponenten, die Ermöglichung einer sicheren Entwicklung und die Erleichterung von AIoT-Anwendungen mit verbessertem Datenschutz in Cloud-Edge-Umgebungen.

Darüber hinaus verwendet VEDLIoT ein spezielles Architektur-Framework, wie in Abb. 5 dargestellt, das dabei hilft, Anforderungen und Spezifikationen von KI-Komponenten und traditionellen IoT-Systemelementen zu definieren, zu synchronisieren und zu koordinieren. Dieses Framework besteht aus verschiedenen Architekturansichten, die sich mit den spezifischen Designbedenken und Qualitätsaspekten des Systems befassen, einschließlich Sicherheits- und ethischen Überlegungen. Indem diese Architekturansichten als Vorlagen verwendet und ausgefüllt werden, können Korrespondenzen und Abhängigkeiten zwischen den qualitätsbestimmenden Architekturansichten und anderen Entwurfsentscheidungen, wie z. B. KI-Modellkonstruktion, Datenauswahl und Kommunikationsarchitektur, identifiziert werden. Dieser ganzheitliche Ansatz stellt sicher, dass Sicherheits- und ethische Aspekte nahtlos in das Gesamtsystemdesign integriert werden, und stärkt das Engagement von VEDLIoT für Robustheit und die Bewältigung neuer Herausforderungen bei KI-gestützten IoT-Systemen.

Herkömmliche Hardwareplattformen unterstützen nur homogene IoT-Systeme. RECS, eine KI-gestützte Mikroserver-Hardwareplattform, ermöglicht jedoch die nahtlose Integration verschiedener Technologien. Dadurch wird eine Feinabstimmung der Plattform auf bestimmte Anwendungen ermöglicht und eine umfassende Cloud-to-Edge-Plattform bereitgestellt. Alle RECS-Varianten teilen das gleiche Designparadigma und stellen eine dicht gekoppelte, hochintegrierte Kommunikationsinfrastruktur dar. Für die unterschiedlichen RECS-Varianten kommen unterschiedliche Mikroservergrößen zum Einsatz, von Kreditkartengröße bis hin zu Tabletgröße. Dadurch können Kunden für jeden Anwendungsfall und jedes Szenario die beste Variante auswählen. Abb. 6 gibt einen Überblick über die RECS-Varianten.

Die drei verschiedenen RECS-Plattformen eignen sich für Cloud/Rechenzentrum (RECS|Box), Edge (t.RECS) und IoT-Nutzung (u.RECS). Alle RECS-Server nutzen branchenübliche Mikroserver, die austauschbar sind und die Nutzung der neuesten Technologie durch einfachen Austausch eines Mikroservers ermöglichen. Hardwareanbieter dieser Mikroserver bieten ein breites Spektrum unterschiedlicher Computerarchitekturen wie Intel-, AMD- und ARM-CPUs, FPGAs und Kombinationen einer CPU mit einer eingebetteten GPU oder einem KI-Beschleuniger.

VEDLIoT stellt sich der Herausforderung, Deep Learning auf IoT-Geräte mit begrenzter Rechenleistung und geringem Energiebudget zu bringen. Die VEDLIoT AIoT-Hardwareplattform bietet optimierte Hardwarekomponenten und zusätzliche Beschleuniger für IoT-Anwendungen, die das gesamte Spektrum von Embedded über Edge bis zur Cloud abdecken. Andererseits wird eine leistungsstarke Middleware eingesetzt, um die Programmierung, das Testen und den Einsatz neuronaler Netze in heterogener Hardware zu erleichtern. Neue Methoden für das Anforderungs-Engineering, gepaart mit Sicherheitskonzepten, sind im gesamten Framework integriert. Die Konzepte werden anhand anspruchsvoller Anwendungsfälle in Schlüsselbranchen wie Automobil, Automatisierung und Smart Homes getestet und vorangetrieben.

Bitte beachten Sie, dass dieser Artikel auch in der fünfzehnten Ausgabe unserer vierteljährlichen Publikation erscheinen wird.

Speichern Sie meinen Namen, meine E-Mail-Adresse und meine Website in diesem Browser für den nächsten Kommentar.

D