NVIDIA Jetson : architecture, fonctionnement et ses applications

La plate-forme leader au monde comme NVIDIA Jetson est une séquence de cartes informatiques embarquées qui est principalement utilisée dans les machines autonomes et autres applications embarquées . Cette carte contient principalement des modules Jetson, qui sont des ordinateurs très performants. Jetson est bien adapté à un logiciel d'IA similaire et à un flux de travail natif du cloud qui est utilisé sur d'autres plates-formes NVIDIA et offre des performances écoénergétiques aux clients pour créer des machines autonomes basées sur des logiciels. NVIDIA Jetson est utilisé pour les applications de vision par ordinateur. Ainsi, cet article présente un aperçu de NVIDIA Jetson - le fonctionnement et ses applications.

Qu'est-ce que NVIDIA Jetson ?

NVIDIA Jetson est une solution avancée système d'encastrement conseil qui est utilisé pour créer des produits d'IA innovants dans plusieurs industries. NVIDIA Jetson est l'une des principales plates-formes matérielles, ce qui est très utile pour les passionnés de technologie et les étudiants pour acquérir une expérience pratique grâce à une gamme de projets d'IA innovants. Cette carte est une carte très efficace pour l'IA qui comprend des ordinateurs de périphérie modulaires, de petite taille et hautes performances. De plus, cette carte contient également le SDK JetPack utilisé pour l'accélération logicielle ainsi qu'un écosystème complet pour aider à augmenter la procédure de développement de projets d'IA personnalisés.

Architecture NVIDIA Jetson

On sait que le module Nvidia Jetson de Nvidia est une suite de cartes informatiques embarquées. Tous les modèles de Jetson TX1, TX2 & TK1 embarquent un processeur SoC ou Tegra de Nvidia qui intègre un CPU à architecture ARM. Ici, Jetson est un système basse consommation principalement conçu pour accélérer les applications d'apprentissage automatique.

L'architecture NVIDIA Jetson Xavier NX est illustrée ci-dessous. C'est le supercalculateur AI le plus avancé et le plus petit utilisé pour les appareils informatiques de pointe ainsi que robotique autonome . Ce module a la capacité de déployer des performances de classe serveur dans un solide facteur de forme de 70 x 45 mm et fournit également jusqu'à 21 TOPS de calcul en dessous de 15 W de puissance, sinon jusqu'à 14 TOPS de calcul en dessous de 10 W.

Le diagramme ci-dessus contient un NVIDIA Volta à 384 cœurs incorporé GPU y compris un processeur NVIDIA Carmel ARMv8.2 64 bits à 6 cœurs, 48 ​​cœurs Tensor, 8 Go 128 bits LPDDR4x, encodeurs et décodeurs vidéo 4K, deux moteurs NVDLA (NVIDIA Deep Learning Accelerator), caméra pour jusqu'à six haute résolution instantanée flux de capteurs, double Display Port ou écrans HDMI 4K, extension PCIe Generation 3, USB 3.1 et GPIO avec bus I2C, SPI, I2S, UART et CAN.

Les spécifications de NVIDIA Jetson incluent les éléments suivants.

• La puissance est en modes 10W ou 15W et entrée 5V.
• Le processeur est NVIDIA Carmel 64 bits ARMv 8.2 à 6 cœurs à 1400 MHz.
• Le GPU est NVIDIA Volta à 384 cœurs à 1100 MHz via 48 cœurs Tensor.
• DL est un moteur Dual NVDLA.
• La mémoire est de 8 Go LPDDR4x 128 bits à 1600 MHz.
• 16 Go de stockage eMMC 5.1.
• La caméra est 12x voies MIPI CSI-2 | Caméras 3×4 ou 6×2.
• Jusqu'à 6 caméras (36 via des canaux virtuels).
• Thermiques de -25°C à 90°C.
• L'affichage est DP 1.4 ou eDP 1.4 ou HDMI 2.0 a/b à 4Kp60.
• Ethernet est 10 ou 100 ou 1000 BASE-T Ethernet.
• USB 3.1 et USB 2.0.

Ce module est pris en charge par l'ensemble de la pile logicielle CUDA-X de NVIDIA et également par JetPack SDK pour le développement de l'IA. Il exécute des cadres d'apprentissage automatique très populaires et des DNN difficiles sur plusieurs flux de capteurs haute résolution à la fois, en plus de la vision par ordinateur en temps réel, des graphiques et des applications multimédias dans un environnement Linux de bureau complet.

À l'heure actuelle, les développeurs ont commencé à concevoir des applications d'IA pour Jetson Xavier NX à l'aide du kit de développement Jetson AGX Xavier. L'application d'un patch de modèle d'appareil près de JetPack fera fonctionner l'appareil comme un Jetson Xavier NX. Cela modifiera le nombre de cœurs GPU et CPU pouvant être obtenus via le logiciel et définira les fréquences d'horloge ainsi que les tensions des cœurs à travers le système.

Le patch est complètement réversible et est utilisé pour se rapprocher des performances de Jetson Xavier NX. Ce module classera les modes d'alimentation par défaut de 10 W et 15 W atteignant entre 14 et 21 performances de pointe TOPS en fonction du mode actif. L'outil nvpmodel est utilisé pour gérer les profils d'alimentation afin d'ajuster les fréquences CLK les plus élevées pour le GPU, le CPU, diverses horloges SoC et le contrôleur de mémoire, ainsi que les différents clusters CPU.

En fonction de la charge de travail, le gouverneur DVFS (Dynamic Voltage & Frequency Scaling) équilibre les fréquences sur le temps d'exécution jusqu'à leurs limites les plus élevées, comme décrit par le modèle nvp actif, ainsi l'utilisation de l'énergie est réduite au repos et en fonction du fonctionnement du processeur. L'outil nvpmodel aide à créer et à modifier de nouveaux modes d'alimentation en fonction des exigences du TDP et de l'application.

Le module NVIDIA Jetson apporte les performances du supercalculateur à la périphérie dans un SOM (système sur module) à petit facteur de forme. L'équivalent de 21 TOPS de calcul accéléré envoie la puissance nécessaire pour faire fonctionner les réseaux de neurones actuels en parallèle et traiter les données de divers capteurs haute résolution. Ce module est idéal pour les systèmes d'IA basés sur les hautes performances tels que les instruments médicaux, les robots commerciaux, les systèmes embarqués AIoT, les caméras intelligentes, l'inspection optique automatisée, les capteurs haute résolution, les usines intelligentes, etc.

Logiciel

Le module NVIDIA Jetson est simplement pris en charge par des architectures logicielles combinées afin de faciliter le travail des développeurs de logiciels. Cette approche combinée évite simplement aux développeurs les tracas du codage répétitif tout en améliorant leurs formations sur d'autres modules Jetson.

Le SDK NVIDIA JetPack est disponible avec un système d'exploitation Linux, des bibliothèques accélérées CUDA-X et des API pour différents domaines d'apprentissage automatique tels que la vision par ordinateur, l'apprentissage en profondeur, etc. Il prend également en charge les cadres d'apprentissage automatique tels que Caffe, TensorFlow, Keras et OpenCV vision par ordinateur bibliothèques.
NVIDIA Jetson propose différents outils logiciels pour ses modules, qui sont décrits ci-dessous.

SDK NVIDIA JetPack

Les bundles logiciels de la plate-forme Jetson tels que TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV et Visionworks sont tous assemblés au-dessus de L4T via le noyau Linux LTS.

Package de pilotes Linux NVIDIA Jetson

Il fournit le noyau Linux, les pilotes NVIDIA, le chargeur de démarrage, un exemple de système de fichiers, des utilitaires de flashage et bien d'autres pour la plate-forme Jetson.

SDK NVIDIA DeepStream

Il s'agit d'un ensemble d'API et de bibliothèques pour aider les développeurs à concevoir et à organiser de solides solutions IVA (analyse vidéo intelligente) sur la plate-forme Jetson. Il est utilisé pour construire des applications complexes comme l'encodage, la capture d'image, le décodage, l'inférence avec TensorRT, etc.

SDK NVIDIA Isaac

Il s'agit d'un ensemble de bibliothèques, d'API, de pilotes et d'autres outils qui ajouteront l'IA aux robots de nouvelle génération pour la navigation, la perception et la manipulation. Cela aide donc à créer et à déployer une robotique alimentée par l'IA.

Types NVIDIA Jetson

Le module NVIDIA Jetson est livré avec mémoire, GPU, CPU, interfaces haute vitesse, gestion de l'alimentation, etc. Ces modules sont disponibles dans différentes performances, efficacité énergétique et variations de facteurs de forme pour les utiliser dans diverses industries. Il existe différents appareils NVIDIA Jetson disponibles qui sont décrits ci-dessous.

NVIDIA Jetson Nano

Le module NVIDIA Jetson Nano convient aux développeurs ou aux étudiants ainsi qu'aux débutants car il est principalement conçu pour l'apprentissage et l'enseignement pratiques. La taille de ce module est petite, mais son efficacité énergétique et ses performances sont élevées pour le rendre parfait pour exécuter simultanément plusieurs réseaux neuronaux parallèles, charges de travail IA et traitement de données à partir de capteurs haute résolution. Ainsi, le module Jetson Nano est un appareil de pointe très populaire qui est utilisé pour fabriquer des produits et des solutions d'IA embarqués.

Ce module est parfait pour les applications de vision par ordinateur basées sur l'IA et il effectue des tâches de vision par IA telles que la détection d'objets, la segmentation d'images, la classification d'images, etc. Ce module est très compatible avec les logiciels de vision par ordinateur open source et les bibliothèques d'apprentissage automatique OpenCV.

Série NVIDIA Jetson TX2

Le module NVIDIA Jetson TX2 Series est conçu au format carte de crédit. Les fonctionnalités de ce module incluent principalement un GPU NVIDIA Pascal, jusqu'à 8 Go de mémoire, 59,7 Go/s de bande passante mémoire et des interfaces matérielles standard. Ce module offre des performances jusqu'à 2,5 fois supérieures à celles du module NVIDIA Jetson Nano.

Ce module exécute très efficacement des réseaux de neurones profonds sur des appareils périphériques pour obtenir une plus grande précision. Les modules disponibles dans la série comprennent principalement le Jetson TX2 4 Go, le Jetson TX2i, le Jetson TX2 et le Jetson TX2 NX. Le module NVIDIA Jetson TX2 NX partage simplement la compatibilité des broches et du facteur de forme via le Jetson Xavier NX et le Jetson Nano.

Les trois modules restants partageront le facteur de forme du module Jetson TX2 d'origine. L'utilisation de la série TX2 s'étend simplement dans diverses industries telles que l'agriculture, la fabrication, les sciences de la vie, la vente au détail, etc. de sa conception robuste.

Ce module est un appareil informatique IA intégré très rapide qui offre une efficacité énergétique élevée comme 7,5 W, des capacités de supercalculateur principalement pour les appareils IA de pointe, ainsi que diverses interfaces matérielles à intégrer facilement dans différents produits et facteurs de forme.

NVIDIA Jetson Xavier NX

Le module NVIDIA Jetson Xavier NX est très petit par rapport à une carte de crédit avec des performances et une efficacité énergétique élevées. Il est également connu comme le plus petit supercalculateur d'IA pour les systèmes embarqués et embarqués au monde. Ce module aide particulièrement à exécuter des systèmes d'IA complets.

Les fonctionnalités de Jetson Xavier NX prennent également en charge les technologies natives du cloud, ce qui facilite la mise à niveau et la gestion des produits d'IA pour les développeurs. Ce module prend en charge tous les modèles et cadres d'IA populaires. Ce module convient donc parfaitement aux systèmes d'IA hautes performances tels que les caméras intelligentes, les systèmes de vision haute résolution alimentés par l'IA, les drones, les robots commerciaux ou les équipements médicaux.

Le module NVIDIA Jetson Xavier NX fournit 21 opérations Tera par seconde ou TOPS pour exécuter une charge de travail AI actuelle en consommant 10 W de puissance. Le facteur de forme de ce module est plus compact par rapport à une carte de crédit. Le module Xavier NX exécute simultanément plusieurs réseaux de neurones et traite les données de différents capteurs haute résolution. Ce type de module est utilisé pour concevoir des applications pour les dispositifs informatiques embarqués et de périphérie nécessitant des performances élevées, mais avec des contraintes de poids, de taille et de puissance importantes.

Série NVIDIA Jetson AGX Xavier

Le module NVIDIA Jetson AGX Xavier Series est principalement développé pour les machines intelligentes autonomes de nouvelle génération. Ce module offre jusqu'à 32 opérations TOPS ou Tera par seconde de performances AI en utilisant aussi peu que 10 watts. Le développeur de logiciels est simplement autorisé à organiser rapidement des réseaux de neurones avec un ensemble d'outils logiciels d'IA de NVIDIA.

Ce module fournit diverses spécifications et capacités de sécurité fonctionnelles afin que les développeurs créent des produits certifiés de sécurité ou industriels. Les hautes performances de ce module peuvent les rendre appropriés pour de nombreuses machines autonomes comme les robots logistiques et industriels, les systèmes d'usine et les gros drones.

Kit de développement Jetson Xavier NX

Le kit de développement jetson xavier nx comprend un solide module Xavier NX à faible consommation d'énergie utilisé pour les appareils de périphérie alimentés par l'IA. Ce module possède certaines fonctionnalités telles que la prise en charge native du cloud et accélère la pile de logiciels NVIDIA en seulement 10 W avec plus de 10 fois les performances du Jetson TX2. Ce kit de développement est utilisé par les fabricants de machines intelligentes, les startups d'IA et les développeurs d'applications pour concevoir des produits modernes avec une inférence d'IA compacte et très précise et un facteur de forme économe en énergie.

Jetson AGX Xavier Industriel

Le module Jetson AGX Xavier Industrial fait partie de la série AGX Xavier. La conception de ce module est un facteur de forme compatible avec les broches qui contrôle les modèles d'IA les plus récents dans les applications exigeantes. Ce module fournit des spécifications étendues de vibration, de choc, de température, des fonctionnalités de sécurité avancées, jusqu'à 4 fois la mémoire et 20 fois les performances du module TX2i.

Ce module est très utile aux concepteurs pour concevoir l'automatisation, la robotique et d'autres produits intelligents. En outre, il conçoit également des produits certifiés en matière de sécurité et robustes pour fournir des performances élevées pour les applications fonctionnelles et de sécurité industrielles intégrées à l'IA dans une conception de facteur de forme robuste et économe en énergie.

Avantages

Le avantages de NVIDIA Jetson inclure les éléments suivants.

• NVIDIA Jetson convient aux étudiants, aux développeurs individuels et aux différentes organisations.
• La plate-forme Jetson est très populaire car elle offre divers avantages tels que la flexibilité modulaire, les logiciels unifiés et la prise en charge des technologies natives du cloud.
• Cette carte fournit un ensemble de modules qui sont très utiles pour tout, des applications d'IA de base aux appareils très complexes alimentés par l'IA.
• Cette carte est alimentée par une architecture logicielle unifiée qui aide les développeurs à éviter le codage répétitif. Une fois qu'ils ont besoin d'une capacité AI/ML, ils peuvent inclure un module Jetson associé à l'appareil et il prend en charge le gros du travail.
• La plate-forme NVIDIA Jetson prend simplement en charge les technologies et les flux de travail natifs du cloud comme l'orchestration et la conteneurisation, offrant aux développeurs la possibilité de développer rapidement et d'étendre les produits d'IA.
• Le SDK NVIDIA JetPack est disponible avec un système d'exploitation Linux, des API et des bibliothèques d'accélération CUDA-X pour une variété de domaines d'apprentissage automatique tels que la vision par ordinateur et l'apprentissage en profondeur. Il prend également en charge les frameworks d'apprentissage automatique tels que Caffe et Keras, les bibliothèques TensorFlow et OpenCV de vision par ordinateur.

Désavantages

Il a très peu d'inconvénients tout en tenant compte du prix

• Le module NVIDIA Jetson nano n'est pas disponible avec le wifi à l'intérieur.
• Le module NVIDIA Jetson nano ne comprend que deux broches PWM sur la carte.

Applications

Les applications de NVIDIA Jetson incluent les éléments suivants.

• Le module NVIDIA Jetson offre des systèmes d'intégration supérieurs qui sont utilisés pour créer des produits d'IA pour une variété de scénarios. Il s'agit d'un module économe en énergie utilisé pour l'IA qui comprend des ordinateurs de pointe hautes performances, modulaires et de petite taille.
• Les cartes Nvidia Jetson sont principalement conçues pour être utilisées dans des systèmes embarqués tels que des drones, des robots et d'autres appareils qui nécessitent un traitement puissant dans un format compact. Les applications courantes des cartes Jetson incluent principalement les dispositifs médicaux, les véhicules autonomes, la signalisation numérique, les casques AR/VR, les applications de ville intelligente, etc.
• Ce module prend en charge les architectures logicielles unifiées pour simplifier le travail des développeurs de logiciels.
  Les modules et appareils NVIDIA Jetson sont des appareils de périphérie optimisés utilisés pour développer des systèmes Edge AI.
• Le kit de développement NVIDIA Jetson Nano est un petit ordinateur très puissant qui exécute plusieurs réseaux de neurones en parallèle pour diverses applications telles que la détection d'objets, la classification d'images, le traitement et la segmentation de la parole.
• Le module NVIDIA Jetson Nano est parfait pour les applications de vision par ordinateur basées sur l'IA et ils exécutent des tâches de vision AI telles que la segmentation d'images, la classification d'images, la détection d'objets, etc.
• Les modules Nano de NVIDIA Jetson apportent de nouvelles capacités incroyables à des milliers de petits systèmes d'IA économes en énergie
• Le module NVIDIA Jetson Nano est compatible avec les bibliothèques d'apprentissage automatique OpenCV et les logiciels de vision par ordinateur open source.

Q). Quelle est la consommation électrique des modules Jetson ?

UN). La consommation électrique du module Jetson varie en fonction du modèle et de l'utilisation. Le module Jetson Xavier, par exemple, a une consommation électrique typique d'environ 15w à 30w, tandis que le Jetson TX2 peut consommer entre 7w et 15w.

Q). Jetson peut-il être utilisé pour la détection et le suivi d'objets en temps réel ?

UN). Oui, Jetson Platforms peut gérer la détection et le suivi de la vision. Le module Nano est un GPU haute performance avec une plate-forme informatique de pointe qui peut être principalement utilisé pour la détection, le comptage et le suivi.

Q). Avec quels types de capteurs Jetson peut-il s'interfacer ?

UN). Les capteurs de vision sont utilisés pour interfacer Jetson avec diverses interfaces de caméra telles que USB, MIPI CSI et Ethernet. Ils peuvent également s'interfacer avec le lidar, le capteur à ultrasons et d'autres types en utilisant également les différents types d'interface comme l'I2C, le SPI, etc.

Q). Quelle est la différence entre Jetson et Raspberry Pi ?

UN). La principale différence entre ces deux cartes est; NVIDIA Jetson a été développé pour gérer des tâches d'IA et de vision par ordinateur très exigeantes, tandis que la carte Raspberry Pi 4 dispose d'un GPU multimédia à faible consommation d'énergie utilisé pour l'informatique et l'éducation à usage général. Jetson peut être utilisé pour des fonctionnalités plus avancées telles que le décodage et l'encodage vidéo accélérés par le matériel à l'aide de son puissant GPU (unité de traitement graphique) et de son processeur (unité centrale de traitement).

Q). Jetson peut-il être utilisé pour des applications de robotique autonome ?

UN). La robotique et l'industrie autonomes de demain seront alimentées par NVIDIA Jetson pour les machines intelligentes et la robotique.

Ainsi, ceci est un aperçu de NVIDIA Jetson – avantages et ses applications. Ce module est la plate-forme leader dans le monde utilisée par les développeurs pour créer des produits d'IA avancés dans toutes les industries. Ces modules sont également utilisés par les étudiants et les passionnés pour acquérir une expérience pratique de l'apprentissage de l'IA afin de réaliser des projets incroyables. La plate-forme de Jetson comprend principalement de petits kits de développement et des modules de production économes en énergie. Voici une question pour vous, qu'est-ce que NVIDIA ?