La plataforma líder del món com NVIDIA Jetson és una seqüència de plaques informàtiques incrustades que s'utilitza principalment en màquines autònomes i altres aplicacions incrustades . Aquesta placa conté principalment mòduls Jetson, que són ordinadors d'alt rendiment. Jetson s'adapta molt bé amb programari d'IA similar i un flux de treball natiu del núvol que s'utilitza en altres plataformes NVIDIA i ofereix un rendiment eficient energètic perquè els clients creïn màquines autònomes basades en programari. NVIDIA Jetson s'utilitza per a aplicacions de visió per ordinador. Per tant, aquest article tracta una visió general del funcionament de NVIDIA Jetson i les seves aplicacions.
Què és NVIDIA Jetson?
NVIDIA Jetson és un avançat sistema d'incrustació tauler que s'utilitza per crear productes innovadors d'IA en diverses indústries. NVIDIA Jetson és una de les plataformes de maquinari líders que és molt útil per als entusiastes de la tecnologia i també per als estudiants per obtenir experiència pràctica a través d'una sèrie de projectes innovadors d'IA. Aquesta placa és una placa molt eficient per a IA que inclou ordinadors modulars, de format petit i d'alt rendiment. A més, aquest tauler també conté JetPack SDK utilitzat per a l'acceleració de programari, així com un ecosistema complet per ajudar a augmentar el procediment de desenvolupament de projectes d'IA personalitzats.
Arquitectura NVIDIA Jetson
Sabem que el mòdul Nvidia Jetson de Nvidia és una seqüència de plaques informàtiques incrustades. Tots els models de Jetson TX1, TX2 i TK1 porten un processador SoC o Tegra de Nvidia que incorpora una CPU d'arquitectura ARM. Aquí, Jetson és un sistema de baix consum dissenyat principalment per accelerar les aplicacions d'aprenentatge automàtic.
A continuació es mostra l'arquitectura NVIDIA Jetson Xavier NX. És el superordinador d'IA més avançat i petit que s'utilitza també per a dispositius informàtics de punta robòtica autònoma . Aquest mòdul té la capacitat de desplegar un rendiment de classe de servidor amb un factor de forma sòlid de 70 x 45 mm i també proporciona fins a 21 TOPS de càlcul per sota de 15 W de potència, en cas contrari, fins a 14 TOPS de càlcul per sota de 10 W.
El diagrama anterior conté un NVIDIA Volta de 384 nuclis incorporat GPU incloent una CPU NVIDIA Carmel ARMv8.2 de 64 bits de 6 nuclis, 48 nuclis tensor, LPDDR4x de 8 GB de 128 bits, codificadors i descodificadors de vídeo 4K, motors duals NVDLA (accelerador d'aprenentatge profund de NVIDIA), càmera per a fins a sis d'alta resolució instantània. fluxos de sensors, port de pantalla dual o pantalles HDMI 4K, expansió PCIe generació 3, USB 3.1 i GPIO amb bus I2C, SPI, I2S, UART i CAN.
Les especificacions de NVIDIA Jetson inclouen les següents.
- La potència és de 10 W o 15 W i l'entrada de 5 V.
- La CPU és NVIDIA Carmel 64-bit ARMv 8.2 de 6 nuclis a 1400MHz.
- La GPU és NVIDIA Volta de 384 nuclis a 1100 MHz a través de 48 nuclis tensor.
- DL és un motor NVDLA dual.
- La memòria és de 8 GB de 128 bits LPDDR4x a 1600 MHz.
- Emmagatzematge eMMC 5.1 de 16 GB.
- La càmera és de 12x MIPI CSI-2 carrils | Càmeres 3×4 o 6×2.
- Fins a 6 càmeres (36 a través de canals virtuals).
- Tèrmiques de -25°C a 90°C.
- La pantalla és DP 1.4 o eDP 1.4 o HDMI 2.0 a/b a 4Kp60.
- Ethernet és 10 o 100 o 1000 BASE-T Ethernet.
- USB 3.1 i USB 2.0.
Aquest mòdul és compatible amb tota la pila de programari CUDA-X de NVIDIA i també amb JetPack SDK per al desenvolupament d'IA. Executa marcs d'aprenentatge automàtic molt populars i DNN difícils en diversos fluxos de sensors d'alta resolució alhora, a més de visió per ordinador, gràfics i aplicacions multimèdia en temps real dins d'un entorn Linux complet d'escriptori.
Actualment, els desenvolupadors van començar a dissenyar aplicacions d'IA per a Jetson Xavier NX amb l'ajuda del Jetson AGX Xavier Developer Kit. L'aplicació d'un pedaç de patró de dispositiu a prop de JetPack farà que el dispositiu funcioni com a Jetson Xavier NX. Això modificarà el nombre de nuclis de GPU i CPU que es poden obtenir mitjançant el programari i establirà les freqüències de rellotge i les tensions dels nuclis a tot el sistema.
El pegat és completament reversible que s'utilitza per aproximar el rendiment de Jetson Xavier NX. Aquest mòdul classificarà els modes de potència predeterminats de 10W i 15W assolint entre 14 i 21 TOPS de rendiment màxim en funció del mode actiu. L'eina nvpmodel s'utilitza per gestionar perfils de potència per ajustar les freqüències CLK més altes per a la GPU, la CPU, els rellotges SoC diversos i el controlador de memòria juntament amb els diferents clústers de CPU.
En funció de la càrrega de treball, el governador DVFS (Dynamic Voltage & Frequency Scaling) equilibra les freqüències en temps d'execució fins als seus límits més alts, tal com descriu el nvpmodel actiu, de manera que la utilització d'energia es redueix en inactivitat i en funció del funcionament del processador. L'eina nvpmodel ajuda a crear i modificar nous modes d'alimentació basats en els requisits de TDP i de l'aplicació.
El mòdul NVIDIA Jetson porta el rendiment del superordinador al límit dins d'un petit factor de forma SOM (sistema en mòdul). Igual a 21 TOPS de computació accelerada, envia la potència per executar les xarxes neuronals actuals en paral·lel i processar dades de diversos sensors d'alta resolució. Aquest mòdul és ideal per a sistemes d'IA basats en alt rendiment, com ara instruments mèdics, robots comercials, sistemes integrats AIoT, càmeres intel·ligents, inspecció òptica automatitzada, sensors d'alta resolució, fàbriques intel·ligents, etc.
Programari
El mòdul NVIDIA Jetson només s'admet a través d'arquitectures de programari combinades, de manera que facilitarà la feina dels desenvolupadors de programari. Aquest enfocament combinat simplement estalvia als desenvolupadors la molèstia de la codificació repetitiva alhora que millora les seves formacions en altres mòduls Jetson.
L'SDK NVIDIA JetPack està disponible amb un sistema operatiu Linux, biblioteques accelerades CUDA-X i API per a diferents camps d'aprenentatge automàtic com la visió per computador, l'aprenentatge profund, etc. També admet marcs d'aprenentatge automàtic com Caffe, TensorFlow, Keras i visió per computador OpenCV. biblioteques.
NVIDIA Jetson ofereix diferents eines de programari per als seus mòduls que es comenten a continuació.
NVIDIA JetPack SDK
Els paquets de programari de la plataforma Jetson com TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV i Visionworks es munten a sobre de L4T mitjançant el nucli LTS Linux.
Paquet de controladors NVIDIA Jetson Linux
Proporciona el nucli Linux, els controladors NVIDIA, el carregador d'arrencada, el sistema de fitxers de mostra, les utilitats intermitents i molts més per a la plataforma Jetson.
SDK de NVIDIA DeepStream
És un conjunt d'API i biblioteques per ajudar els desenvolupadors a dissenyar i organitzar solucions fortes d'IVA (analítica de vídeo intel·ligent) a la plataforma Jetson. S'utilitza per crear aplicacions complexes com la codificació, la captura d'imatges, la descodificació, la inferència amb TensorRT, etc.
SDK de NVIDIA Isaac
És un conjunt de biblioteques, API, controladors i altres eines que afegiran IA als robots de nova generació per a la navegació, la percepció i la manipulació. Per tant, ajuda a crear i desplegar robòtica impulsada per IA.
Tipus de NVIDIA Jetson
El mòdul NVIDIA Jetson inclou memòria, GPU, CPU, interfícies d'alta velocitat, gestió d'energia, etc. Aquests mòduls estan disponibles en diferents rendiments, eficiència energètica i variacions de factors de forma per fer-los servir en diverses indústries. Hi ha diferents dispositius NVIDIA Jetson disponibles que es comenten a continuació.
NVIDIA Jetson Nano
El mòdul NVIDIA Jetson Nano és adequat per a desenvolupadors o estudiants i també per a principiants perquè està dissenyat principalment per a l'aprenentatge i l'ensenyament pràctics. La mida d'aquest mòdul és petita, però la seva eficiència energètica i el seu rendiment són alts perquè sigui perfecte per executar múltiples xarxes neuronals paral·leles, càrregues de treball d'IA i processament de dades a partir de sensors d'alta resolució alhora. Per tant, el mòdul Jetson Nano és un dispositiu de punta molt popular que s'utilitza per fer productes i solucions d'IA incrustades.
Aquest mòdul és perfecte per a aplicacions de visió per ordinador basades en IA i realitza tasques de visió d'IA com ara detecció d'objectes, segmentació d'imatges, classificació d'imatges, etc. Aquest mòdul és molt compatible amb el programari de visió per ordinador de codi obert i les biblioteques d'aprenentatge automàtic OpenCV.
Sèrie NVIDIA Jetson TX2
El mòdul de la sèrie NVIDIA Jetson TX2 està dissenyat amb una mida de targeta de crèdit. Les característiques d'aquest mòdul inclouen principalment una GPU NVIDIA Pascal, fins a 8 GB de memòria, 59,7 GB/s d'amplada de banda de memòria i interfícies de maquinari estàndard. Aquest mòdul proporciona un rendiment fins a 2,5 vegades en comparació amb el mòdul NVIDIA Jetson Nano.
Aquest mòdul executa de manera molt eficient xarxes neuronals profundes en dispositius de punta per aconseguir una major precisió. Els mòduls disponibles a la sèrie inclouen principalment el Jetson TX2 4GB, Jetson TX2i, Jetson TX2 i Jetson TX2 NX. El mòdul NVIDIA Jetson TX2 NX simplement comparteix la compatibilitat de pins i factor de forma mitjançant el Jetson Xavier NX i el Jetson Nano.
Els tres mòduls restants compartiran el factor de forma del mòdul Jetson TX2 original. L'ús de la sèrie TX2 simplement varia en diverses indústries com l'agricultura, la fabricació, les ciències de la vida, la venda al detall, etc. El mòdul Jetson TX2i dels mòduls restants és el més adequat per a dispositius d'IA d'alt rendiment com equips mèdics, càmeres de visió artificial i robots industrials perquè del seu fort disseny.
Aquest mòdul és un aparell informàtic d'IA incrustat molt ràpid que ofereix una alta eficiència energètica com 7,5 W, capacitats de superordinador principalment per a dispositius d'IA de punta, i també diverses interfícies de maquinari per incorporar fàcilment a diferents productes i factors de forma.
NVIDIA Jetson Xavier NX
El mòdul NVIDIA Jetson Xavier NX és molt petit en comparació amb una targeta de crèdit amb un alt rendiment i eficiència energètica. També es coneix com el superordinador d'IA més petit del món per a sistemes perifèrics i integrats. Aquest mòdul ajuda especialment a executar sistemes d'IA complets.
Les funcions de Jetson Xavier NX també admeten tecnologies natives del núvol, de manera que és fàcil per als desenvolupadors actualitzar i gestionar productes d'IA. Aquest mòdul admet tots els models i marcs d'IA populars. Per tant, aquest mòdul s'adapta completament als sistemes d'IA d'alt rendiment, com ara càmeres intel·ligents, sistemes de visió d'alta resolució alimentats per IA, drons, robots comercials o equips mèdics.
El mòdul NVIDIA Jetson Xavier NX ofereix 21 operacions Tera per segon o TOPS per executar una càrrega de treball d'IA actual consumint 10 W d'energia. El factor de forma d'aquest mòdul és més compacte en comparació amb una targeta de crèdit. El mòdul Xavier NX executa diverses xarxes neuronals alhora i processa dades de diferents sensors d'alta resolució. Aquest tipus de mòdul s'utilitza per dissenyar aplicacions per a dispositius informàtics integrats i de punta que necessiten un alt rendiment, tot i que amb limitacions de pes, mida i potència importants.
Sèrie NVIDIA Jetson AGX Xavier
El mòdul NVIDIA Jetson AGX Xavier Series està desenvolupat principalment per a màquines intel·ligents autònomes de nova generació. Aquest mòdul ofereix fins a 32 operacions TOPS o Tera per segon de rendiment d'IA quan s'utilitza tan sols 10 watts. El desenvolupador de programari simplement pot organitzar ràpidament xarxes neuronals amb un conjunt d'eines de programari d'IA de NVIDIA.
Aquest mòdul proporciona diverses especificacions i capacitats de seguretat funcional perquè els desenvolupadors creïn productes de seguretat o certificats industrials. L'alt rendiment d'aquest mòdul pot fer-los adequats per a nombroses màquines autònomes com ara robots logístics i industrials, sistemes de fàbrica i grans drons.
Jetson Xavier NX Developer Kit
El kit de desenvolupament jetson xavier nx inclou un sòlid mòdul Xavier NX d'eficiència energètica que s'utilitza per a dispositius de punta alimentats amb IA. Aquest mòdul té algunes funcions com el suport natiu del núvol i accelera la pila de programari NVIDIA en només 10 W amb un rendiment superior a 10 vegades superior al Jetson TX2. Aquest kit de desenvolupament és utilitzat pels fabricants de màquines intel·ligents, startups d'IA i desenvolupadors d'aplicacions per dissenyar productes moderns amb una inferència d'IA compacta i altament precisa i un factor de forma eficient energèticament.
Jetson AGX Xavier Industrial
El mòdul industrial Jetson AGX Xavier forma part de la sèrie AGX Xavier. El disseny d'aquest mòdul és un factor de forma compatible amb pins que controla els models d'IA més actuals en aplicacions exigents. Aquest mòdul proporciona especificacions de vibració, xoc, temperatura ampliades, funcions de seguretat avançades, fins a 4 vegades la memòria i 20 vegades el rendiment del mòdul TX2i.
Aquest mòdul és molt útil perquè els dissenyadors dissenyin automatització, robòtica i altres productes intel·ligents. A més, també dissenya productes resistents i certificats per a la seguretat per oferir un alt rendiment per a aplicacions industrials, funcionals i de seguretat integrades en IA, amb un disseny de factor de forma robust i eficient energèticament.
Avantatges
El avantatges de NVIDIA Jetson incloure el següent.
- NVIDIA Jetson és adequat per a estudiants, desenvolupadors individuals i diferents organitzacions.
- La plataforma Jetson és molt popular perquè ofereix diversos avantatges com ara flexibilitat modular, programari unificat i suport per a tecnologies natives del núvol.
- Aquesta placa proporciona un conjunt de mòduls que són molt útils per a tot, des d'aplicacions bàsiques d'IA fins a dispositius molt complexos amb IA.
- Aquest tauler està alimentat a través d'una arquitectura de programari unificada que ajuda els desenvolupadors de la codificació repetitiva. Una vegada que necessiten capacitat d'AI/ML, poden incloure un mòdul Jetson relacionat al dispositiu i s'encarrega del treball pesat.
- La plataforma NVIDIA Jetson simplement admet tecnologies i fluxos de treball nadius del núvol com l'orquestració i la contenidorització, proporcionant als desenvolupadors la capacitat de desenvolupar ràpidament i ampliar productes d'IA.
- L'SDK NVIDIA JetPack està disponible amb un sistema operatiu Linux, API i biblioteques d'acceleració CUDA-X per a una varietat de dominis d'aprenentatge automàtic com la visió per ordinador i l'aprenentatge profund. També proporciona suport per a marcs d'aprenentatge automàtic com Caffe i Keras, biblioteques de visió per computador TensorFlow i OpenCV.
Desavantatges
Té molt pocs inconvenients tenint en compte el preu
- El mòdul nano NVIDIA Jetson no està disponible amb wifi dins.
- El mòdul nano NVIDIA Jetson inclou només dos pins PWM a la placa.
Aplicacions
Les aplicacions de NVIDIA Jetson inclouen les següents.
- El mòdul NVIDIA Jetson ofereix sistemes d'integració superiors que s'utilitzen per fer productes d'IA per a una varietat d'escenaris. Es tracta d'un mòdul d'eficiència energètica que s'utilitza per a la IA que inclou ordinadors d'alt rendiment, modulars i amb un factor de forma petit.
- Les plaques Nvidia Jetson estan dissenyades principalment per utilitzar-se en sistemes integrats com drons, robots i altres dispositius que necessiten un processament potent amb un format petit. Les aplicacions habituals de les plaques Jetson inclouen principalment dispositius mèdics, vehicles autònoms, senyalització digital, auriculars AR/VR, aplicacions de ciutat intel·ligent, etc.
- Aquest mòdul admet arquitectures de programari unificades per fer que el treball dels desenvolupadors de programari sigui molt senzill.
Els mòduls i dispositius NVIDIA Jetson són dispositius de punta optimitzats que s'utilitzen per desenvolupar sistemes Edge AI. - NVIDIA Jetson Nano Developer Kit és un ordinador molt potent i petit que executa diverses xarxes neuronals en paral·lel per a diverses aplicacions com ara detecció d'objectes, classificació d'imatges, processament i segmentació de la veu.
- El mòdul NVIDIA Jetson Nano és perfecte per a aplicacions de visió per ordinador basades en IA i executen tasques de visió d'IA com ara segmentació d'imatges, classificació d'imatges, detecció d'objectes, etc.
- Els mòduls Nano de NVIDIA Jetson aporten noves capacitats increïbles a milers de sistemes d'IA petits i eficients energèticament
- El mòdul NVIDIA Jetson Nano és compatible amb les biblioteques d'aprenentatge automàtic OpenCV i el programari de visió per ordinador de codi obert.
Q). Quin és el consum d'energia dels mòduls Jetson?
A). El consum d'energia del mòdul Jetson varia segons el model i l'ús. El mòdul Jetson Xavier, per exemple, té un consum d'energia típic d'entre 15 i 30 w, mentre que el Jetson TX2 pot consumir entre 7 i 15 w.
Q). Es pot utilitzar Jetson per a la detecció i el seguiment d'objectes en temps real?
A). Sí, les plataformes Jetson poden gestionar la detecció i el seguiment de la visió. El mòdul Nano és una GPU d'alt rendiment amb una plataforma informàtica de punta que es pot utilitzar principalment per a la detecció, el recompte i el seguiment.
Q). Amb quins tipus de sensors es pot connectar Jetson?
A). Els sensors de visió s'utilitzen per connectar Jetson amb diverses interfícies de càmera com USB, MIPI CSI i Ethernet. També poden connectar-se amb lidar, sensor ultrasònic i altres tipus, així com utilitzar diferents tipus d'interfície com l'I2C, SPI, etc.
Q). Quina diferència hi ha entre Jetson i Raspberry Pi?
A). La principal diferència entre aquests dos taulers és; NVIDIA Jetson es va desenvolupar per gestionar tasques d'IA i visió per ordinador molt exigents, mentre que la placa Raspberry Pi 4 té una GPU multimèdia de baixa potència que s'utilitza per a la informàtica i l'educació per a propòsits generals. Jetson es pot utilitzar per a funcions més avançades, com ara la descodificació i codificació de vídeo accelerada per maquinari mitjançant la seva potent GPU (Unitat de processament gràfic) i CPU (Unitat de processament central).
Q). Es pot utilitzar Jetson per a aplicacions de robòtica autònoma?
A). La robòtica i la indústria autònoma de demà seran impulsades mitjançant NVIDIA Jetson per a màquines intel·ligents i robòtica.
Així, això és una visió general de NVIDIA Jetson – avantatges i les seves aplicacions. Aquest mòdul és la plataforma líder a tot el món que utilitzen els desenvolupadors per fer productes avançats d'IA en totes les indústries. Aquests mòduls també són utilitzats pels estudiants i també pels entusiastes per obtenir experiència pràctica en l'aprenentatge de la IA per fer projectes sorprenents. La plataforma de Jetson consta principalment de petits kits de desenvolupament i mòduls de producció d'eficiència energètica. Aquí teniu una pregunta per a vosaltres, què és NVIDIA?
