Embedded Systems for deep learning inference in AI industrial applications. Solutions based on VPU, GPU and FPGA
La Edge AI consiste nell'applicazione di algoritmi d'intelligenza artificiale a bordo di edge computer che sono dislocati alla periferia della rete e che comunicano e/o ripartiscono il proprio carico di lavoro con un cloud o un server privato. Questo approccio consente di ovviare ai limiti del cloud e consentire l'operatività tipica delle applicazioni industriali.
Nell'implementazione dell'intelligenza artificiale è bene distinguere tra machine learning in cui vengono prese decisioni sulla base di modelli e strutture pre-acquisite e deep learning che si spinge oltre applicando le conoscenze apprese a set di dati del tutto nuovi. Il deep learning si basa su architetture di reti neurali (DNN) profonde e ricorrenti. Queste reti neurali artificiali sono simili alla struttura del nostro cervello. Dati come immagini, suoni e testo vengono utilizzati per creare rappresentazioni con caratteristiche che li definiscono e che risultano dall'astrazione dei dati di input su diversi livelli di nodi paralleli. In questo modo, problemi non lineari complessi possono essere risolti indipendentemente.
Nella Edge AI esistono due fasi fondamentali: il training in cui vengono fornite al modello informazioni sufficienti per poter svolgere con una certa accuratezza l'inferenza a livello edge, ovvero il meccanismo con cui il sistema di AI è in grado di svolgere ragionamenti induttivi alla periferia della rete in quello che è definito processo di inferenza.
Per eseguire i processi di training ed inferenza in maniera performante ed efficiente sono necessarie piattaforme hardware dedicate che sono ottimizzate in base ai vari framework e linguaggi di programmazione. Sono 5 le architetture principali utilizzate in applicazioni industriali: CPU, GPU, VPU, TPU ed FPGA. Ciascuna architettura presenta le proprie peculiarità e si adatta a specifici ambiti applicativi. Un approccio tipico è quello che vede il coesistere di architetture CPU con acceleratori hardware come VPU, GPU, TPU ed FPGA, in grado di processare in maniera efficiente gli algoritmi di IA. La nostra gamma di prodotti spazia da sistemi per inferenza a basso consumo basata su VPU fino a soluzioni per GPU ad alta potenza (fino a 350w). La gamma comprende anche soluzioni server per training.
