Accélérateur Materiel pour l'IA / / AI Accelerator

Topic description

L'Intelligence Artificielle des Objets est en plein essor avec des applications dans les capteurs intelligents, la santé, l'automatisation industrielle et les villes intelligentes. Cependant, ces dispositifs embarqués disposent de ressources limitées en puissance de calcul et en énergie, ce qui pose un défi majeur pour l'exécution des modèles d'intelligence artificielle, en particulier les réseaux de neurones profonds (DNNs). Ces derniers nécessitent des milliards d'opérations pour une seule inférence, ce qui rend leur intégration difficile sur des systèmes contraints en mémoire et en consommation énergétique.

Pour optimiser l'exécution des DNNs sur des dispositifs à faible consommation, plusieurs stratégies sont envisagées :

Compression des modèles pour réduire leur taille et leur complexité computationnelle.

Optimisation matérielle, notamment via des accélérateurs dédiés.

Méthodes de parallélisation permettant d'exploiter efficacement les unités de calcul.

Optimisation des stratégies d'exécution pour améliorer la réutilisation des données et minimiser les accès mémoire.

Axes de recherche et problématiques :

L'objectif principal de cette thèse est d'explorer les accélérateurs matériels spécialisés, en mettant l'accent sur les architectures mixtes analogique-numérique. Contrairement aux accélérateurs classiques (GPU, FPGA, ASIC) qui restent énergivores ou manquent de flexibilité, les accélérateurs mixtes exploitent les avantages du calcul analogique pour réduire la consommation d'énergie et le calcul en mémoire pour minimiser les transferts de données, qui sont particulièrement coûteux énergétiquement.

Les défis à relever sont multiples :

Optimisation des architectures mixtes

Réduction des effets non idéaux des circuits analogiques (bruit, variations de fabrication, non-linéarités).

Minimisation de l'impact des conversions analogique / numérique (A / N) et numérique / analogique (N / A), qui introduisent des pertes d'efficacité énergétique.

Développement de nouvelles topologies d'accumulateurs analogiques pour améliorer la précision et la robustesse du calcul.

Impact de la précision des calculs sur la performance des modèles DNN

Étude des compromis entre précision des calculs et consommation énergétique.

Développement d'algorithmes tolérants aux erreurs analogiques et aux imprécisions de calcul.

Exploration de stratégies de quantification des poids et activations adaptées aux architectures mixtes.

Développement d'un schéma efficace de calcul en mémoire

Exploration des technologies de mémoires émergentes (RRAM, PCM, FeRAM, memristors) pour le stockage et le calcul in situ.

Intégration du Processing-in-Memory (PIM) pour exécuter des multiplications et accumulations directement dans la mémoire.

Optimisation de la gestion de l'énergie et de la répartition des ressources mémoire-calcul pour maximiser l'efficacité du système.

Perspectives et impact

Les résultats attendus de cette recherche permettront de réduire significativement la consommation énergétique des accélérateurs dédiés à l'AIoT, tout en maintenant des performances élevées en inférence. En optimisant l'architecture matérielle et en co-concevant les algorithmes avec le matériel, ce projet contribuera à l'évolution des systèmes embarqués intelligents, ouvrant la voie à des applications plus autonomes et performantes dans des environnements contraints.

Artificial Intelligence of Things is rapidly expanding, with applications in smart sensors, healthcare, industrial automation, and smart cities. However, these embedded systems have limited computing power and energy resources, making it challenging to run deep neural networks (DNNs) efficiently. DNNs require billions of operations for a single inference, making their integration difficult on memory- and power-constrained devices.

To optimize the execution of DNNs on low-power AIoT devices, several strategies can be applied :

Model compression to reduce size and computational complexity.

Hardware optimization, particularly through dedicated accelerators.

Parallelization methods to efficiently utilize computing units.

Execution optimization strategies to improve data reuse and minimize memory access.

Research Focus and Challenges :

The primary goal of this research is to explore hardware accelerators, with a particular emphasis on mixed-signal architectures. Unlike traditional accelerators (GPU, FPGA, ASIC), which are either power-hungry or lack flexibility, mixed-signal accelerators leverage the advantages of analog computing to reduce energy consumption and in-memory computing to minimize costly data transfers.

Several key challenges must be addressed :

Optimization of mixed-signal architectures

Reducing the non-ideal effects of analog circuits (noise, fabrication variations, non-linearity).

Minimizing the impact of analog-to-digital (A / D) and digital-to-analog (D / A) conversions, which introduce energy inefficiencies.

Developing new analog accumulation topologies to improve precision and robustness in computation.

Impact of computational precision on DNN performance

Investigating the trade-offs between computational precision and energy efficiency.

Developing algorithms that are resilient to analog errors and computation imprecisions.

Exploring quantization strategies for weights and activations tailored to mixed-signal architectures.

Development of an efficient in-memory computing scheme

Exploring emerging memory technologies (RRAM, PCM, FeRAM, memristors) for both storage and in-memory computation.

Integrating Processing-in-Memory (PIM) to perform multiplications and accumulations directly within memory.

Optimizing energy management and memory-compute resource allocation to maximize system efficiency.

Perspectives and Impact :

The expected outcomes of this research will significantly reduce the energy consumption of AIoT hardware accelerators while maintaining high inference performance. By optimizing the hardware architecture and co-designing algorithms with hardware constraints in mind, this project will contribute to the advancement of intelligent embedded systems, enabling more autonomous and efficient AI applications in constrained environments.

Début de la thèse : 01 / 10 /

Funding category

Funding further details

Concours IPP ou école membre

• Contrat doctoral Hi!Paris