Soutenance de thèse de Valentin EGLOFF

Ecole Doctorale
SCIENCES POUR L'INGENIEUR : Mécanique, Physique, Micro et Nanoélectronique
Spécialité
Sciences pour l'ingénieur : spécialité Micro et Nanoélectronique
établissement
Aix-Marseille Université
Mots Clés
calcul en mémoire,mémoire non volatile,architecture des systèmes,mur mémoire,mur énergétique,goulot d’étranglement de von Neumann
Keywords
in-memory computing,non volatile memories,system architecture,memory wall,energy wall,von Neumann bottleneck
Titre de thèse
Exploration et conception d’architectures de calcul de type in-memory à base de mémoires non volatiles émergentes
Exploration and conception of computing architectures of type computing in-memory based on emerging non volatile memories
Date
Jeudi 8 Décembre 2022 à 15:00
Adresse
MINATEC 3 parvis Louis Néel, 38054 Grenoble
Chrome 1
Jury
Directeur de these M. Jean-Michel PORTAL Aix Marseille Université
Rapporteur M. Gilles SASSATTELI LIRMM, Université Montpellier
Rapporteur Mme Lorena ANGHEL Spintec
Président M. Alberto BOSIO INL, Université Lyon 1
Examinateur M. Mathieu MOREAU IM2NP, Université Aix-Marseille
Co-encadrant de these M. Jean-Philippe NOEL CEA Grenoble

Résumé de la thèse

Les architectures d'aujourd'hui sont basées sur le modèle de von Neumann qui place au centre l'exécution des instructions. Ces architectures font face à de fortes limitations dans le contexte du big data. En effet, le mur mémoire est un phénomène lié à l'écart grandissant de performances entre les processeurs et les mémoires depuis les années 80. Pour atténuer cet écart, une hiérarchie de caches a été mise en place mais elle a en contrepartie largement augmentée la consommation énergétique sans être adaptée pour les grands jeux de données modernes. Non seulement ces architectures ont du mal avec une masse de données toujours croissantes à cause de leur haute consommation énergétique et leur faible débit, elles ne peuvent plus uniquement se baser sur les avancées technologiques pour s'améliorer. Ceci appelle à un changement de paradigme vers des architectures data centrées où le traitement de quantités de données massives en parallèle est le principe de base. De nouvelles mémoires non volatiles promettent du stockage haute densité et peuvent intégrer du calcul en mémoire. L'intérêt de calculer en mémoire est d'opérer là où se trouve la donnée, ou tout du moins le plus proche possible, pour supprimer les allées et venues permanentes entre la mémoire et les coeurs de calcul. Les solutions existantes utilisent du calcul analogique très efficace mais prompt au bruit et avec une flexibilité limitée. Quand les données doivent être réécrites en mémoire, l'endurance de ces mémoires non volatiles n'est pas discutée. Nous concevons un emballage numérique qui étend les fonctionnalités mémoire avec du calcul vectoriel et développons une plateforme de simulation pour faire de l'exploration architecturale. Notre circuit, bien nommé C-SRAM, peut être intégré avec la plupart des technologies mémoire et est équipé de sa propre mémoire SRAM. Nous démontrons qu'effectuer le calcul au sommet de la hiérarchie mémoire, c'est à dire proche du stockage permanent, permet une réduction de la consommation énergétique d'un facteur 17.4 et une accélération du traitement en moyenne d'un facteur 12.9 comparé à un traitement avec un coeur SIMD. Grâce à la mémoire tampon intégrée, l'endurance de la mémoire non volatile n'est pas impactée et de fait, l'espérance de vie du système s'en trouve augmentée par rapport à d'autres solutions de calcul en mémoire.

Thesis resume

Today computing centric von Neumann architectures face strong limitations in the data-intensive context of numerous applications. The key limitation is the memory wall due to increased performance gap between processors and memories. To mitigate this gap, cache hierarchy was introduced but it largely increased energy consumption while not being adapted for modern big datasets. Not only those architectures struggle with big datasets due to their high energy consumption and slow bandwidth, they can no longer be improved through technological advances such as node scaling. This calls for a paradigm shift to data centric architecture where treating massive amounts of data in a parallel fashion is the core principle. New emerging Non-Volatile Memories (NVM) promise high density data storage and can easily integrate In-Memory Computing (IMC). IMC purposes is to compute where the data is or the closest to, to suppress back and forth data movements from the memory to the cores. Existing solutions use analog computing that has high efficiency but limited flexibility. When data needs to be written back after computation, endurance of NVM is often not discussed. We design a digital wrapper that extends memory functionality with vector computing capabilities and develop a simulation platform for architecture exploration. Our digital wrapper, aka C-SRAM, can be integrated with most memory technologies and comes with its own small SRAM buffer. We demonstrate that computing at the top of the memory hierarchy, i.e. close to the permanent storage, grants in average 17.4x energy reduction and 12.9x speed-up versus SIMD baseline. Thanks to SRAM buffer, NVM's endurance is not impaired and thereby extends system lifetime compared to other IMC solutions.