Pour écrire un poème à votre petite amie, GPT-4, un système d’intelligence artificielle,
nécessite des ordres de grandeur plus d’énergie que votre cerveau.
C’est parce que l’IA ne fonctionne pas vraiment comme le cerveau. Au contraire, il fonctionne comme n’importe quel autre logiciel informatique, inondant les micropuces d’énormes quantités de signaux binaires sous la forme de zéros et de uns, consommant ainsi de l’électricité.
Kwabena Boahen, PhD, professeur de bio-ingénierie et de génie électrique, admire l’efficacité et l’élégance du cerveau et a consacré sa carrière au développement d’un ordinateur qui fonctionne réellement de cette façon. Il a récemment fait un grand pas dans cette direction avec le développement d’un nanotransistor qui imite une dendrite, une fine fibre qui dépasse d’une cellule nerveuse.
Les dendrites sont généralement considérées comme des câbles permettant de recevoir des signaux électriques que les cellules nerveuses ou les neurones utilisent pour se transmettre des informations. Mais Boahen et de nombreux autres scientifiques soupçonnent que les structures ramifiées font bien plus : elles décodent les modèles de signaux pour aider les neurones à décider s’ils doivent « augmenter » ou transmettre leurs propres signaux.
Ce qui est remarquable, selon Boahen, c’est la quantité d’informations que quelques pointes neuronales peuvent transporter avec l’aide de dendrites pour leur interprétation. Une puce informatique qui s’appuie sur des signaux analogiques clairsemés pourrait conduire à des économies d’énergie significatives, compte tenu notamment des énormes exigences informatiques de l’IA. Ce type de puce pourrait également contourner le défi consistant à protéger les micropuces contre la surchauffe. Boahen espère que le dispositif qu’il a inventé, qu’il appelle nanodendrite, contribuera un jour à atteindre ces objectifs.
« Les réseaux de neurones d’aujourd’hui ressemblent autant à un cerveau qu’un avion à un oiseau. »
Kwabena Boahen, PhD, professeur de bio-ingénierie et de génie électrique
La nanodendrite est le produit de l’informatique neuromorphique – le développement de matériel informatique et de logiciels fonctionnant comme le cerveau. Il s’agit d’un domaine émergent motivé principalement par le désir de répondre aux exigences informatiques de l’IA et de réduire l’énorme consommation d’énergie. Des entreprises technologiques telles qu’IBM, Intel et HP, ainsi qu’un certain nombre d’universités, ont investi du temps et de l’argent dans le développement de micropuces neuromorphiques.
Boahen est l’un des pionniers dans ce domaine. Étudiant dans les années 1980, il conçoit sa première puce neuromorphique. Après avoir rejoint la faculté de Stanford en 2006, il a proposé Neurogrid, un circuit imprimé qui simulerait 1 million de neurones avec 6 milliards de synapses, les structures dans lesquelles les signaux sont transmis entre neurones.
Son laboratoire Brains in Silicon a achevé le projet en 2010 et en a rendu compte en 2014. Actes de l’Institut des ingénieurs électriciens et électroniciens. Boahen et ses co-auteurs ont découvert que Neurogrid était environ 100 000 fois plus économe en énergie qu’une simulation informatique traditionnelle d’un million de neurones. Cependant, ils ont également découvert qu’un cerveau humain doté de 80 000 fois plus de neurones ne nécessite que trois fois plus d’énergie. Boahen espère que la nanodendrite contribuera à combler cette lacune.
Accablé par la technologie informatique
Enfant ayant grandi dans la banlieue d’Accra, la capitale du Ghana, Boahen souhaitait apprendre les premiers principes. Il a démonté les moteurs et l’électronique. Il a construit un microscope. « Je voulais juste savoir à ma manière comment les choses fonctionnent, les comprendre et essayer de les recréer », a-t-il déclaré.
Au début des années 1980, son père, professeur d’histoire à l’Université du Ghana, revenait d’un congé sabbatique en Angleterre avec un ordinateur de bureau. Boahen hésita à le démonter. « J’étais trop intimidé par cette chose », a-t-il déclaré. « Alors je suis allé à la bibliothèque et j’ai tout lu sur le fonctionnement d’un ordinateur – vous savez, sur la mémoire, la RAM, le compteur de programme et comment exécuter une instruction de branchement. Et je n’ai pas été impressionné du tout. Je pensais que ce serait de la force brute – juste beaucoup de circuits. Il devait y avoir une manière plus élégante.
En tant qu’étudiant à l’Université Johns Hopkins, Boahen a eu un aperçu de ce à quoi pourrait ressembler cette voie lorsqu’il a assisté à une conférence d’un biophysicien qui a montré comment former un réseau neuronal, un type d’IA capable d’apprendre de ses erreurs. Il était accro.
Après avoir obtenu une licence et une maîtrise en génie électrique à l’Université Hopkins, il s’est inscrit à un programme d’études supérieures au California Institute of Technology, où il a obtenu un doctorat en informatique et en systèmes neuronaux.
Il a déclaré que même si l’ingénierie neuromorphique a fait de grands progrès au cours des dernières décennies, le domaine reste largement ambitieux – en particulier lorsqu’il s’agit de concevoir des systèmes qui imitent l’architecture du cerveau plutôt que de simplement s’inspirer du cerveau.
« Les réseaux neuronaux d’aujourd’hui ressemblent autant à un cerveau qu’un avion à un oiseau », a-t-il déclaré.
Selon Boahen, l’un des problèmes est que l’IA repose sur un mode de calcul « synaptocentrique », dans lequel la moitié des nœuds – des lignes de code binaire qui fonctionnent comme les neurones de l’IA – répondent à une entrée. Certaines de ces réponses sont faibles et d’autres fortes, selon la manière dont le réseau a configuré les synapses ou les connexions – encore une fois, plus de code – entre les nœuds. Toutefois, la plupart d’entre eux sont actifs.
Si la plupart de nos 86 milliards de neurones s’envoyaient constamment des signaux à travers leurs 100 000 milliards de synapses, notre cerveau surchaufferait, a déclaré Boahen.
Aujourd’hui, cela représente un risque pour les puces informatiques, qui tentent de faire face à des demandes de traitement toujours croissantes tout en étant confrontées à des limites quant à la taille de leurs circuits intégrés et à l’efficacité avec laquelle la chaleur qu’ils génèrent peut être dissipée. Depuis le milieu du XXe siècle, les ingénieurs ont réussi à doubler le nombre de transistors sur une puce tous les deux ans environ. Cependant, ce taux de croissance devrait culminer cette décennie : même si les circuits et les transistors deviennent plus petits, ils consomment la même quantité d’énergie, ce qui entraîne une densité énergétique plus élevée qui menace de les épuiser.
Une approche « dendrocentrique »
Pour surmonter cet obstacle, Boahen a proposé un mode de calcul « dendrocentrique », dont il a parlé dans un article. Nature Article publié à la fin de l’année dernière. Il affirme que les ordinateurs pourraient utiliser un système unaire au lieu d’un système de signalisation binaire, comme le fait le cerveau.
Les signaux du cerveau sont plus rares, mais ont une plus grande signification en raison de leur ordre. Lorsque les neurones A à J reçoivent des signaux de certains autres neurones, provoquant la production de pointes par A, B et C – dans cet ordre – et qu’une dendrite sur un neurone voisin reconnaît ce modèle comme faisant partie des informations nécessaires au traitement de l’odeur, par exemple de un neurone a besoin de peau d’orange, ce neurone génère son propre pic. Cependant, si la dendrite reconnaît la séquence BAC, le neurone ne produira pas de pic.
Pour qu’un tel système fonctionne dans une machine, il faut un transistor capable d’agir comme une dendrite – en d’autres termes, il peut déterminer si une séquence de signal mérite un pic. Boahen affirme que la nanodendrite peut faire cela. Il s’agit essentiellement d’une variante d’un transistor ferroélectrique à effet de champ, une technologie vieille de plusieurs décennies qui utilise des matériaux dont la polarisation électrique naturelle s’inverse lorsque le courant les traverse.
« Il faudrait des idées de recherche innovantes pour trouver des solutions, mais je suis optimiste que nous y parviendrons. »
H.-S. Philip Wong, PhD, professeur de génie électrique
Comme la porte logique d’une puce électronique traditionnelle (un circuit qui exécute des fonctions logiques sur une ou plusieurs entrées binaires et fournit une sortie), la nanodendrite utilise une série de portes pour déterminer si une séquence de signaux doit lui faire transmettre son propre signal.
Il a conçu avec H.-S. le petit transistor. Philip Wong, PhD, professeur de génie électrique et professeur Willard R. et Inez Kerr Bell à l’École de génie, ainsi que les étudiants diplômés Matthew Beauchamp et Hugo Chen.
Chen présentera un document expérimental de validation de principe illustrant le fonctionnement de la nanodendrite en décembre lors de l’International Electron Devices Meeting, le premier forum consacré aux progrès réalisés dans la technologie des semi-conducteurs et des dispositifs électroniques.
« Du point de vue de la technologie des appareils, de nombreuses questions restent sans réponse », a déclaré Wong, qui dirige le Stanford Nanofabrication Facility. L’une de ces questions est de savoir comment construire des nanodendrites en trois dimensions, c’est-à-dire empilées les unes sur les autres dans une seule puce de silicium. « Cependant, je ne crois pas que ces questions sans réponse représentent des obstacles fondamentaux », a ajouté Wong. « Il faudrait des idées de recherche innovantes pour trouver des solutions, mais je suis optimiste que nous y parviendrons. »
Boahen est également optimiste. Une telle technologie, si elle était disponible dès maintenant, pourrait réduire les signaux GPT de 400 fois, ce qui entraînerait une réduction correspondante de la consommation d’énergie. Il admet que le travail en est encore à ses débuts et qu’une véritable puce informatique dendrocentrique sera probablement encore à environ une décennie de sa réalisation.
« Mais une fois que vous l’avez vu, vous ne pouvez pas l’ignorer », a-t-il déclaré.