Depuis deux ans, les fiches techniques d’ordinateurs portables et de téléphones affichent un nouveau chiffre en évidence, exprimé en TOPS. Il occupe la place que tenaient les mégahertz dans les années 1990, avec le même défaut : il mesure une capacité théorique dans des conditions idéales, et corrèle assez mal avec ce que l’appareil sait faire.
Un NPU est un accélérateur matriciel optimisé pour les calculs en basse précision. Il n’est ni plus puissant ni plus intelligent qu’un processeur graphique : il est beaucoup plus efficace par watt, sur une famille d’opérations très étroite. C’est cette efficacité, et non la puissance brute, qui rend possibles des usages qui tournent en continu sans vider la batterie.
Ce qu’un réseau de neurones demande comme calcul
Faire tourner un modèle entraîné consiste essentiellement à multiplier des matrices. Chaque couche prend un vecteur de nombres, le multiplie par une matrice de poids, ajoute un décalage et applique une fonction simple. On répète l’opération sur des dizaines de couches.
Ces opérations ont trois propriétés qui expliquent tout le reste. Elles sont massivement parallèles, chaque coefficient du résultat pouvant se calculer indépendamment. Elles sont extrêmement répétitives, la même séquence multiplier puis accumuler s’appliquant des milliards de fois. Et elles tolèrent une précision numérique faible, ce qui est le point le plus contre-intuitif.
La précision réduite, pierre angulaire de l’exercice
Un modèle est entraîné avec des nombres à virgule flottante sur 16 ou 32 bits. Pour l’exécution, on peut convertir ces poids en entiers sur 8 bits, voire 4, avec une perte de qualité souvent négligeable. Cette conversion s’appelle la quantification.
Le gain est double. La mémoire nécessaire est divisée par quatre en passant de 32 à 8 bits, ce qui compte énormément puisque l’exécution d’un modèle est presque toujours limitée par la bande passante mémoire, pas par le calcul. Et une multiplication d’entiers sur 8 bits mobilise une surface de silicium bien plus petite qu’une multiplication flottante, donc consomme beaucoup moins.
Un NPU est précisément une puce conçue pour ne faire que ça, très bien. Il contient un grand nombre d’unités de multiplication-accumulation en entiers, organisées en matrice, avec une mémoire locale placée au plus près pour éviter les allers-retours coûteux vers la mémoire principale.
Ce que les TOPS mesurent, et les trois choses qu’ils ignorent
TOPS signifie tera-opérations par seconde, soit mille milliards d’opérations élémentaires. Le chiffre s’obtient en multipliant le nombre d’unités de calcul par leur fréquence et par le nombre d’opérations que chacune traite par cycle. C’est un maximum théorique, atteignable uniquement si toutes les unités travaillent en permanence.
- La précision employée n’est pas toujours précisée. Le même matériel affiche un chiffre deux fois plus élevé en 4 bits qu’en 8 bits. Comparer deux valeurs sans connaître la précision de référence n’a aucun sens.
- La bande passante mémoire est absente du calcul. Or c’est elle qui limite en pratique. Un accélérateur très rapide relié à une mémoire lente passe l’essentiel de son temps à attendre les poids du modèle.
- La qualité du compilateur ne s’y voit pas. Traduire un modèle en instructions pour un accélérateur donné est un travail difficile. Une opération non prise en charge repart sur le processeur central, et l’ensemble du gain s’évapore.
Le résultat est qu’une puce annoncée à 50 TOPS peut se révéler plus lente qu’une puce à 40 TOPS sur une charge réelle, si la seconde dispose d’une meilleure mémoire ou d’une pile logicielle plus mûre.
Pourquoi ne pas simplement utiliser la carte graphique
Un processeur graphique fait le même type de calcul, souvent avec une puissance brute très supérieure. La question mérite donc d’être posée sérieusement.
| Processeur central | Processeur graphique | Accélérateur neuronal | |
|---|---|---|---|
| Point fort | Logique séquentielle complexe | Débit brut maximal | Efficacité énergétique |
| Consommation typique en charge | 15 à 100 W | 50 à 400 W | 1 à 5 W |
| Latence de démarrage d’une tâche | Très faible | Notable | Faible |
| Adapté à | Tout, sans exceller nulle part | Traitements ponctuels lourds | Traitements continus et légers |
La ligne de la consommation contient toute la réponse. Un accélérateur neuronal ne sert pas à aller plus vite, il sert à pouvoir tourner en permanence. Une suppression de bruit de fond pendant une visioconférence de deux heures, une transcription en continu, un flou d’arrière-plan sur un flux vidéo : ces tâches sont légères mais s’exécutent sans interruption. Les confier au processeur graphique viderait la batterie et ferait souffler les ventilateurs.
Les usages qui existent réellement aujourd’hui
En laissant de côté les démonstrations, voici ce qui tourne effectivement sur ces puces dans les appareils actuels.
- Traitement de la voix. Suppression du bruit ambiant, transcription automatique, détection du mot de réveil. Ce dernier cas est l’exemple canonique : il faut analyser le flux du microphone en permanence sans consommer.
- Traitement de l’image en direct. Détourage de l’arrière-plan, correction du regard, stabilisation, amélioration en basse lumière. Le pipeline photo d’un téléphone repose massivement dessus.
- Reconnaissance et indexation locale. Classement des photos, reconnaissance de texte dans une image, recherche par contenu. Tout se passe sur l’appareil, ce qui évite d’envoyer une photothèque entière sur un serveur.
- Petits modèles de langage. Résumé, reformulation, suggestion de réponse. Les modèles concernés font quelques milliards de paramètres, très loin de ceux qui tournent dans les centres de données.
Le seuil des 40 TOPS, et d’où il vient
Un grand éditeur de système d’exploitation a fixé ce niveau comme condition pour activer certaines fonctions d’IA locales, ce qui a transformé un chiffre technique en argument commercial. Il ne correspond à aucune propriété physique particulière : c’est un seuil défini pour garantir une expérience minimale sur une génération de matériel donnée.
L’argument de la confidentialité, examiné sérieusement
Faire tourner un modèle localement signifie que les données traitées ne quittent pas l’appareil. Pour une transcription de réunion, une photothèque ou un flux de caméra, la différence est réelle et importante.
Il faut toutefois lire cet argument avec précision. Le traitement local ne garantit pas que rien ne part : il garantit seulement que cette étape de traitement ne nécessite pas d’envoi. Une application peut parfaitement effectuer une reconnaissance en local puis transmettre le résultat, ou basculer vers un serveur quand la demande dépasse ce que le modèle local sait traiter. Ce basculement est d’ailleurs la norme dans les assistants actuels.
La bonne question à poser à propos d’une fonction n’est donc pas de savoir si elle utilise l’accélérateur neuronal, mais quelles données sortent de l’appareil, dans quelles circonstances, et ce qu’il est possible de désactiver.
Faut-il en tenir compte à l’achat
Pour un usage courant, ce critère se situe très loin derrière la quantité de mémoire vive, la qualité de l’écran et l’autonomie. Les fonctions concernées existent depuis longtemps sur le processeur central ou dans le nuage ; l’accélérateur les rend plus économes, pas nouvelles.
Le critère devient pertinent dans deux cas. Si vous faites beaucoup de visioconférence en mobilité, le gain d’autonomie sur les traitements audio et vidéo en continu est mesurable. Et si vous prévoyez d’exécuter des modèles localement, auquel cas il faut regarder la mémoire disponible et sa bande passante avant de regarder les TOPS.
Un accélérateur neuronal n’est pas un cerveau supplémentaire dans la machine. C’est un circuit spécialisé dans les multiplications de matrices en basse précision, dont le mérite tient à sa sobriété. Juger un appareil sur ses TOPS revient à juger une voiture sur son régime moteur maximal.