Un nouvel outil open source destiné à la série NVIDIA GeForce RTX 30 a attiré l'attention des utilisateurs qui suivent de près les performances des cartes graphiques dans les applications d'intelligence artificielle. Le module de noyau Linux nommé Zagitta, partagé sur GitHub, augmenterait considérablement les performances de calcul FP16 et BF16 sur certaines cartes basées sur l'architecture Ampere.
Selon les informations transmises, l'outil fonctionne sans nécessiter de flashage du vBIOS ni d'intervention physique sur la carte. Le module, qui intervient sur les sélecteurs de vitesse au niveau matériel avant l'activation du pilote NVIDIA, augmenterait la vitesse de traitement des instructions FP/BF16 FMA sur les puces graphiques GA102, GA103, GA104 et GA106.
Les tests partagés sur les réseaux sociaux et au sein des communautés de développeurs pointent particulièrement la série RTX 30. Il est ainsi avancé que sur le modèle RTX 3090 Ti, la puissance de calcul BF16 passerait de 87,5 TFLOPS à 157,4 TFLOPS, et que la performance TF32 passerait de 42,5 TFLOPS à 82,6 TFLOPS. Pour la RTX 3080 10 Go, il est rapporté que la performance FP16/BF16 passerait d'environ 65 TFLOPS à une fourchette de 110-113 TFLOPS, à la limite de puissance d'origine de 320W.
LA LATENCE RÉDUITE DANS LES TESTS LLM
Les résultats partagés mettent en avant non seulement la puissance de calcul brute, mais aussi les scénarios impliquant de grands modèles de langage (LLM). Il est rapporté que le temps de préchargement lors de requêtes à long contexte est accéléré d'environ 33 à 36 %, et que la latence pour obtenir la première réponse est réduite d'environ 25 %. En revanche, il est précisé qu'aucun changement significatif n'est observé lors de la phase de « décodage », où la génération de texte se poursuit.
Il est indiqué que Zagitta est actuellement utilisé sous Linux et principalement sur les puces Ampere de la série RTX 30. Bien que la série RTX 40 soit parfois mentionnée dans certaines discussions, les notes techniques précisent qu'il n'y a pas de support pour cette série et qu'il est nécessaire de désactiver le Secure Boot. Pour cette raison, l'outil ne doit pas être considéré comme une solution standard et sans risque pour les utilisateurs grand public.
Cette évolution se répercute également sur le marché des cartes graphiques d'occasion. Les utilisateurs qui exécutent des modèles d'IA ou qui effectuent du réglage fin (fine-tuning) se tournent particulièrement vers les modèles RTX 3090 et RTX 3090 Ti, dotés de 24 Go de VRAM. Il est rapporté que les annonces pour des RTX 3090, qui se situaient auparavant autour de 1 000 dollars sur les plateformes d'occasion internationales, dépassent désormais le seuil des 2 000 dollars, tandis que des prix de 2 650 à 3 000 dollars sont évoqués pour la RTX 3090 Ti.
Ce tableau crée une option de calcul à moindre coût pour les développeurs en IA, mais signifie une nouvelle pression sur les prix pour les joueurs. La pérennité de cette demande dépendra de la fiabilité technique de l'outil, de sa compatibilité avec les futures mises à jour des pilotes et de l'appétence au risque des utilisateurs.
Source de l'actualité: 12punto
