OpenAI annonce le mode Ultrafast pour ChatGPT, promettant des réponses jusqu'à 14 fois plus rapides

OpenAI a annoncé Ultrafast, une nouvelle couche de service visant à réduire les temps de réponse dans l'expérience ChatGPT. Le mode, développé par l'entreprise pour GPT-5.6 Sol, a pour objectif d'offrir une production de sortie plus rapide, particulièrement pour les tâches complexes.

Selon l'annonce, le mode Ultrafast peut offrir une augmentation de vitesse allant jusqu'à 14 fois par rapport aux processus de traitement standard. Avec cette performance, il est indiqué que le modèle est capable de générer jusqu'à 750 jetons de sortie par seconde. Le jeton désigne les fragments de texte de base utilisés par les modèles d'intelligence artificielle lors de la génération de texte.

EN PHASE DE PRÉVISUALISATION

OpenAI souligne qu'une vitesse élevée ne signifie pas seulement des temps d'attente plus courts, mais qu'elle peut également permettre une utilisation plus efficace dans les flux de travail nécessitant une interaction en temps réel. L'entreprise précise que, jusqu'à présent, des modèles plus petits ou spécialisés étaient généralement privilégiés pour atteindre des objectifs de vitesse similaires, tandis qu'avec Ultrafast, l'accent est mis sur la production rapide de réponses même avec des modèles plus puissants.

L'infrastructure du mode Ultrafast repose sur une collaboration avec le fabricant de puces Cerebras. Le nouveau mode est actuellement en phase de prévisualisation et n'est accessible qu'à un groupe restreint de clients. OpenAI indique que l'accès sera progressivement élargi à mesure que la capacité des serveurs et de l'infrastructure augmentera.

Parmi les domaines d'utilisation visés par l'entreprise figurent les secteurs nécessitant une réaction rapide tels que la gestion de crise et d'incidents, le service client, les systèmes de support, l'analyse des marchés financiers et le commerce électronique. Aucun calendrier précis n'a été communiqué quant à la date de mise à disposition générale d'Ultrafast.