OpenAI a annoncé que ses nouveaux modèles ont obtenu des résultats nettement supérieurs lors de tests visant à migrer des logiciels écrits dans d'anciens langages de programmation vers des langages modernes. Le modèle GPT-6.1 Sol de l'entreprise a atteint un taux de précision de 97,9 % lors de l'évaluation mesurant la conversion d'anciens programmes COBOL.
La modernisation du code est particulièrement importante pour les secteurs critiques tels que la banque et la finance. Dans ces domaines, la simple traduction des anciens systèmes vers un nouveau langage ne suffit pas ; il est également nécessaire de préserver les calculs, les règles métier et le comportement des applications. Dans le cas contraire, même si le nouveau logiciel fonctionne, il existe un risque qu'il produise des résultats différents lors des transactions financières.
LE DÉFI DE LA PRÉSERVATION DU COMPORTEMENT DANS LE CODE ANCIEN
Le COBOL est encore largement utilisé dans l'infrastructure financière. Selon les estimations d'IBM, le COBOL prend en charge plus de 40 % des systèmes bancaires en ligne, 80 % des transactions par carte bancaire en face à face et 95 % des opérations aux guichets automatiques.
Parmi les raisons qui rendent la conversion difficile dans de tels systèmes, on trouve le manque de documentation technique ancienne et le fait que certaines règles métier fondamentales ne sont présentes que dans le code existant. Par exemple, en COBOL, des comportements tels que la suppression de chiffres excédentaires dans les décimales lorsqu'aucune instruction d'arrondi explicite n'est donnée peuvent affecter directement les résultats des calculs.
L'évaluation d'OpenAI mesure si les programmes convertis présentent le même comportement que le logiciel original après le transfert d'anciens programmes COBOL vers des langages tels que C++, Java, Kotlin, Python ou Rust. Pour être considérés comme réussis lors des tests, les nouveaux codes doivent passer des tests cachés et leurs sorties observables doivent être compatibles avec la version originale.
PROGRESSION ÉGALEMENT DANS LE TEST MULTILANGBENCH
L'entreprise a également testé ses modèles dans une évaluation distincte appelée MultiLangBench. Ce test mesure la capacité des modèles à développer un moteur de base de données compatible avec SQLite en utilisant 20 langages de programmation différents.
Selon les résultats de MultiLangBench, GPT-6 Astra a atteint un taux de réussite moyen de 87,4 %. Ce même taux était de 26,8 % pour le modèle GPT-5.6 Sol. Selon les données partagées par OpenAI, Astra a affiché de meilleures performances que le modèle précédent dans les 20 langages de programmation évalués.
La progression dans les anciens langages de programmation est également remarquable. Le taux de réussite en Fortran est passé de 21,4 % à 83,5 %, et en Visual Basic de 27,5 % à 89,4 %. Pour le COBOL, qui reste l'option la plus difficile parmi les langages testés, le taux de réussite de GPT-6 Astra est passé de 10,9 % à 72,1 %.
Les résultats d'OpenAI indiquent que la conversion de code assistée par intelligence artificielle pourrait devenir un outil plus puissant pour la modernisation des anciens logiciels d'entreprise. Néanmoins, dans des domaines critiques tels que la finance, la sécurité et le calcul scientifique, la transformation ne doit pas se limiter à une traduction automatique, mais doit être soutenue par des processus de vérification complets.
Source de l'actualité: 12punto
