Les discussions battent leur plein à propos de l’intelligence artificielle dans le domaine du génie logiciel. Un sujet central : son impact dans la filière avec, notamment, la question phare de la possible mise au rebut des développeurs humains par l’intelligence artificielle. Une récente analyse de 5 millions d’offres d’emploi freelance sur Upwork débouche sur la conclusion que les développeurs ne figurent pas parmi les professionnels en cours de remplacement par l’intelligence artificielle. Elle note plutôt une augmentation de leurs sollicitations sur la plateforme depuis le lancement de l’IA ChatGPT d’OpenAI. Dans les chiffres, les offres d’emploi en développement de logiciels sont en hausse avec 6 % et 4 % de façon respective pour le développement web frontend et backend, ce, pour la période comprise entre le 1er novembre 2022 et le 14 février 2024.
L’enquête a en sus mis en avant une augmentation des offres d’emploi en développement d’agents d’intelligence artificielle, intégration d’API ChatGPT et développement de chatbots. Le rapport laisse ainsi entendre qu’il fait bon en tant que développeur d’avoir des compétences en particulier pour le développement ou l’intégration d’intelligences artificielles.
Une analyse cohérente avec les résultats d’une étude selon laquelle l’intelligence artificielle générative ne remplacera pas les développeurs de sitôt
Des chercheurs de l'université de Princeton ont développé un cadre d'évaluation basé sur près de 2300 problèmes courants de génie logiciel montés à partir de rapports de bogues et de feature requests soumis sur GitHub afin de tester la performance de divers modèles de grands langages (LLM).
Les chercheurs ont fourni à différents modèles de langage le problème à résoudre et le code du dépôt. Ils ont ensuite demandé au modèle de produire un correctif réalisable. Ce dernier a ensuite fait l’objet de tests pour s'assurer qu'il était correct. Mais le LLM n'a généré une solution efficace que dans 4 % des cas.
Leur modèle spécialement entraîné, SWE-Llama, n'a pu résoudre que les problèmes d'ingénierie les plus simples présentés sur GitHub, alors que les LLM classiques tels que Claude 2 d'Anthropic et GPT-4 d'OpenAI n'ont pu résoudre que 4,8 % et 1,7 % des problèmes, de façon respective.
Et l’équipe de recherche de conclure : « le génie logiciel n’est pas simple dans la pratique. La correction d'un bogue peut nécessiter de naviguer dans un grand référentiel, comprendre l'interaction entre des fonctions dans différents fichiers ou repérer une petite erreur dans du code alambiqué. Cela va bien au-delà des tâches de complétion de code. »
C’est la raison pour laquelle Linux Torvalds a tenu à se désolidariser de tout le battage médiatique autour de l’intelligence artificielle. Il la considère comme un outil au stade actuel de son évolution. Il suggère d’ailleurs la révision de code comme domaine d’application de l’intelligence artificielle. La capacité de l’intelligence artificielle à « deviner » l’intention du développeur lui sera utile pour obtenir du code fiable en un temps réduit. Une condition demeurera toutefois nécessaire : le développeur devra à son tour examiner ce que l’intelligence artificielle lui propose.
En fait, « le développeur reste l'expert, qui comprend le code et vérifie que ce qui a été synthétisé par l'intelligence artificielle correspond bien à l'intention du développeur », comme le souligne le CEO de GitHub. Grosso modo, l’intelligence artificielle est à un stade d’évolution tel qu’elle ne saurait servir de raccourci à des personnes qui pensent ne plus avoir à faire usage de leur créativité ou de leur esprit critique.
Même Google le confirme lors de l’annonce selon laquelle son IA Bard peut désormais aider à coder et à créer des fonctions pour Google Sheets : « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. »
Et vous ?
Que pensez-vous des chiffres mis en avant au travers des résultats de cette analyse de 5 millions d’offres d’emploi freelance sur la plateforme Upwork ? Sont-ils crédibles ? Quels biais la méthodologie choisie introduit-elle ?Voir aussi :
« Nous avons confié à Devin de vraies offres sur une plateforme de recrutement et il a rendu satisfaction », soulignent les auteurs à propos de leur IA ingénieur logiciel « entièrement autonome » « Apprendre à programmer sera inutile à l'avenir », d'après le PDG de Nvidia, selon lequel l'intelligence artificielle fera de tous des programmeurs au travers du langage naturel Sam Altman assure que GPT-5 va bénéficier d'une amélioration massive par rapport à GPT-4, faisant « un bond en avant dans les capacités de raisonnement avancées »