Entre performance et compréhension de l'intelligence

Bruno:
Depuis des siècles, on cherche à comprendre ce qui fait l'intelligence humaine, à philosopher, à théoriser, et à force d'essayer, on a fini par créer des machines capables de nous battre aux échecs. Mais est-ce que battre un humain aux échecs, ou un jeu en général, veut dire comprendre l'humain ? Est-ce que reproduire un cerveau, c'est aussi facile que de dessiner un neurone sur une feuille de papier ? Et est-ce qu'au fond, on ne construit pas juste des boîtes noires qui brillent, sans qu'on sache vraiment pourquoi ? Mais alors, pourquoi les échecs sont-ils devenus le laboratoire favori de l'IA ? En quoi nos réseaux de neurones artificiels ressemblent-ils, ou pas du tout, à nos cerveaux ? Et surtout, est-ce qu'on finira par créer une IA qui ne saura même plus perdre exprès pour nous faire plaisir ? Pour répondre à ces questions d'intelligence relative, je ne reçois pas Deep Blue, mais il s'y connaît en mauvais perdant. Alexis, bonjour.

Alexis:
Bonjour Bruno.

Bruno:
Alors Alexis, est-ce que tu peux te présenter pour les quelques personnes qui ne te connaîtraient peut-être pas ?

Alexis:
Oui, alors moi je travaille dans le monde de l'informatique depuis 7-8 ans, je fais différents types de boulot, plutôt de dev aussi, un boulot un peu plus fonctionnel. Et avant ça j'ai fait des études un peu trop longues, j'ai d'abord étudié la philosophie. Ce qui m'intéressait c'était tout ce qui était la théorie de la connaissance, comprendre quelle était la différence entre une théorie physique et ce qu'on pouvait dire dans certaines émissions de télé. Comment ça se fait qu'on arrivait à connaître des choses et sauf que, en philosophie on pose plus de questions qu'on nous donne des réponses et moi ce qui m'intéressait quand même c'était un peu les réponses et j'ai bifurqué vers la physique théorique et en physique théorique j'ai étudié les systèmes complexes et un des systèmes complexes qu'on a étudié lors de mon parcours c'était les algorithmes parce qu'effectivement on a découvert qu'on s'est rendu compte plutôt que les algorithmes avaient des comportements de systèmes complexes. D'ailleurs, le dernier prix Nobel de physique, c'est Geoffrey Hinton, qui n'a pas fait de physique en tant que tel. Enfin, il n'a pas étudié des phénomènes naturels. Lui, ce qu'il a étudié et mis en place, c'est des algorithmes, mais des algorithmes qui fonctionnent. C'était une manière un peu de certifier le fait que les algorithmes étaient devenus des phénomènes naturels. Et ça, ça m'a amené à travailler dans l'informatique et à m'intéresser au sujet d'intelligence artificielle. Et du coup, ce livre, c'est un peu le résultat de toutes mes obsessions, de toutes mes obsessions entre, d'un côté, ma passion pour les échecs, des questions de philo, et puis en même temps, les dernières actualités autour de l'informatique.

Bruno:
Oui, parce que l'histoire de l'IA est très liée aussi un petit peu aux échecs. J'ai parlé un peu de Deep Blue rapidement dans l'intro, mais ça a été un peu les prémices de ce qu'on appelle l'IA aujourd'hui ?

Alexis:
Oui, en fait, dès le début de l'intelligence, en fait, quand on lance le mot, l'invention du mot intelligence artificielle, c'est environ dans les années 50, et ça vient remplacer un autre mot qui s'appelait, avant, Automated Studies, donc les études d'automatisation, sauf que c'était un mot pas très sexy, donc on a remplacé ça par un mot un peu plus incompréhensible parce qu'on ne sait pas trop ce que c'est que l'intelligence l'intelligence artificielle c'est encore plus compliqué, et donc un mot un peu plus marketing mais un des, premiers problèmes qu'on a essayé de résoudre en faisant de l'intelligence artificielle ça a été de faire des programmes qui pouvaient jouer à des jeux de plateau notamment le jeu d'échec, le jeu d'âme mais le jeu d'échec ça a été typiquement un très bon problème pour l'intelligence artificielle parce que, en fait, typiquement, c'est une tâche qui requiert de l'intelligence pour l'être humain. Donc, on se disait que si on arrivait à faire des programmes qui arrivaient à jouer aux échecs, on allait réussir à faire des programmes intelligents. Savoir ce que ça veut dire, c'est une question. Et ce qui est intéressant, d'ailleurs, c'est pour ça qu'on appelait les échecs la drosophile de l'IA, au sens où, La drosophile, c'est cette espèce de mouche à viande très simple, dont le code génétique est très simple, et qui a servi aux généticiens comme cobayes pour découvrir des propriétés sur la génétique. De la même manière, les échecs, c'était un problème suffisamment... C'est une sorte de modélisation de la question du choix, les échecs. Un échequier, c'est un univers simplifié, quadrillé sur 64 cases. Et chaque joueur doit faire un choix pour prendre un coup. Et en fait, c'est une manière de... C'est un exemple de... C'est une métaphore de notre intelligence. Nous, dans notre vie, on doit prendre des choix. On est confronté à différentes... On doit choisir parmi plusieurs options. Et c'est notre intelligence qui nous fait choisir le meilleur choix. Donc, la question du meilleur coup aux échecs, c'est un choix qui typiquement requiert de l'intelligence.

Bruno:
Et en même temps, c'est un... J'ai vu j'ai eu un cours avec Luc Julia il n'y a pas très longtemps où il parle du côté très, très discret de l'intelligence artificielle c'est à dire qu'en fait on peut faire une IA qui est très bonne aux échecs on peut faire une IA qui est très bonne, au go, on peut faire une IA qui est très bonne sur des sujets très spécifiques mais on n'a pas une IA qui va être capable aussi de, passer d'un sujet à l'autre comme ce que nous on va être capable de faire avec une capacité d'adaptation et de compréhension de choses que Lien ne sait pas faire aujourd'hui tu parles de cet exemple de choix qui est, nécessaire de faire aux échecs mais c'est un type de choix qui est quand même assez spécifique parce qu'effectivement c'est dans un cadre très donné, c'est pas comme tu vois je sais pas si c'est pas question.

Alexis:
De clair c'est très clair c'est un des sujets dont je parle dans le livre, et effectivement c'est une des leçons d'échec il y a un mort dans un jeu de mots sur le fait d'échecs parce que c'est un des trucs on appelle ça en anglais the bitter lesson of artificial intelligence c'est le fait que, dans le domaine des échecs on est allé un peu au bout de cette automatisation, donc on a réussi à automatiser le joueur d'échecs parfait, pas parfait parce qu'en fait il n'y a pas de coup parfait parce qu'il y a trop de coups possibles donc on peut pas c'est toujours des approximations qu'on fait mais les approximations qui sont faites par les programmes sont bien meilleures que n'importe que fait n'importe quel joueur d'échec donc aujourd'hui, mais, justement on a fait des programmes qui étaient surperformants Dibloo qui en 97, Bakasparov étonne le monde entier parce qu'on pensait pas que c'était possible de battre de si grands joueurs d'échec mais après il se trouve que Dibloo n'a pas résolu d'autres problèmes Dibloo effectivement ce que tu dis et ce que je l'ai dit c'est que, Dibloo il fait une tâche mais est-ce que c'est ça mais est-ce que battre un être humain aux échecs, est-ce que c'est l'intelligence ? Une des définitions d'intelligence serait plutôt pas seulement faire une tâche mais plutôt la capacité à apprendre de nouvelles tâches.

Bruno:
Alors du coup tu pourras peut-être confirmer ou infirmer une histoire que j'ai déjà racontée plusieurs fois à ce micro, c'est que la victoire de Dibloo face à Kasparov, en fait il y a eu un bug dans un coup décidé par, Dibloo et que ça a déstabilisé Kasparov et que c'est pour ça qu'il a perdu les trois derniers matchs, parce qu'il était, influencé, il était inquiété, il était mis dans un état d'esprit, qui l'aurait amené à perdre.

Alexis:
Ce qui est compliqué dans le match entre Deep Blue et Kasparov c'est que juste après le match IBM qui était l'entreprise qui a construit, ce super ordinateur qui était Deep Blue à l'époque qui en fait aujourd'hui on arrive à faire tourner des programmes similaires sur un téléphone portable. Ils ont démonté assez vite le truc on a pendant très longtemps pu ne pas pu avoir accès au log donc il y a eu une sorte de mystère autour de, ce qui s'était réellement passé algorithmiquement dans la décision de l'ordinateur de faire un certain coup. Parce qu'effectivement, ce qui se passe, c'est que dans le match je ne sais plus, 4, 3, je ne me souviens plus, Kasparov a une position qui est un peu inférieure à celle de Deep Blue, et du coup il décide de faire un... Il décide de proposer un sacrifice d'une pièce de pion. Et en se disant en fait la machine elle réfléchit comment enfin elle réfléchit comment elle fonctionne comment elle a une fonction qu'elle essaie d'optimiser et cette et prendre une pièce ça va optimiser sa fonction donc elle va me prendre cette pièce, et moi ça va me je vais pouvoir développer un contre-jeu donc je vais lui tendre un piège dans lequel elle va tomber parce que elle est déterminée à tomber dans ce truc parce que sa fonction est définie de cette manière là et moi ça va me pouvoir permettre de la contourner et il se trouve qu'elle ne tombe pas dans le piège, donc à ce moment là Kasparov lui se dit. Je ne joue pas contre une machine il y a un autre joueur d'échec qui est avec la machine et qui, prend les informations de la machine et qui lui à la fin décide donc on est un peu dans cette situation, il y a cette histoire assez connue dans l'histoire de l'automatisation des joueurs d'échec qui est le turc mécanique, où en fait c'était un automate inventé au 18ème siècle qui faisait la tour des grandes cours d'Europe où c'était un automate qui était censé jouer aux échecs, où c'était une espèce de figure en cire avec des bras qui bougeaient comme ça, et à l'intérieur, en fait s'il y avait une grande caisse, il y avait un joueur d'échec qui était caché à l'intérieur, donc l'inquiétude de Kasparov c'est toujours en fait il y a un homme caché derrière la machine.

Bruno:
Donc, en fait, il a essayé de jouer à la machine en pensant qu'elle n'était pas si douée que ça. Il a été déstabilisé, du coup, par la qualité de la réponse et il a cru qu'il n'était pas face à une... Enfin, qu'il y avait tromperie dans l'adversaire.

Alexis:
Et pendant longtemps, en fait, il n'a pas accepté. Il n'a pas accepté, en fait, parce qu'il y a un moment très dur d'acceptation pour ces gens et pour Kasparov, qui, effectivement, est un génie des échecs et qui n'acceptait pas en fait que quelque chose pouvait le battre, donc il a mis du temps vraiment il y a des vidéos il y a un documentaire qui est fait sur ce match mais je crois 3-4 ans après 4-5 ans après où il dit non mais c'est pas possible et ce qui est marrant c'est que 10 ans plus tard tous les programmes battent les meilleurs jours d'échec donc en fait c'est inéluctable, mais de la même manière donc ça c'est dans un autre jeu le jeu de Go quand l'issidol le plus grand joueur de Go est battu par AlphaGo l'algorithme développé par DeepMind il y a un moment très dur d'acceptation du fait que la machine est devenue plus performante que. Et c'est marrant parce que je pense que en fait, une des raisons pour lesquelles j'ai voulu me lancer dans l'aventure d'écrire ce livre c'est que j'ai trouvé que la manière dont tout ce qu'on disait autour de ChatGPT quand ChatGPT est sorti. On reprenait un peu ce narratif de l'affrontement entre l'homme et la machine Sous-titrage ST' 501, Qui est un narratif qu'on a dans tous les très bons films de science-fiction, d'ailleurs. Enfin, qu'on connaît, Matrix, Demiard l'utilisé de l'espace, Terminator, où, effectivement, on invente des machines plus intelligentes que l'être humain et que cette super-intelligence conduit à une perte de contrôle. Et du coup, comme si la machine deviendrait une espèce surévoluée, elle nous éliminerait par sélection naturelle ou je ne sais pas quoi. Et effectivement les grands affrontements entre l'homme et la machine dans les échecs ce qui est marrant c'est qu'effectivement il y a eu le moment de l'affrontement il y a eu le moment d'acceptation pour l'être humain d'être moins performant que la machine à faire à trouver le meilleur coup d'échec mais après une fois que ce moment dramatique est passé on a continué à jouer aux échecs, et on continue à jouer aux échecs aujourd'hui 25 ans plus tard, alors que les machines sont plus performantes que nous et on continue à avoir un champion du monde d'échecs et voilà donc ça n'a pas donc finalement le drame c'est juste une dramatisation d'un moment mais ensuite la vie continue et l'être humain ne disparaît pas.

Bruno:
Alors oui effectivement parce que c'est marrant il y a plein de choses qui sont passées à mesure que tu déroulais ton propos parce que, effectivement j'avais envie de te dire on retrouve cette peur aujourd'hui avec des gens qui voient leur métier et qui commencent à se faire un peu dépasser, remplacer ou en tout cas très assisté par l'IA avec tous ces LLM qui arrivent sur un ensemble de métiers, y compris le métier des devs d'ailleurs. Et après, quand tu as continué, je me disais oui, mais en même temps, certes, on continue à jouer aux échecs, mais parce que les échecs, c'est un loisir. Demain, un committee manager qui est remplacé par un bot, il ne va pas continuer à faire du committee management pour une boîte.

Alexis:
Je suis d'accord, mais tu pourrais te demander pourquoi est-ce qu'on continue à regarder des êtres humains jouer aux échecs ? Alors qu'on est la Ligue 2 en fait on est la Ligue pourquoi on regarde pas la Ligue 1 il y a parfois des matchs entre algorithmes c'est intéressant de voir comment c'est une manière maintenant de les algorithmes mesurer entre eux mais pourquoi est-ce que ça, pourquoi est-ce que ça nous intéresse de regarder des êtres humains jouer alors qu'on est plus, voilà, on est la Ligue 2 et je pense que c'est parce que au fond. Nous sommes les protagonistes de l'aventure humaine donc oui, il y a deux sujets le sujet effectivement un peu de ce qu'on appelle les AI doomers le fait de la fin de l'humanité par l'intelligence artificielle, moi je pense que c'est plutôt délirante comme position et après il y a la question de la transformation économique que ça va apporter et effectivement c'est une technologie, très puissante et ça va induire la transformation économique mais comme le numérique dans son ensemble induit de la transformation et pour l'instant effectivement ces outils diagénératifs vont probablement, transformer plein de choses mais comme le numérique transforme quotidiennement des tas de sujets et en même temps. Transforme mais pas tout voilà, le comment enfin même pour prendre l'exemple de la révolution industrielle et de l'automatisation de tout ce qui est travail travail dans les usines travail à la chaîne travail, il y a il y a des tas de choses qui ont été automatisées et robotisées mais il y a aussi des tas de choses le textile par exemple ça reste encore très très très manuel quoi donc il y a des choses qui c'est juste que ça a été délocalisé en fait la plupart enfin il y a une partie du textile, mais donc dans le numérique aussi c'est un peu la même chose il y a des tas de choses qui sont automatisées des tas de choses qui sont délocalisées et des tas de choses qu'on a besoin d'être humain pour faire le travail est-ce.

Bruno:
Qu'au final le troisième élément qui m'est venu quand tu déroulais ton propos tout à l'heure, c'était une analogie avec les chevaux parce qu'au final les chevaux pendant plusieurs milliers d'années c'était une ressource essentielle ils ont travaillé, ils ont tiré les charrues dans les champs ils ont tiré les calèges dans les villes ou même partout dans le monde c'était un outil essentiel, aujourd'hui les chevaux sont encore existants, ils sont encore là, il y en a juste beaucoup moins ils sont utilisés dans un contexte très différent et effectivement on regarde encore des courses de chevaux, pour le coup, est-ce que tu penses que l'humain est le cheval du futur, c'est-à-dire qu'on va se retrouver à gambader dans des champs tranquillou pendant que les machines font tout le reste pour nous.

Alexis:
Alors oui ça c'est une je pense qu'il y a quand même une différence entre un être humain et un cheval c'est que il y a quand même c'est compliqué de parler d'un être humain comme d'un moyen c'est quand même la fin voilà, nous sommes les protagonistes principaux de notre activité après, Ce que tu disais, c'est est-ce que...

Bruno:
Est-ce que justement que ce remplacement de l'IA sur un tas de métiers va faire qu'en fait, on va être comme les chevaux, à se retrouver à simplement avoir un combaté ?

Alexis:
Voilà, est-ce que ça va arriver un peu ce rêve formulé par l'économiste britannique Keynes, ce rêve keynésien, où effectivement, on va pouvoir, on aura automatisé tout le travail pénible et on va nous, êtres humains, se consacrer à des activités de loisirs écrire de la poésie ou faire des selfies sur Instagram faire ce qu'on veut. Alors ce qui est marrant moi j'aime bien, déjà il y a une blague, sur Twitter qui a fait une écrivaine dont je n'arrive pas à prononcer le nom mais Johanna Maïsiewskaia je crois qui dit, en parlant, qui parlait de cette révolution de l'IA générative en disant, aujourd'hui l'IA, écrit des poèmes enfin moi ce que je veux c'est que les machines, fassent ma machine à la fassent ma lessive pendant que moi j'écris des poèmes et aujourd'hui c'est les machines qui crient des poèmes pendant que moi je fais ma machine à la donc ce qui alors oui je pense que pour répondre à ta question, je pense que c'est vers ça qu'on veut tendre c'est c'est enlever le plus possible de la pénibilité du travail et faire pour que ça soit, de moins en moins pénible pour l'être humain de travailler de produire de la nourriture d'avoir des sociétés résilientes etc. Donc ça oui c'est l'objectif est-ce qu'on va y arriver demain ? Non je veux dire peut-être après demain quoi, plus après demain que demain et les IA génératives, vont automatiser un certain nombre de tâches mais ils ne vont pas du tout tout automatiser Oui.

Bruno:
Surtout les EIO génératives, elles vont permettre de faire pas mal de choses mais pas...

Alexis:
Non, pas tout.

Bruno:
Un autre point que je voulais évoquer, avant peut-être de creuser sur l'histoire des EIO, parce que ce qui est intéressant c'est ton, parcours à la fois philosophie, physique et data science aujourd'hui notamment sur cette notion de la connaissance et j'ai reçu il y a longtemps un chercheur qui est basé au Japon, qui, lui, évoquait le fait que, en tout cas, dans ses travaux de recherche, il définissait l'intelligence, en tout cas l'intelligence humaine, comme étant avant tout une capacité à transmettre de l'information et à maîtriser de l'information, notamment à travers du langage ou ce genre de choses. Est-ce que toi, qui as beaucoup bossé, du coup, aussi sur des notions de connaissance, tu vois aussi ce lien entre l'intelligence et la connaissance et la transmission de la connaissance ?

Alexis:
Il y a comment dire ce qui est marrant avec l'intelligence c'est que dès qu'on essaie de mettre un cadre autour de l'intelligence il y a toujours un truc qui fuit parce qu'en fait, ce qu'on appelle intelligence c'est très vague c'est globalement tout ce que, en fait c'est tout ce que l'être humain fait, donc je veux dire quand on écrit la manière dont on interagit la manière dont on comprend le monde la manière dont on se représente le futur dont on le prévoit la manière dont on s'adapte, la manière dont on survit. La manière dont on trouve des solutions à des problèmes, la manière dont on fait des choix tout ça c'est de l'intelligence mais à chaque fois, ce qui est intéressant c'est que dès qu'on essaie de donner une définition, qui ferme un peu le concept c'est à dire dès qu'on essaye dès qu'on met typiquement un protocole expérimental qui essaient de mesurer l'intelligence à chaque fois en fait on se rend compte que l'intelligence c'est de se préparer à une situation, qui sort du cadre expérimental qu'on a défini moi j'aime bien, il y a un article j'allais peut-être en parler à la fin pour dire les trucs que je recommande il y a un article écrit par François Cholet qui est un ingénieur, qui a principalement créé l'hybréique qui est race, qui utilise toutes les personnes qui développe des réseaux de neurones en utilisant les librairies Google enfin Keras, Tentenserflow et qui a écrit un article, c'est The Measure of Intelligence, et il dit en fait l'intelligence en fait ce qu'il dit c'est, Aujourd'hui, pour mesurer l'intelligence des programmes. Ça serait intéressant de refaire une communication avec la psychologie. Aujourd'hui, comment on évalue la performance d'un programme ? Typiquement, toute la révolution de l'IA de ces dernières années, ça a été permis parce qu'on a développé des benchmarks, donc des collections données qui ont permis de développer et de mesurer la qualité d'algorithmes de type réseau de neurones à reconnaître des images sur des objets. Notamment, un des premiers benchmarks, c'était une collection de données, c'est ImageNet, qui a été une des plus grandes collections d'images labellisées, qui a servi à entraîner AlexNet, qui est le réseau de neurones qui derrière a en fait, transformé toute la manière dont on fait de la computer vision aujourd'hui et ce que dit, ce que dit François Cholet c'est en psychologie quand on mesure l'intelligence de quelqu'un avec un test de QI enfin une des techniques pour mesurer l'intelligence de quelqu'un c'est le test de QI et ce qu'on, un des prérequis du test de QI c'est que la personne n'est pas préparée au test. Parce que l'idée c'est pas tellement de mesurer la capacité juste à performer une tâche, jouer aux échecs reconnaître une image, mais à s'adapter à une nouvelle tâche, Dans aujourd'hui, la manière dont on mesure la performance des algorithmes, quand il y a un nouveau LLM qui sort, on dit il a performé de telle manière sur un benchmark, il a telle note, meilleure note sur un tel benchmark, il n'y a pas cette idée, étant donné que le LLM a été entraîné sur toute la donnée disponible sur Internet, et plus encore, puisqu'il y a toute la donnée annotée par des personnes physiques, il y a un biais de préparation de l'algorithme.

Bruno:
Il est entraîné.

Alexis:
Il est entraîné à faire cette tâche donc il y a une part de l'intelligence qui est le fait d'ignorer la tâche pour laquelle que tu vas résoudre qui est en fait ce qui nous intéresse dans l'intelligence l'intelligence ça ne nous sert pas tellement à résoudre les problèmes du passé ça nous sert à nous adapter aux problèmes futurs et, c'est là où il y a pas mal de confusion aujourd'hui quand on dit, ces outils sont des outils qui vont, permettre des outils des intelligences artificielles générales donc la définition d'intelligence artificielle générale c'est un programme qui sera en capacité de faire mieux qu'un être humain toutes les activités économiques, économiques c'est à dire qui ont une valeur économique tout ce qui a une valeur économique ce programme pourrait le faire c'est une définition très générale mais toute la Silicon Valley produit toutes les deux semaines, des postes en disant c'est bon on y est arrivé là dans deux semaines on y est ou dans un an on y est, aujourd'hui en fait ce qu'on voit ces outils sont des formidables ces outils d'IA génératifs sont des formidables outils de compression du passé, mais on a du mal à mesurer à quel point est-ce qu'ils permettent de s'adapter au futur, par définir, parce que le futur on sait pas ce qui va arriver donc voilà.

Bruno:
Ça m'a complètement brainfoil mais vraiment, je trouve ça assez fou je recommande l'article de François Cholet.

Alexis:
De Mégion d'intelligence qui est brillant.

Bruno:
Et j'aime beaucoup cette idée que la mesure de l'intelligence c'est pas de résoudre des problèmes du passé mais c'est résoudre le problème du futur et que effectivement quand on fait un test de QI il ne faut pas l'avoir déjà fait parce que sinon, le résultat est complètement biaisé mais qu'effectivement les IA on les entraîne à faire quelque chose et donc quand on mesure la qualité d'un chat GPT, ce n'est pas dans une capacité au final à écrire quelque chose parce que on lui a déjà demandé d'écrire quelque chose et.

Alexis:
C'est pour ça que, François Cholet avec une équipe a proposé un test qui s'appelle ARC et GI pour Abstract Reasoning Corpus où en fait le design du test c'est d'essayer de jeter un voile d'ignorance sur le développeur. Parce que ce qui ferait l'intelligence du programme c'est que c'est pas que le programme c'est pas que le développeur résolve le problème, c'est que le programme lui-même résolve le problème et pour ça il faut pas que le programmateur soit au courant du problème que le programme va résoudre donc c'est une manière donc en fait il y a à l'intérieur de ce test, en fait des exemples que personne que personne ne connaît qui sont connus uniquement par ceux qui ont développé le test. Et en fait, les tests, c'est comme ça ressemble à des tests de QI. Donc, il y a typiquement trois, quatre exemples et il faut continuer une suite logique. Enfin, là, ils ont développé une V2. Ils ont développé une V2. Mais en tout cas, c'est ça l'idée. L'idée, c'est de se dire on va essayer de mesurer l'intelligence d'un programme, en regardant comment il fait pour essayer de résoudre un problème que le programmateur ne connaissait pas. Alors, la question, c'est à quel niveau de niveau sont les LLM aujourd'hui sur ce type de truc. Il se trouve que le O3, donc le modèle d'OpenAI O3 a eu un résultat vraiment surprenant, de 75% alors que les autres programmes étaient à 50% de réussite de ces trucs. Mais en fait, on ne sait pas à quel point ils n'ont pas finalement le programme qu'ils ont développé. Pardon il y a quand même même si le voile d'ignorance qu'on met sur le programmateur dans ce benchmark il n'est pas totalement occultant il n'est pas complet parce qu'en fait les tests logiques vont re parce qu'il y a une partie du corpus de tests qui est public, et ce qui est complètement privé donc caché à tout le monde il y a les mêmes structures ça ressemble, Vous faites quand même un programme qui va résoudre les problèmes de la donnée publique et les données privées vont ressembler aux problèmes. Et donc, il y a toujours une similarité. Donc, vous allez toujours spécialiser un programme à faire une tâche. Donc, ça ne va pas être quelque chose de non programmé comme est l'intelligence humaine. Donc, moi, ce que je pense, c'est que cette espèce d'idée de vouloir absolument faire l'intelligence humaine, c'est-à-dire quelque chose qui n'est pas programmé, je sais pas après quand on court mais c'est pas je pense qu'il y a d'autres choses à faire ça peut être un comment dire ce qui est intéressant c'est de donner des nouvelles définitions d'intelligence et construire des nouveaux tests, et donc de faire des programmes qui vont résoudre ces tests, moi je pense je crois à ce que on va faire des programmes qui vont pouvoir résoudre c'est les tests que François Chevalet a imaginé et son équipe a imaginé, mais arriver à matcher ce, comment dire cette espèce d'algorithme qui est l'intelligence humaine qui n'est pas programmée c'est pas...

Bruno:
Parce que du coup au final si on suit si on tire le trait, une fois qu'on a réussi à créer des systèmes qui arrivent à résoudre ces tests là, on arrivera à inventer des nouveaux tests que les nouveaux systèmes ne résolveront pas et ainsi de suite en fait.

Alexis:
Exactement, donc la question c'est peut-être qu'on arrivera, peut-être une des définitions de l'intelligence artificielle générale c'est un algorithme où on serait plus capable d'inventer des problèmes qui ne pourraient pas résoudre, mais aujourd'hui et peut-être que je dis ça, je viens de me contredire avec ce que j'ai dit il y a deux secondes avant mais bon c'est l'intérêt d'une discussion, c'est peut-être que ça arrivera, peut-être qu'à un moment donné on arrivera, tous les problèmes qu'on imaginera les algos ce programme le résoudra, mais moi j'ai quand même un problème avec ce tout quand on dit tous les problèmes c'est mal défini en fait. Et ce qui est marrant c'est que en fait au début du 20ème siècle on a essayé on pensait qu'on allait pouvoir justement inventer un algorithme qui serait en capacité de déterminer, toutes les vérités de l'algèbre toutes les vérités mathématiques, et ça c'est le programme qu'avait lancé un mathématicien allemand qui est Hilbert en se disant, il faut essayer de trouver cet algorithme là et on s'est rendu compte donc il y a trois personnes qui ont montré que c'était pas possible il y a Gödel, il y a Alonzo Church et il y a Turing qui a imaginé sa machine à calcul universel, qui était en capacité de calculer tous les algorithmes qui pouvaient être calculés. Il a montré que. Cet algorithme, un algorithme qui serait en capacité de dire toutes les vérités, des mathématiques, n'est pas calculable par une machine de Turing. Et du coup, que ce n'était pas possible. Et en même temps, par le même mouvement, il a en fait défini la notion de calculabilité et donc défini la notion de machines à calcul universel qui a servi de modèle théorique à l'ordinateur. Donc, la limitation de cette espèce d'ambition un peu dingue de vouloir faire un programme qui trouve toutes les vérités, la limitation de cette ambition-là a conduit à l'invention, à une des inventions les plus... Non pas que Turing, c'est l'invention de l'ordinateur, parce qu'il y avait déjà des machines à calculer très sophistiquées, mais ce concept théorique de machines qui étaient capables de tout calculer, voilà, on doit aussi à cette limitation. Tout calculer, tout ce qui est calculable, pardon.

Bruno:
Donc on a évoqué effectivement que cette IA généraliste, ne passera pas par les LLM c'est pas les larges engouages modèles ou les IA génératives qui nous permettront de faire ça, est-ce que tu penses que ce sera quand même sur des systèmes de réseaux de neurones ou même ça il va falloir trouver autre chose ou peut-être même qu'on a déjà des pistes de choses plus performantes.

Alexis:
J'aimerais bien savoir répondre à tes questions alors après je pense que alors, Il y a pas mal de gens qui, effectivement, disent qu'il y a des limites fondamentales aux réseaux de neurones. Après, tous les gens qui, pendant très longtemps, on n'a pas arrêté d'expliquer que les réseaux de neurones avaient des tas de limites. Et à chaque fois, il s'est trouvé que les réseaux de neurones excédaient les limites théoriques qu'on pensait qu'elles avaient. Donc je vais te répondre j'en sais rien j'ai la conviction que quand même il manque des choses théoriques, pour arriver à faire des programmes qui peuvent s'adapter à des nouvelles problématiques un réseau de neurones c'est une manière de fiter, une distribution de probabilités donc c'est c'est un outil extrêmement puissant qui permet, t'as la distribution donnée d'un problème, ça te permet d'apprendre, cette distribution de probabilité. Maintenant, est-ce que ça permet une fois que tu modifies complètement la structure de ton problème, est-ce que ça permet de s'adapter ? Aujourd'hui, non, pas vraiment. Donc, il y a toute cette question de savoir comment est-ce que tu fais des algorithmes qui s'adaptent quand tu modifies structurellement la distribution de ton problème. Et ça, il y a toutes les méthodes d'inférence causale. Mais qui voilà il y a pas mal de gens qui étudient comment est-ce que on peut faire apprendre des algorithmes de l'inférence causale.

Bruno:
Il y a une difficulté aussi c'est que on ne sait pas vraiment expliquer, en tout cas de ma connaissance on ne sait pas vraiment expliquer comment est-ce que l'intelligence en tant que telle est apparue, ce qui fait que on a un cerveau qui fonctionne de cette manière-là versus celui d'un jaguar ou d'un poisson ou de je ne sais quel autre animal doté ou non de ses capacités. Et en fait, ma question, c'est est-ce que pas nécessairement à quel point le neurone, la réseau de neurones est similaire à un neurone qu'on a dans notre tête, mais est-ce que en fait, je reformule ma question. Il y a cette ce que moi je pense être une légende urbaine que quand il y a une IA qui sort, même les gens qui l'ont créé ne savent pas comment elle fonctionne, j'y crois pas en fait je peux comprendre que, c'est un réseau de neurones et qu'effectivement on n'a pas codé chaque neurone on ne les a pas connectés les uns à la main avec les autres, même si à mon avis ça reste quand même pas si loin que ça, on sait faire à peu près le chemin qui a été fait par l'information.

Alexis:
Alors, ce qui est vrai, c'est que toute la question de savoir, c'est qu'est-ce que ça veut dire comprendre ? Pardon, c'est un peu une question philosophique. Mais qu'est-ce que ça veut dire que tu comprends comment ça fonctionne ? Il se trouve que s'il y a des gens qui ont développé des réseaux de neurones qui permettent de résoudre des problèmes, c'est qu'ils avaient des raisons de penser, ils avaient des intuitions sur... En fait, ça va marcher de prendre cette direction-là. Quand t'écoutes l'ancien CTO d'OpenAI, Ilia Sulksever je ne sais pas si pardon désolé il nous écoute pas désolé, et il dit nous on avait les convictions que la taille la taille compte on va faire grossir nos modèles, nos transformeurs on va avoir des résultats, on va avoir des résultats exceptionnels en faisant ça. Donc il avait cette conviction que la taille était un élément critique. Est-ce qu'il avait une théorie derrière qui lui permettait de dire qu'en atteignant telle taille, il allait avoir tel type de résultat ? Non. Il y a une intuition d'ingénieur c'est de l'ingénierie quoi on n'a pas une démonstration mathématique qui nous prouve que, Et aujourd'hui, sur les réseaux de neurones, on en est à ce niveau-là de connaissances. On ne sait pas exactement pourquoi ça fonctionne. Un exemple, c'est toute la théorie de l'overfitting. Un des cours basiques quand tu fais du machine learning, c'est qu'on te dit. Tu sépares ton échantillon de données en deux échantillons. Un échantillon d'entraînement, un échantillon de test. Et il faut bien les séparer. Et il ne faut pas que... Et en fait un des risques c'est que ton modèle soit trop complexe et donc, et typiquement un des trucs pour que ton modèle soit trop complexe c'est qu'il y a trop de paramètres qui décrivent ton modèle et du coup il va overfiter, ton échantillon d'entraînement et donc il ne va pas se généraliser sur d'autres échantillons, et donc pendant et quand tu fais un cours initial on te dit donc fais attention à ne pas avoir un modèle trop compliqué parce que sinon en fait il va se sur-spécialiser, sur spécifiquement les quelques cas d'entraînement et.

Bruno:
Donc sur ce cas test il sera à l'ouest.

Alexis:
Exactement mais sauf qu'un réseau de neurones c'est super complexe je veux dire comment ça se fait et pourtant ça fonctionne donc il y a un nombre de paramètres dans un réseau de neurones bien plus que toutes les fonctions, paramétriques qu'on avait avant comment ça se fait que ça généralise très bien donc il y a il y a des tas de concepts on sait pas trop comment les comprendre théoriquement pourtant ça marche, et ça il y a tout un champ théorique qui reste à explorer il y a un autre, contenu que je recommande c'est les cours de Stéphane Malin au collège de France, et il dit dans son introduction de son cours il dit en fait il y a encore beaucoup de travail de recherche à faire pour essayer de comprendre comment tout ça fonctionne.

Bruno:
Mais sur toute cette hype qu'on a autour de l'IA, alors ça bénéficie un petit peu à ton métier, ce qui te permet de trouver un job plus facilement. Mais toi, du coup, qui es en plein dedans, tu es en plein milieu de l'œil du cyclone, comment est-ce que toi, tu vois cette hype de l'intérieur ?

Alexis:
On essaie de trouver le juste milieu c'est à dire, trouver les cas d'usage les cas d'usage métier où ça a le plus de sens de le déployer puisqu'on sait que c'est des outils qui derrière, on voit pas forcément je pense d'ailleurs aujourd'hui le coût mais ça coûte très cher ça coûte très cher financièrement ça coûte cher pour l'environnement ça prend beaucoup de donc, il faut trouver les bonnes situations voire voilà, c'est des outils où il y a plein de promesses donc il faut à la fois être je dirais enthousiaste des possibilités que ça offre et en même temps, je pense qu'il faut surtout éviter cette idée que ça va être un outil miracle qui va tout remplacer, ça c'est aussi un truc qu'on a pas mal entendu au début c'est non mais en fait ça va être un nouveau comme un OS ça va remplacer ça va tout remplacer, je crois pas trop à un outil qui remplace tout.

Bruno:
On a un premier exemple il y a quelques années on nous promettait une voiture autonome parce qu'en fait on arrivait à faire des voitures qui se conduisaient très facilement, sur un circuit, on avait l'impression que ce qui manquait pour une voiture autonome c'était minime et vu la vitesse des premiers on s'est dit ça va être fait, laissez nous 6 mois et c'est réglé, on est quasiment 10 ans plus tard la voiture vraiment autonome à level 5 sur toutes les routes du monde on en est encore loin si tant est que ce soit une possibilité.

Alexis:
Oui alors c'est vrai il y a pas mal de gens qui disent en fait en niveau 4 et le V5 il n'y a presque pas de différence c'est simplement des questions d'assurance mais, déjà un il n'y a pas trop de données publiques sur, le niveau d'accident de ces voitures autonomes. Parce qu'il y a des voitures autonomes, enfin, San Francisco, je crois, Phoenix, il y a Waymo, une filiale de Google, qui opère des voitures autonomes dans ces villes-là. Il n'y a pas trop de données pour savoir quel est le niveau d'accident. Mais le... Effectivement quand tu développes un système d'information, tout l'environnement métier et les assurances c'est un environnement métier dans lequel tu dois développer tes voitures autonomes il doit être convaincu donc comment dire une voiture autonome c'est une voiture qui pourra être autonome dans le cadre de l'assurance parce que l'assurance elle va te demander, effectivement quel type d'accident tu peux avoir avec ces trucs et donc là il va falloir regarder dans la donnée précisément et ce qu'on dit souvent pour ce type de sujet c'est que en fait effectivement c'est des sujets où, c'est pas parce que t'as résolu 99% du problème que t'as résolu le problème parce qu'en fait ton dernier pourcent c'est peut-être le pourcent le plus dangereux c'est des, problèmes qu'on appelle à longue queue en termes de probabilité donc il y a des événements rares qui peuvent se produire et ces événements rares en fait des modèles justement. Statistiques ils vont pas être performants pour s'adapter à ces événements rares alors il se trouve que effectivement en Waymo, il y a des taxis autonomes mais ce qui est marrant c'est que en fait c'est très spécifique à des villes, déjà un ça coûte super cher, Je crois que Google perd énormément d'argent. C'est vraiment une vitrine. Google perd énormément d'argent parce que, en fait, c'est automatisé. Mais derrière, il y a beaucoup de travail humain pour superviser ces véhicules. Et ensuite, quand tu fais un véhicule qui peut, un taxi autonome à San Francisco, ce n'est pas le même programme pour le taxi autonome à Paris. Il va falloir tout redévelopper. Donc, effectivement, je trouve que c'est un bon indicateur de la hype qu'on a en se disant c'est un problème qu'on va résoudre facilement attendez deux ans et en fait on en est très loin Dans.

Bruno:
Ce fameux cours que j'ai évoqué tout à l'heure où j'ai fait avec Luc Julia qui est aujourd'hui chez Renault en charge de l'IA, lui ne croit pas du tout à la capacité qu'on arrive à une voiture complètement autonome il nous a parlé du cas Waymo qu'une voiture aujourd'hui coûte environ 300 000 euros, chacune à produire qui effectivement c'est des villes qui sont dans des domaines, hyper contrôlés dans des conditions météo relativement stables au final, tout au long de l'année, qu'il n'y a que 300 voitures de ce qu'il dit par ville donc en fait c'est un des contextes qui sont en plus hyper contrôlés c'est hyper verrouillé et qu'effectivement je ne sais plus quel est le ratio, mais je crois que c'est des humains qui prennent, la main sur la voiture dans le cas où la voiture n'arrive plus à gérer et je crois qu'on est de l'ordre de 3% des cas en fait, à peu près dans 3% du temps en fait c'est un être humain qui doit aller, de manière autoguidée, je dis pas mais qui doit prendre le relais sur la machine.

Alexis:
Alors c'est là où c'est peut-être pas le meilleur exemple mais c'est là où tu vois que c'est pas que de l'automatisation, il y a aussi du travail à distance, finalement le travailleur il est plus dans la voiture il est à distance, il peut contrôler à distance mais ça c'est pas l'IA qui fait ça, c'est le numérique, donc oui le numérique est une révolution L'IA, est-ce qu'elle va réussir à tout automatiser ces 100% ? Non, 97%. C'est déjà... Moi, je n'ai pas le permis, donc je ne sais pas ce que ça va changer. Mais peut-être pour un conducteur, ça doit changer l'expérience, mais le truc où tu t'endors volant, non, en fait.

Bruno:
Je vois. Pour terminer, aujourd'hui, j'ai appris qu'il y a un des devs chez les Furet qui... Parce qu'on est en train de passer tout le monde sur des outils type cursor pour qu'ils devent tous avec ça. Il y en a quelques-uns qui le testent déjà depuis un moment et qui milite pour qu'on y passe et j'ai appris qu'il y en a un qui l'utilise depuis un petit moment notamment le cursor et qui évoquait, qu'il n'a pas tant que ça l'impression qu'il a un assistant de coding mais plus que c'est lui l'assistant parce qu'en fait l'IA écrit énormément de code et qu'en fait il est juste là pour relire et s'assurer qu'a priori ça, correspond à ce qui a été demandé, ce qui revient un peu sur ce que tu disais tout à l'heure sur la personne qui disait moi ce que je voulais c'est d'écrire des poèmes pendant que la machine fait ma machine et au final c'est l'inverse est-ce qu'il est content ?

Alexis:
Est-ce qu'il est content de...

Bruno:
Il en est hyper content ouais non ce qu'il dit c'est que c'est hyper positif parce qu'en fait écrire du code c'est pas la partie de la plus...

Alexis:
Non mais après moi j'aime bien ce truc de dire l'IA enfin quand tu développes avec des packages open source, tu n'arrêtes pas, je veux dire, surtout en data science, tu t'appelles une librairie qui est déjà codée par quelqu'un. Je veux dire, tu n'arrêtes pas d'appeler du code qui est déjà fait. Tu avais déjà des tas de, avant l'IA génératif, tu avais déjà des tas de manières de générer automatiquement du code. Par un appel API, par tu génères ton application en Spring Boot, ça te génère déjà tous tes paquets enfin effectivement l'IA génératif ça permet de faire d'autres choses, je minimise pas je dis juste que le enfin mais une hybride que tout data scientist utilise qui est sa kit learn bon bah en fait c'est déjà, les algorithmes super complexes que moi j'appelle en une ligne de code donc il y a déjà, une abstraction une abstraction une condense enfin une compression du travail humain qui pour moi relève de juste une ligne de code et derrière c'est un truc, le truc théorique la personne qui a pensé à l'algorithme la personne qui l'a conçu chez Saki Tner merci Saki Clerm c'est un travail dedans et que moi j'ai juste à appeler donc, comment dire je suis déjà en fait un méga client, alors effectivement l'IA générative ça permet de faire d'autres choses. Et moi je pense que c'est super si ça permet de pisser du code mais j'ai pas l'impression que ce soit ça le gros sujet du développement informatique, juste par rapport aux gens qui disent ouais ça va te faire gagner 70% 50% ta productivité dans le dev j'aimerais bien voir les gens qui vont réduire de 70% leur marge salariale de leur dev d'ici, comment ça va alors oui ça va permettre de faire des gains de performance mais je pense ça va prendre du temps il faut voir ce que ces outils donnent, et ça va demander de la supervision ça va demander du contrôle.

Bruno:
Et est-ce que si je reprends ton analogie de tout à l'heure avec les échecs au final on va devenir la ligue 2 des développeurs mais on continuera à coder et on continuera à regarder les humains codés parce que la manière qu'on continue à jouer aux échecs alors que.

Alexis:
Alors non, je pense comment dire je pense que en tout cas, les outils qu'on a aujourd'hui ils permettent pas de remplacer le travail d'ingénieur, donc non on sera pas la ligue 2, mais on pourra automatiser certaines tâches, le travail va changer, et voilà.

Bruno:
Je ne sais pas si tu as vu le CEO de NVIDIA, peu après sa dernière conférence, où il a annoncé les derniers processeurs graphiques et les dernières cartes de NVIDIA. Il a fait une conférence de presse où il a dit « Dans l'avenir, les départements IT seront des départements RH d'agents ».

Alexis:
Oui, non, mais...

Bruno:
Ils vendent sa sauce.

Alexis:
Non, ils vendent sa sauce. Non, mais je veux dire, après... Moi, je veux bien... On est en train de... Enfin, moi, je sais que je travaille sur les opportunités de mettre en place des systèmes agents et ça va avoir, je suis sûr que il y aura des cas où ça va être intéressant de les mettre en place, mais je veux dire ça va pas du tout tout remplacer, si tu mets en place des systèmes agents pour remplacer, juste des appels API tout court tu vois, non, comment dire, déjà un, tu vas avoir d'autres outils informatiques qui seront pas des agents sur DLM, enfin basés sur cette technologie agénérative et puis après tu vas avoir quand même des tas de gens pour superviser les machines, pour contrôler ce qu'elles font je veux dire, si tu sais pas, je te dis pas je sais pas ce qui va se passer dans le futur je peux regarder ce qui se passe aujourd'hui c'est un peu l'idée de mon livre, c'était de dire arrêtons d'y mettre de faire de la science-fiction regardons ce qui se fait aujourd'hui aujourd'hui, si t'as personne qui comprend le code que t'as dans une application en prod, quand t'as un problème je veux dire, je sais pas qui va la débuguer ce truc ce truc de des IA qui... Enfin, je veux dire, aujourd'hui, en fait, ça n'existe pas, quoi. On est... Ça reste des assistants.

Bruno:
On est d'accord. Merci beaucoup, Alexis, pour cette discussion. J'aurais deux dernières questions pour toi, qui sont les questions de rituel de ce podcast. La première, c'est est-ce qu'il y a un contenu que tu souhaiterais partager à l'ensemble des auditoristes ?

Alexis:
Alors, j'en ai cité trois, quatre. Déjà, ce livre passionnant, La leçon d'échec d'Alexis Gleimbozio, que je recommande vraiment à tous on.

Bruno:
Met bien évidemment la description.

Alexis:
Et non je il y a un professeur de computer science dans une université américaine dont je me souviens plus enfin un chercheur qui s'appelle Ben Resht, que j'aime beaucoup qui a une qui a un sub stack, enfin c'est en anglais mais j'aime bien il est assez marrant il est assez piquant ok c'est justement tout ce que ce que je t'ai raconté tout à l'heure sur l'overfitting c'est un peu son dada à lui il n'arrête pas de, provoquer des personnes sur tout temps en disant définis moi ce que c'est qu'overfitting et puis voilà donc il est très marrant il y a beaucoup de distance, il a une très belle vision globale à la fois de l'info et en même temps de la recherche j'aime beaucoup sa vision il est très marrant et sympa à s'abonner ça va être subsac.

Bruno:
On mettra bien évidemment les liens en description dernière question qui est de loin la question la plus importante de ce podcast, est-ce que tu es plutôt espace ou tabulation ?

Alexis:
Plutôt tab pour le dev et espace pour écrire.

Bruno:
Merci beaucoup Alexis merci Bruno et merci à tous d'avoir suivi cet épisode j'espère qu'on vous a permis d'y voir un peu plus clair dans cette notion de l'intelligence de la connaissance et de comment toutes ces IA sont arrivées à ce qu'elles sont peut-être qu'on vous a donné des pistes sur ce que sera peut-être ou ne sera peut-être pas l'avenir. En tout cas, on n'est pas prêts d'avoir Terminator arrivé, de ce que je comprends. Et ça peut être plutôt une bonne nouvelle. Moi, je vous remercie toujours de partager ce podcast autour de vous. N'hésitez pas à aller mettre un commentaire 5 étoiles, à aller voir sur le Tipeee si vous voulez soutenir ce podcast. Je vous souhaite une très bonne fin de semaine. Je vous dis à la semaine prochaine et d'ici là, codez bien.