Je me suis battu récemment avec Gemini pour lui faire admettre une erreur. Utilisé en renfort de la rédaction d’une actualité, l’assistant de Google m’a assuré qu’une information existait, preuve à l’appui. Mais ni l’information ni la preuve n’étaient réelles.
TL;DR :
Ce que je retire de cette expérience ? Que les IA, même les plus puissantes, hallucinent bel et bien. Et ces réponses inventées sont d’autant plus dangereuses qu’elles sont assénées avec un aplomb qui pourrait convaincre. En l’état, j’entrevois le gain de temps pour certaines tâches, mais la nécessité de contrôler l’exactitude de chaque réponse me parait contre-productive.
L’idée est si émouvante qu’elle a conquis le public, Hollywood, et jusqu’aux plus hautes institutions : les arbres communiqueraient via un réseau secret… Sauf que c’est faux. Les scientifiques ont beau chercher, ils n’en trouvent aucune trace. Et pour eux, cette théorie est dangereuse pour la forêt.
[...]
“Le risque, c’est d’endommager les écosystèmes que nous souhaitons préserver”, estime Lincoln Taiz, coauteur de l’un des articles scientifiques qui ont fait tomber le mythe. “Nous ne devrions pas fonder nos pratiques sur des recherches non concluantes”, alerte aussi Justine Karst.
Je trouve l'article intéressant parce qu'il présente aussi la problématique que pose cette "belle fable" et que les conséquences que ces croyances peuvent avoir concrètement.