Des programmes de recherche essaie de comprendre le fonctionnement des machines encore trop opaque.

Confiance A.I (en France), THEMIS 5.0 ( en Europe) et l’institur ANITI à Toulouse se posent cette question :
Peut on avoir confiance en l’I.A quand on ne maîtrise pas son fonctionnement ?

Monsieur GANDON directeur de recherche INRIA et responsable de l’équipe Wimmics (université Côtes d’Azur/CNRS) affirme que déjà avant les systèmes à base de règles commençaient à avoir beaucoup trop de bases de règles difficiles à comprendre par les humains mais que au moins les machines fonctionnaient avec des règles inculquées par l’humain.
Avec l’I.A c’est la machine qui apprend les règles selon des exemples donnés mais l’humain n’est pas capable de savoir ce que la machine a appris. Il faudrait savoir comment la réponse de la machine a été obtenue, si ses données sont bonnes ou erronées.
Prenons un algorithme sur des humains ou des animaux, est ce que toutes les races ont été introduits dans la machine avec toutes les spécificités, Et d’autre part est ce que la machine n’enfreint pas des règles de confidentialité Par exemple secret professionnel en matière médical.

La notion de confiance est aussi liée à celle du risque. Si on fait appel à l’I.A pour connaître la pompe à essence la plus proche pas de
problème sauf peut-être le prix. Mais si on fait appel à l’I.A pour connaître le vétérinaire le plus proche c’est plus problématique : est-il reconnu, est-il compétent pour soigner mon chien ?

Donc des travaux de recherche abordent une notion importante : l’explicabilité. De l’I.A pour savoir si on peut avoir confiance ou non dans ses résultats car dans les dernières méthodes de l’I.A on est face à des systèmes pour lesquels on n’est pas capable d’expliquer les résultats.
On comprend l’algorithme donné par l’humain mais les données d’apprentissage sont tellement gigantesques que le résultat obtenu par la machine est tellement complexe qu’il n’est pas forcément compréhensible pour l’homme.

Des chercheurs essaient de retrouver des règles compréhensibles et leurs discussions tournent autour d’un I.A hybride.
Les I.A sont entraînées à générer du texte et des images globalement mais elles n’ont pas été spécialisées au départ.
Pour faire simple : générer particulièrement des romans d’amour permettra de donner un style romantique en littérature.

Il est donc essentiel de pouvoir accéder aux grandes plateformes qui donnent les ressources et vérifier qu’elles sont authentiques, non biaisées, qu’elles reproduisent la réalité.
Par exemple par l’Open source à condition d’avoir suffisamment d’humain pour effectuer les contrôles.

En conclusion on ne pourra avoir confiance dans l’I .A que quand l’explicabilité et l’auditabilité seront résolus.