Amplegest : gouvernance et IA, la crise d'OPEN AI appelle une réponse non artificielle

Thématiques & Alternatifs
Amplegest : gouvernance et IA, la crise d'OPEN AI appelle une réponse non artificielle

Avec ses multiples rebondissements et son apparent « happy ending », la récente saga Open Ai/Sam Altman pourrait en première lecture figurer aux côtés des meilleures séries TV de l’année 2023. En seconde lecture, il ne nous semble pas exagéré d’y voir ni plus ni moins qu’un des pires incidents jamais survenus dans l’histoire de la gouvernance d’entreprise. Si la raison d’être d’Open Ai n’était pas de travailler pour « le Bénéfice de toute l’humanité » (Creating safe AGI that benefits all of humanity – www.openai.com), cette crise de gouvernance pourrait simplement être classée comme une curiosité historique. Compte tenu des enjeux colossaux liés au développement de l’intelligence artificielle, elle semble au contraire militer pour des réponses rapides, ambitieuses et exhaustives de la part des législateurs et des régulateurs, derniers gardiens de l’intelligence non encore artificielle.
 

Open AI : retour sur cinq jours de crise


 
- Vendredi 17 novembre 2023 : Sam Altman est démis de ses fonctions par le board d’Open Ai (conseil d’administration).
 
- Samedi 18 - dimanche 19 novembre 2023 : Sam Altman est embauché par Microsoft, principal partenaire économique (sans droit de vote) d’Open AI (voir annexe 1).
 
- Lundi 20 novembre 2023 : 738 des 770 employés d’Open AI signent une pétition demandant le retour de Sam Altman ainsi que la démission du board. La plupart de ces signataires annoncent dans la foulée qu’ils sont prêts à démissionner pour rejoindre Sam Altman chez Microsoft au sein d’une division Intelligence Artificielle nouvellement créée ayant fait une offre d’emploi pour tous les salariés d’Open AI.
 
- Mardi 21 novembre 2023 : Sam Altman est réintégré chez Open AI (en tant que CEO), trois des membres du board historique démissionnent dans les jours qui suivent, deux nouveaux directeurs sont désignés. Microsoft se voit un octroyer un poste d’observateur (sans droit de vote) au board d’Open AI public charity. D’autres administrateurs doivent être nommés dans les prochains mois.
 

Une crise de gouvernance pas comme les autres

La crise de confiance entre le board et le CEO (encore peu explicitée et reposant sur l’accusation de n’avoir « pas toujours été franc et transparent dans ses communications avec le conseil ») n’a en soi rien d’atypique, rejoignant une longue liste de conflit récents bien documentés entre un conseil d’administration et son CEO et relatifs à des divergences stratégiques (Scor, Atos, Engie…).
 
Le rôle joué par les salariés dans cette crise est lui en revanche totalement inédit. Animés par des motivations assez transparentes (colère contre une décision perçue comme injuste envers un leader aussi charismatique, intérêts financiers…) les salariés ont en effet exercé une intense pression sur le board en demandant la réintégration de Sam Altman dans une pétition (738 signataires sur 770 employés) et en menaçant de démissionner en masse en cas de non-réintégration de ce dernier. Cette révolte des salariés contre un board jusqu’alors très respecté et considéré de façon unanime comme indépendant et farouche gardien de la direction morale d’Open AI est particulièrement troublante.

Le rôle joué par Microsoft ne l’est pas moins.

- Absent du board et donc de la structure de contrôle d’Open AI, Microsoft est en revanche depuis 2019 le principal investisseur externe dans la structure Open AI Global LLC Capped for profit qui développe les applications commerciales d’Open AI (détenue à 49%), hors AGI (dont la réalité sera appréciée par le board).

- A ce titre, il a déjà investi plusieurs milliards de dollars, dont une grande partie en puissance de calcul et s’est positionné comme fournisseur exclusif des capacités Cloud consommées par Open AI.

- La gouvernance mise en place lors de la création d’Open AI a bien fonctionné entre 2019 et 2023 Microsoft se cantonnant dans son rôle d’investisseur « passif ». Au contraire, la crise récente met en lumière le fait que Microsoft a pu exercer une influence déterminante sur un conseil d’administration théoriquement indépendant en s’appuyant sur les salariés, absents des mécanismes de gouvernance. Il s’est alors transformé de financier « passif » en activiste à succès. Le système de gouvernance conçu lors de la création d’Open AI a donc complètement échoué, tous les mécanismes d’indépendance ayant volé en éclat.
 


Open AI n’est pas une entreprise comme les autres 

Open AI poursuit un double objectif

La première mission d’Open AI telle que définie sur la première page de son site internet est de développer une intelligence générale artificielle (voir définition ci-dessous) sûre au profit de l’humanité. Selon l’analyse même d’une partie des dirigeants et chercheurs du groupe américain, cette recherche n’est pas sans danger et doit être étroitement encadrée. La seconde mission d’Open AI, développée à partir de 2019, est la conception et la commercialisation à grande échelle des produits considérés comme achevés et sans risque (Chat GPT…). Cette seconde activité préfère donc par nature la vitesse à la précaution.
 

Au sein d’une double structure

La structure d’Open AI reflète cette dualité de mission. Un conseil d’administration indépendant contrôle deux holdings et gère l’équilibre entre les deux objectifs :
 
Une Holding Open AI Nonprofit, détenue à la fois par une Charity contrôlée par le board, mais également par les employés et par des investisseurs extérieurs (dont Bedrock Capital, Sequoia Capital, Andreesen Horowitz, Thrive Capital, Microsoft..).

- Une holding Open AI Global Capped profit (limitant le retour sur investissement à 100 fois la mise initiale) qui développe les activités commerciales, contrôlée par la holding précédente mais dans laquelle Microsoft détient également des intérêts économiques minoritaires.


Des visions et des intérêts pas forcément compatibles

- Les missions contradictoires d’Open AI ont rapidement créé une ligne de fracture au management et du Board, les pessimistes (partisans de la plus grande prudence et d’une réglementation stricte) s’opposant aux optimistes (défenseurs de « l’accélérationnisme efficace » dont le chef de file est Sam Altman) partisans d’une poursuite sans restriction du progrès technologique et d’une plus grande prise de risque.

- Les intérêts des salariés ne sont pas véritablement alignés avec ceux du CEO, ce dernier ne pouvant pas être actionnaire, par statut (à l’exception d’une petite participation constituée dans sa structure Y Combinator avant sa nomination).

- Les intérêts des différents actionnaires extérieurs cherchant à rentabiliser leurs investissements divergent notablement de ceux des chercheurs et des managers les plus prudents souhaitant procéder par étape avant chaque lancement de produit. Ainsi, les investisseurs extérieurs semblent avoir massivement milité pour un retour de Sam Altman, sans même souhaiter clarifier la nature du conflit l’opposant au Board.
 


Quels enseignements tirer de cette crise de gouvernance ?

Cinq jours de crise chez Open AI auront suffi pour changer profondément la nature et la philosophie de l’un des board les plus indépendant du monde dans l’une des sociétés potentiellement les plus toxiques du monde, sans provoquer de remous particuliers. Quoi qu’en dise aujourd’hui Microsoft, qui se défend d’avoir pris le contrôle d’Open Ai, les priorités du nouveau Board (plus composé de personnalités de l’establishment financier américain que de chercheurs) semblent désormais plus pencher du côté du succès commercial que de la maîtrise absolue de la malveillance potentielle inhérente à l’intelligence artificielle.
 
 
Les principaux acteurs du secteur de l’intelligence artificielle sont aujourd’hui confrontés aux mêmes enjeux qu’Open AI et présentent le même niveau explosif d’intérêts contradictoires. Il nous semble ici utile d’évoquer trois possibles axes d’amélioration des mécanismes de gouvernance destinés à limiter des dérives potentielles.
 

La supervision d’un régulateur

La dangerosité sans limite d’une intelligence artificielle manipulée à des fins malveillantes appelle dès aujourd’hui la mise en place d’une « super entité de gouvernance » capable de superviser, d’encadrer et de sanctionner en cas d’abus ou d’insuffisance. Un compromis trouvé en par l’Union Européenne en décembre 2023 prévoit par exemple une approche à deux vitesses. Des règles s’imposeront à tous pour s’assurer de la qualité des données utilisées dans la mise au point des algorithmes et pour vérifier qu’ils n’enfreignent pas la législation sur les droits d’auteur. Les développeurs devront par ailleurs s’assurer que les sons, les images et les textes produits soient bien identifiés comme artificiels. (https://www.lemonde.fr/pixels/article/2023/12/09/l-union-europeenne-trouve-un-accord-pour-encadrer-le-developpement-de-l-intelligence-artificielle_6204759_4408996.html). Ce positionnement européen assez tranché n’a pour l’instant pas été suivi aux Etats-Unis.
 

La transparence du Board

Les enjeux philosophiques des sociétés d’intelligence artificielle dépassant de loin ceux d’une société commerciale classique, la philosophie et la ligne directrice de chacun des membres du board devraient être publique et documentée. Les membres du board doivent être choisis pour leur indépendance capitalistique mais également philosophique, constituant un véritable contrepouvoir à des ambitions commerciales potentiellement agressives.


Mieux associer les salariés

Le rôle fondamental exercé par les chercheurs dans la conception et les orientations de l’intelligence artificielle milite pour que certains d’entre eux puisse être associés au Board (au travers d’une élection ?) afin que l’ensemble des salariés puissent être informés, représentés participer aux grandes décisions stratégiques en évitant toute manipulation interne.

 

Conclusion

La crise récente d’Open AI révèle des dynamiques complexes au sein d’organisations innovantes dans le domaine de l’intelligence artificielle et met en lumière les tensions entre la gouvernance, les ambitions technologiques et les impératifs éthiques.
 
La destitution temporaire de Sam Altman, suivie par une intervention sans précédent des employés et un rôle ambigu joué par Microsoft, illustre la fragilité des mécanismes de gouvernance traditionnels dans un contexte où les intérêts des différents acteurs peuvent diverger. La crise souligne en particulier le risque d'une influence disproportionnée des investisseurs majeurs sur les décisions stratégiques, même en l'absence de positions formelles au sein du conseil d'administration.
 
Les événements chez OpenAI démontrent l'importance de renforcer l'indépendance et la transparence des conseils d'administration, afin de garantir une gouvernance qui respecte à la fois les ambitions technologiques et les impératifs éthiques. Ils appellent à une réflexion sur la nécessité d'innover en matière de gouvernance, notamment par une meilleure intégration des voix des employés dans les processus décisionnels et par la mise en place de mécanismes de surveillance et de régulation adaptés aux spécificités de l'IA.
Définition de la gouvernance
 
Le gouvernement d’entreprise (ou corporate gouvernance) est un terme qui désigne l’organisation du pouvoir au sein d'une entreprise, visant à un juste équilibre entre les instances de direction, les instances de contrôle et les actionnaires. La gouvernance d’entreprise permet de réguler les relations entre les parties prenantes d’une entreprise.

 
Définition de l’Intelligence Artificielle Générale (IAG)

L'Intelligence Artificielle Générale (IAG) est une Intelligence artificielle (IA) capable d'effectuer toute tâche intellectuelle humaine, contrairement aux IA actuelles spécialisées dans des domaines précis. L'IAG promet d'accélérer l'innovation dans des secteurs clés comme la médecine et l'énergie, d'améliorer la prise de décision grâce à son analyse supérieure des données, et de transformer le marché du travail en automatisant des emplois complexes. Cependant, son développement soulève d'importants défis éthiques, de sécurité et de régulation. La gestion de l'IAG, son contrôle, et la répartition équitable de ses bénéfices sont cruciaux pour assurer qu'elle serve l'intérêt de l'humanité. L'avenir de l'IAG représente donc un potentiel immense pour le progrès, mais exige une réflexion approfondie et une gestion prudente pour éviter des risques majeurs.
 

Intelligence artificielle ouverte ou Intelligence artificielle fermée ?

Deux visions s’opposent dans le développement de l'intelligence artificielle : l'intelligence artificielle ouverte (IA ouverte) et l'intelligence artificielle fermée (IA fermée). Au cœur de ce débat se trouvent des enjeux cruciaux de sécurité. Chacune de ces approches présente des avantages et des inconvénients qui reflètent les différentes priorités et les préoccupations dans le domaine de l’avancement technologique.
 
- D’une part, l’IA ouverte, illustrée par des modèles comme LLaMA de Meta, se caractérise par sa disponibilité publique et sa transparence. Cette vision promeut l'élargissement de l'accès technologique, visant à démocratiser l'utilisation de l'IA pour stimuler l'innovation et la collaboration. Elle encourage une démarche de développement responsable où les chercheurs et les développeurs du monde entier peuvent accéder aux modèles, les améliorer et les appliquer à de nouveaux problèmes.

- En opposition, l’IA fermée, illustrée par des modèles comme celui d’Open Ai, désigne une approche où l'accès aux détails techniques du modèle est restreint et contrôlé par l'organisation qui l'a développé. Les défenseurs de l’IA fermée mettent en avant les risques d'une mise à disposition trop large, craignant l'exploitation malveillante de ces outils. De plus, cette approche offre aux entreprises la possibilité de diriger avec précision le développement de leurs modèles, une stratégie souvent préférée par les investisseurs pour sa capacité à générer un avantage concurrentiel distinct et à sécuriser le financement nécessaire pour la recherche et le développement.
 
Comme le montrent les trajectoires des acteurs majeurs, le choix entre une stratégie d'intelligence artificielle ouverte ou fermée est loin d'être simplement binaire.

Open Ai, par exemple, a initialement lancé un modèle en IA ouverte avant de se tourner vers une approche fermée. 

De son côté, Google avec son modèle Gemma, a opté pour une classification comme "modèle ouvert" au lieu de "modèle open source", introduisant une nuance importante dans le débat.
 
Cette nuance entre un "modèle ouvert", qui offre un accès étendu sous certaines conditions d’utilisation, et un "modèle open source", qui partage non seulement le modèle mais également son code source et les données d'entraînement, est nouvelle et cruciale. Elle révèle les différents niveaux d'ouverture et les implications pour l'innovation, la sécurité et l'intégrité éthique. Ces différences soulignent la nécessité d'équilibrer l'accessibilité et la liberté d'innovation avec les considérations de sécurité et les principes éthiques, dans le but de naviguer de manière responsable dans le développement de l'IA.
 
Evolution du Board d’Open AI
 

>> Lire l’article

Découvrez d'autres contenus du même partenaire

Contributeurs

À découvrir
Graph du jour

Chaque jour, nous sélectionnons pour vous, professionnels de la gestion d'actifs, une actualité chiffrée précieuse à vos analyses de marchés. Statistiques, études, infographies dans divers domaines : épargne, immobilier, économie, finances, etc. Ne manquez pas l'info visuelle quotidienne !

Voir tous nos graphs
Agenda

Ne loupez aucun événement de nos partenaires : webinars, roadshow, formations, etc. en vous inscrivant en ligne.

Voir notre agenda
Les fonds de nos partenaires