The optimism crisis: behind OpenAI schism

The big news in the AI world these past few days was the forced departure of Sam Altman, CEO and co-founder of OpenAI, pushed out by some board members.

While the reasons have not been officially disclosed, and X has turned into a sensational series marked by the developments of the last three days, a real ideological division seems to be emerging from the reactions. The main rumor indeed revolves around an ethical split related to the declared goal of creating an AGI, Artificial General Intelligence, a form of Super-Intelligence that would be at the service of humanity. However, while this goal appears to be shared by all board members, the methodology for achieving it might be the issue.

This divide is personified by the two main figures of OpenAi: Sam Altman, CEO, and Ilya Sutskever, Chief Scientist in charge of research. It is, therefore, a conflict between product and research, profit and non-profit, speed and the precautionary principle, as well as an ideological struggle between two opposing currents: e/acc versus EA.

EA stands for Effective Altruism, a movement within tech that seeks to find the best ways to use technology to positively impact society. Regrettably brought back into the limelight by Sam Bankman-Fried, who claimed affiliation, the movement has had a relatively constant significance within Silicon Valley for many years.

Opposing them is e/acc, the Effective Accelerationism movement, recently created in response to the former actors, sometimes ironically renamed “Doomers,” which criticizes the established precautions and regulations, advocating for unrestrained capitalist acceleration. Their goal would be to reach a form of “techno-capital” singularity, a concept from Nick Land, a controversial American philosopher also at the origin of the broader idea of accelerationism, as well as the neo-reactionary (NRx) movement, which espouses non-democratic and non-egalitarian values, serving as inspiration to the alt-right, especially following racialist and eugenicist controversies.

A different interpretation of the events is also emerging: Indeed, two board members are proponents of Effective Altruism, Tasha McCauley and Helen Toner. Ilya Sutskever has never officially declared such an affiliation, but his academic approach and recent tweets suggest a similar call for caution, not a frantic race driven by profit logic. Elon Musk, who recruited the scientist at the founding of OpenAI, also expressed his concern on Twitter, explaining that if Ilya had to make such a decision, there must surely be viable ethical reasons behind it. Finally, unsurprisingly, Emmet Shear, the new CEO and former boss of Twitch, clearly stated on Twitter his position in favor of a “slow down,” and also has connections with EA.

On the other hand, Sam Altman has never truly claimed to be part of e/acc, but he is nevertheless one of the movement’s figureheads. He notably interacted on Twitter with one of the movement’s founders, humorously named Beff Jezos, taking pride in the fact that no one could accelerate faster than him. Behind e/acc, there are well-known figures such as Martin Shkreli, the most hated man on the internet, and other powerful backers like Marc Andreessen, head of A16Z, one of the most powerful investment funds in tech, who is one of the most fervent defenders of the movement, regularly citing Beff Jezos, and also mentioned Nick Land in his “Techno Optimist” manifesto revealed recently. This manifesto clearly announces the divide: the enemies are those in favor of deceleration, regulation, ethics, and the precautionary principle.

Behind the definition of the term “optimism” lies, in my opinion, the ideological split we distinguish in all the current debates.

In an interview with the WSJ, Sam Altman indeed shows a form of blind optimism about the benefits an AGI would bring to the world. An optimism he tries to convey to reassure, as the fears (legitimate or not) of people are very much on everyone’s mind. The journalist immediately afterward asks Sam Altman: “Do you own a bunker?” Despite his evasion, explaining that it would be useless against an uncontrollable AGI, it may be good to remember that he discussed in an old interview his survivalist hobby, owning “guns, gold, potassium iodide, antibiotics, batteries, water, gas masks from the Israeli Defense Force, and a big patch of land in Big Sur I can fly to”. It is also interesting to recall another of Sam Altman’s businesses, the startup WorldCoin, which aims to scan citizens’ irises to give them a unique identifier, a potential solution to counter the risks of confusion between intelligent AI and real humans.

So, is it marketing hypocrisy or genuine nonchalance? And behind all this, is there a real security risk or just ego debates?

Accelerated technological innovation is not new, nor are its missteps. Facebook long championed the motto “move fast and break things,” and there are many repentant figures in Silicon Valley, engineers who realized the negative impact of their creations on society. Justin Rosenstein, Tristan Harris, Sean Parker, the inventors of the like button, infinite scroll, and other cognitive manipulations serving the attention economy have turned away from their past, even creating the Center for Humane Technology. However, their voices are quieter than those of their critics, the modern heirs of cornucopianism, who silence any nuanced discourse and label any moderate position as neo-luddite, technophobe, or more recently for AI, Doomer.

Silicon Valley seemed to assume that the tools they were building were always forces for good — and that anyone who questioned them was a crank or a luddite. https://www.theguardian.com/news/2018/may/03/why-silicon-valley-cant-fix-itself-tech-humanism

Meanwhile, the opacity of the reasons behind the board’s decision seems to catapult Sam Altman as the public’s favorite, incidentally undermining the cause of EA. And ultimately, it has allowed Microsoft a neat strategic move, enabling them to catch up at a lower cost in the race against DeepMind and xAI.

We can still hope for AI to benefit humanity, but alignment is necessary, and it will only happen if we can talk about it.

🇫🇷 Version FR

La grande nouvelle de ces derniers jours dans le monde l’IA était le départ forcé de Sam Altman, CEO et co-fondateur d’OpenAI, poussé vers la sortie par certains membres du board.

Alors que les raisons n’ont toujours pas été officiellement révélées, et que X s’est transformé en feuilleton rocambolesque, animé par les rebondissements de ces trois derniers jours, on voit cependant poindre au coeur des réactions une vraie scission idéologique.

La rumeur principale tourne en effet autour d’un clivage éthique, lié à l’objectif assumé de créer une AGI, Artificial General Intelligence, une forme de superintelligence qui serait au service de l’humanité. Mais si cet objectif semble partagé par tous les membres du board, c’est la méthodologie pour y arriver qui pourrait poser problème.

Ce clivage est incarné par les deux principaux acteurs d’OpenAi: Sam Altman, CEO and Ilya Sutskever, Chief Scientist en charge de la recherche. Il s’agit donc d’un combat entre le produit et la recherche, entre profit et non-profit, entre vitesse et principe de précaution. Mais aussi un combat idéologique entre deux courants qui s’opposent, dont vous n’avez peut-être pas encore entendu parler : e/acc vs EA.

EA est l’acronyme d’Effective Altruism, un courant au sein de la tech visant à trouver les meilleures façons d’utiliser la technologie pour impacter de façon positive la société. Tristement remis sur le devant de la scène par Sam Bankman-Fried qui s’en réclamait, le mouvement a pourtant une importance relativement constante au sein de la Silicon Valley depuis de nombreuses années.

Face à eux, e/acc, le mouvement Effective Accelerationism, créé il y a peu en réponse aux précédents acteurs parfois ironiquement renommé « Doomers », critiquant les précautions et régulations mises en places, et prônant une accélération capitaliste débridée. Leur objectif serait d’atteindre une forme de singularité du « techno-capital », concept venu de Nick Land, sulfureux philosophe américain également à l’origine de l’idée plus large d’accélerationisme, ainsi que du mouvement néo-réactionnaire (NRx), qui prône des valeurs non-démocratiques et non-égalitaristes, servant d’inspiration à l’alt-droite, notamment suite à des polémiques racialistes et eugénistes.

Et c’est là qu’on voit naître une autre lecture des événéments :

Deux des membres du board se réclament en effet de l’Effective Altruism, Tasha mccauley et Helen Toner. Ilya Sutskever, quant à lui, n’a jamais officiellement déclaré une telle appartenance, mais son approche académique et ses récents tweets suggèrent une même invitation à la prudence, et non à une course effrénée répondant à une logique de profit.

Elon Musk, qui avait recruté le scientifique lors de la création d’OpenAI, a d’ailleurs exprimé son inquiétude sur Twitter en expliquant que si Ilya avait dû en arriver à une telle décision, c’est qu’il y avait sûrement des raisons éthiques viables derrière ce choix.

Enfin, sans surprise, Emmet Shear, le nouveau CEO et ancien boss de Twitch, a exprimé clairement sur Twitter sa position en faveur d’un « slow down », et a également des accointances avec l’EA.

De l’autre côté, Sam Altman ne s’est jamais vraiment réclamé de l’e/acc, mais il est pourtant l’un des parangons du mouvement. Il a notamment échangé sur Twitter avec l’un des fondateurs du mouvement, au nom amusant de Beff Jezos, en s’amusant du fait que personne ne pouvait accélérer plus vite que lui.

Derrière l’e/acc, on retrouve des figures déjà connues tel que l’homme le plus détesté d’internet, Martin Shkreli, et d’autres puissants soutiens, tel que Marc Andreesen, à la tête d’un des plus puissant fond d’investissement dans la tech, est l’un des plus fervents défenseurs du mouvement, citant régulièrement Beff Jezos, et ayant également mentionné Nick Land dans son manifesto « Techno Optimist » révélé il y a peu.
Ce manifeste annonce d’ailleurs clairement ce clivage : les ennemis sont ceux en faveur de la décélération, de la régulation, de l’éthique et du principe de précaution.

Derrière cette définition du terme « optimisme » se cache à mon sens le clivage idéologique qu’on distingue dans tous les débats du moment.

Dans une interview du WSJ, Sam Altman montre effectivement une forme d’optimisme aveugle sur le bénéfice qu’apporterait une AGI au monde. Optimisme qu’il s’efforce de transmettre pour rassurer, les peurs (légitimes ou non) des gens étant bien présentes à l’esprit de tous.

La journaliste pose d’ailleurs dans la foulée la question à Sam Altman : « possédez-vous un bunker ?».
Et malgré le fait qu’il élude, en expliquant que cela ne servirait à rien contre une AGI devenue incontrôlable, il est peut être bon de rappeler qu’il expliquait dans une ancienne interview son hobby de survivaliste, possédant « guns, gold, potassium iodide, antibiotics, batteries, water, gas masks from the Israeli Defense Force, and a big patch of land in Big Sur I can fly to ». Il est aussi intéressant de rappeler un des autres business de Sam Altman, la startup WorldCoin visant à scanner l’iris des citoyens pour leur donner un identifiant unique, solution potentielle pour contrer les risques de confusion entre IA intelligente et vrais humains.

Alors, hypocrisie marketing ou réelle nonchalance ? Et derrière tout ça, réel risque de sécurité ou débats d’égos ?

L’innovation technologique accélérée n’est pourtant pas nouvelle, et ses dérapages non plus. Facebook a longtemps prôné la devise « move fast and break things », et les repentis de la Silicon Valley, ces ingénieurs ayant réalisés l’impact négatif de leur création sur la société, sont pourtant nombreux. Justin rosenstein, Tristan harris, Sean parker, les inventeurs du like, du scroll infini et autres manipulations cognitives au service de l’économie de l’attention en sont revenus, créant d’ailleurs le Center for Humane Technology. Mais leurs voix sont plus faibles que celles de leurs détracteurs, héritiers moderne du cornucopianisme, qui muselent tout discours nuancé et transforme chaque position modérée en néo-luddite, technophobe ou plus récemment pour l’IA, Doomer.

Silicon Valley seemed to assume that the tools they were building were always forces for good — and that anyone who questioned them was a crank or a luddite. https://www.theguardian.com/news/2018/may/03/why-silicon-valley-cant-fix-itself-tech-humanism

En attendant, l’opacité des raisons ayant poussé le board à ce choix semble propulser Sam Altman comme favori du public, desservant au passage la cause des EA. Et finalement, cela a surtout permis à Microsoft un joli coup stratégique, lui permettant de remonter à moindre frais dans la course face à DeepMind et xAI.

L’IA pour le bien de l’humanité, on peut encore l’espérer, mais encore faudrait-il pouvoir s’aligner, et pour cela, en parler.