When AI Safety Is not Safe Enough: A Critical Look at Bengio’s Strategy

By Benoit Coulombe PhD – PHAGEMIND Initiative

Version française plus bas

In the fast-moving world of artificial intelligence (AI), few voices command more respect than Yoshua Bengio, professor at the University of Montréal (MILA), pioneer of deep learning, and winner of the Turing Award (the equivalent of the Nobel prize for Informatics). Prof Bengio has long championed the need for safe and ethical AI. His latest venture, LawZero, proposes a new generation of "Scientist AI", this is systems that know when to say “I don’t know”, and that block actions when risks are too high.

It is a welcome initiative. But is it enough?

The Technocentric Trap

Bengio’s strategy focuses primarily on technical safeguards: self-awareness of uncertainty, embedded ethical constraints, and behavior-limiting protocols. These are important tools. Yet they reduce safety to a question of code, overlooking a fundamental notion: AI is not just a technical artifact, it is a sociotechnical system.

Safety must also account for who builds the system, why it is built, and how it is used in the real world. Without this broader vision, even the most cautious AI can cause harm.

Systemic Blind Spots

AI does not operate in a vacuum. It is shaped by markets, power structures, and global inequalities. A truly safe AI strategy must confront these realities. LawZero currently avoids them. There is little discussion of:

•      How AI could deepen global inequality

•      Who governs scientific superintelligence

•      What happens when corporate interests override ethical guardrails

By ignoring these dimensions, LawZero risks offering a fragile solution — sound in theory, yet vulnerable in practice.

A Narrow Ethical Vision

The ethical framework behind LawZero seems to draw from Western academic models of rationality, humility, and constraint. However, AI will touch every culture, every society. Its values must be co-designed with a plurality of worldviews — including Indigenous knowledge systems, feminist perspectives, and voices from the Global South.

Without ethical pluralism, alignment becomes a monologue. And safety becomes subjective.

The Danger of Long-Term

Finally, Bengio’s vision leans heavily on preventing catastrophic, long-term risks — such as rebel superintelligence. These are legitimate concerns. But while we worry about hypothetical futures, real harms are happening now:

•      Facial recognition misused for surveillance

•      Chatbots giving dangerously incorrect health advice

•      Protein design tools repurposed to generate toxic molecules

Safety cannot be only about future threats. It must also address present harms urgently.

Toward an Intelligence Aligned with Life

At PHAGEMIND, our own superintelligence initiative, we believe that life is not a system to be optimized. It is a dynamic, evolving web of interactions — rich in context, ambiguity, and meaning. Building AI for biology requires a new paradigm:

-       Aligned with biological reality


-       Guided by scientific ethics


-       Designed for global equity

Yoshua Bengio’s strategy is undoubtedly part of the solution. But to build a truly safe and just AI future, we need more than humility. We need systemic vision, ethical inclusion, and biological grounding.

In short: We must build an intelligence aligned with life itself.

Quand la sécurité de l’IA n’est plus vraiment sûre : regard critique sur la stratégie de Yoshua Bengio

Par Benoit Coulombe PhD – Initiative PHAGEMIND

Dans l’univers effervescent de l’intelligence artificielle (IA), rares sont les voix aussi respectées que celle de Yoshua Bengio, professeur à l’Université de Montréal (MILA), pionnier de l’apprentissage profond, et récipiendaire du prix Turing (l’équivalent du prix Nobel pour l’informatique). Le prof Bengio défend depuis longtemps une IA éthique et sécuritaire. Sa nouvelle initiative, LawZero, propose une génération d’IA « scientifiques » : des systèmes capables de dire « Je ne sais pas » quand l’incertitude est trop grande, et de bloquer des actions lorsque le risque devient trop élevé.

Sans aucun doute, c’est une initiative salutaire. Mais est-ce suffisant ?

Le piège techno-centré

La stratégie de Bengio repose avant tout sur des garde-fous techniques : détection de l’incertitude, limites comportementales, contraintes éthiques codées dans les algorithmes. Ce sont des outils certainement essentiels.

Mais cette approche réduit la sécurité à une question de code, oubliant une vérité fondamentale : l’IA n’est pas qu’un artefact technique — c’est un système sociotechnique.

Pour être vraiment sécuritaire, une IA doit aussi tenir compte de qui la conçoit, pourquoi elle est créée, et comment elle sera utilisée dans le monde réel. Sans cette vision élargie, même l’IA la plus prudente peut causer du tort.

Des angles morts systémiques

L’IA n’évolue pas dans le vide. Elle est façonnée par les marchés, les structures de pouvoir, et les inégalités mondiales. Une stratégie vraiment sécuritaire doit affronter ces réalités. Le problème c’est que LawZero les contourne.

On y trouve peu de réflexion sur :

-       Comment l’IA pourrait accentuer les inégalités mondiales

-       Qui gouverne une superintelligence scientifique

-       Que se passe-t-il lorsque les intérêts commerciaux l’emportent sur l’éthique

En négligeant ces dimensions, LawZero risque de proposer une solution fragile : cohérente en théorie, bien sûr, mais vulnérable dans la pratique.

Une éthique trop étroite

Le cadre éthique de LawZero semble s’inspirer des modèles occidentaux d’humilité, de rationalité et d’autorégulation. Mais l’IA touchera toutes les cultures, toutes les sociétés. Ses valeurs doivent être co-construites avec une pluralité de visions du monde : systèmes de savoirs autochtones, perspectives féministes, voix du Sud global.

Sans pluralisme éthique, l’alignement devient un monologue. Et la sécurité, une notion relative.

Le danger du long-terme

Finalement, la vision de Bengio se concentre fortement sur des risques catastrophiques à long terme — comme l’émergence d’une superintelligence hors de contrôle. Ces risques sont réels. Mais pendant que nous craignons des futurs hypothétiques, des dommages bien concrets ont déjà lieu :

-       Reconnaissance faciale utilisée à des fins de surveillance

-       Chatbots donnant des conseils médicaux erronés, voire dangereux

-       Outils de conception protéique détournés pour produire des molécules toxiques

La sécurité de l’IA ne peut pas se limiter aux menaces futures. Elle doit aussi traiter, avec urgence, les dangers présents.

🌿 Vers une intelligence alignée avec la vie

Chez PHAGEMIND, nous croyons que la vie n’est pas un système à optimiser. C’est un réseau dynamique, évolutif, tissé d’interactions, de subtilités et de sens. Construire une IA pour la biologie exige un changement de paradigme :

-       Alignée sur la réalité biologique


-       Guidée par l’éthique scientifique


-       Conçue pour l’équité globale

La stratégie du professeur Bengio fait partie de la réponse. Mais pour construire un avenir réellement sûr et juste pour l’IA, il nous faut plus que de l’humilité : il nous faut une vision systémique, une inclusion éthique et un ancrage biologique profond.

En bref : nous devons construire une intelligence alignée sur la vie elle-même.