English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED@IBM

Grady Booch: Don't fear superintelligent AI

Grady Booch: Ne craignez pas une IA super-intelligente

Filmed
Views 1,400,311

Les nouvelles technologies engendrent de nouvelles craintes, dit le scientifique et philosophe Grady Booch, mais nous n'avons pas à craindre une IA toute puissante et sans émotions. Il calme nos pires peurs (induites par la science-fiction) quant aux ordinateurs super-intelligents en expliquant comment nous leur apprendrons, et ne les programmerons pas, à partager nos valeurs. Plutôt que de s'inquiéter d'une menace existentielle peu probable, il nous incite à considérer comment l'intelligence artificielle améliorera la vie humaine.

- Scientist, philosopher
IBM's Grady Booch is shaping the future of cognitive computing by building intelligent systems that can reason and learn. Full bio

Quand j'étais enfant,
j'étais l'exemple parfait de l'intello.
00:12
When I was a kid,
I was the quintessential nerd.
Certains d'entre vous
devaient l'être aussi.
00:17
I think some of you were, too.
(Rires)
00:19
(Laughter)
Et vous, monsieur, qui avez ri
le plus fort, devez encore l'être.
00:20
And you, sir, who laughed the loudest,
you probably still are.
(Rires)
00:24
(Laughter)
J'ai grandi dans une petite ville
des plaines poussiéreuses du Texas,
00:26
I grew up in a small town
in the dusty plains of north Texas,
fils d'un shérif
qui était fils de pasteur.
00:29
the son of a sheriff
who was the son of a pastor.
Hors de question de m'attirer des ennuis.
00:33
Getting into trouble was not an option.
J'ai donc commencé à lire
des livres de calcul pour le plaisir.
00:36
And so I started reading
calculus books for fun.
(Rires)
00:39
(Laughter)
Vous aussi.
00:40
You did, too.
Cela m'a mené à créer un laser,
un ordinateur et des micro fusées
00:42
That led me to building a laser
and a computer and model rockets,
et à faire du carburant
pour les fusées dans ma chambre.
00:46
and that led me to making
rocket fuel in my bedroom.
En termes scientifiques,
00:49
Now, in scientific terms,
cela s'appelle une très mauvaise idée.
00:53
we call this a very bad idea.
(Rires)
00:56
(Laughter)
A peu près au même moment,
00:58
Around that same time,
« 2001 : l'odyssée de l'espace »
de Stanley Kubrick est sorti
01:00
Stanley Kubrick's "2001: A Space Odyssey"
came to the theaters,
et cela a changé ma vie.
01:03
and my life was forever changed.
J'aimais tout dans ce film,
01:06
I loved everything about that movie,
en particulier HAL 9000.
01:08
especially the HAL 9000.
HAL était un ordinateur sensible
01:10
Now, HAL was a sentient computer
conçu pour guider Discovery,
le vaisseau spatial,
01:13
designed to guide the Discovery spacecraft
de la Terre à Jupiter.
01:15
from the Earth to Jupiter.
HAL était aussi un personnage imparfait
01:18
HAL was also a flawed character,
puisqu'à la fin, il choisissait
01:20
for in the end he chose
to value the mission over human life.
la valeur de la mission
plutôt que la vie humaine.
HAL était un personnage de fiction
01:24
Now, HAL was a fictional character,
mais il s'adresse malgré tout à nos peurs,
01:26
but nonetheless he speaks to our fears,
nos peurs d'être assujettis
01:29
our fears of being subjugated
par une intelligence artificielle
sans émotions
01:31
by some unfeeling, artificial intelligence
qui est indifférente à notre humanité.
01:34
who is indifferent to our humanity.
Je crois que de telles peurs
sont infondées.
01:37
I believe that such fears are unfounded.
En fait, nous vivons un moment remarquable
01:40
Indeed, we stand at a remarkable time
dans l'histoire de l'humanité
01:43
in human history,
où, guidés par notre refus d'accepter
les limites de nos corps et esprit,
01:44
where, driven by refusal to accept
the limits of our bodies and our minds,
nous construisons des machines
01:49
we are building machines
d'une complexité et d'une grâce
exquises et magnifiques
01:51
of exquisite, beautiful
complexity and grace
qui étendront l'expérience humaine
01:55
that will extend the human experience
bien au-delà de notre imagination.
01:57
in ways beyond our imagining.
Après une carrière qui m'a mené
de l'Air Force Academy
01:59
After a career that led me
from the Air Force Academy
au Space Command aujourd'hui,
02:02
to Space Command to now,
je suis devenu ingénieur de systèmes
02:04
I became a systems engineer,
02:06
and recently I was drawn
into an engineering problem
et j'ai récemment participé
à un problème d'ingénierie
associé à la mission sur Mars de la NASA.
02:08
associated with NASA's mission to Mars.
Pour les vols dans l'espace
jusqu'à la Lune,
02:11
Now, in space flights to the Moon,
nous comptons sur le centre
de contrôle de mission de Houston
02:13
we can rely upon
mission control in Houston
pour surveiller tous les aspects du vol.
02:17
to watch over all aspects of a flight.
Cependant, Mars est à une distance
200 fois plus importante
02:19
However, Mars is 200 times further away,
et le résultat est
qu'il faut en moyenne 13 minutes
02:22
and as a result it takes
on average 13 minutes
pour qu'un signal voyage
de la Terre jusqu'à Mars.
02:25
for a signal to travel
from the Earth to Mars.
S'il y a un problème,
c'est beaucoup trop long.
02:29
If there's trouble,
there's not enough time.
Une solution d'ingénierie raisonnable
02:32
And so a reasonable engineering solution
nous a poussés à placer
le centre de contrôle de mission
02:35
calls for us to put mission control
02:37
inside the walls of the Orion spacecraft.
entre les murs de l'engin spatial Orion.
Une autre idée fascinante
dans le profil de la mission
02:41
Another fascinating idea
in the mission profile
place les robots humanoïdes
sur la surface de Mars
02:43
places humanoid robots
on the surface of Mars
avant l'arrivée des humains,
02:46
before the humans themselves arrive,
pour construire des infrastructures
02:48
first to build facilities
02:50
and later to serve as collaborative
members of the science team.
puis servir de membres collaboratifs
à l'équipe scientifique.
En observant cela
d'un point de vue d'ingénieur,
02:55
Now, as I looked at this
from an engineering perspective,
il m'est clairement apparu
que je devais concevoir
02:58
it became very clear to me
that what I needed to architect
une intelligence artificielle
intelligente, collaborative
03:01
was a smart, collaborative,
03:03
socially intelligent
artificial intelligence.
et socialement intelligente.
En d'autres mots, je devais créer
quelque chose ressemblant à HAL
03:05
In other words, I needed to build
something very much like a HAL
mais sans tendances meurtrières.
03:10
but without the homicidal tendencies.
(Rires)
03:12
(Laughter)
Marquons un instant de pause.
03:14
Let's pause for a moment.
Est-il réellement possible de créer
une telle intelligence artificielle ?
03:16
Is it really possible to build
an artificial intelligence like that?
C'est possible.
03:20
Actually, it is.
De bien des façons,
03:22
In many ways,
c'est un problème d'ingénierie complexe
03:23
this is a hard engineering problem
avec un peu d'IA,
03:25
with elements of AI,
non pas un problème inextricable d'AI
qui nécessite de l'ingénierie.
03:26
not some wet hair ball of an AI problem
that needs to be engineered.
Pour paraphraser Alan Turing,
03:31
To paraphrase Alan Turing,
créer une machine sensible
ne m'intéresse pas.
03:34
I'm not interested
in building a sentient machine.
Je ne crée pas HAL.
03:36
I'm not building a HAL.
Tout ce que je veux
c'est un cerveau simple,
03:38
All I'm after is a simple brain,
quelque chose qui offre
l'illusion de l'intelligence.
03:40
something that offers
the illusion of intelligence.
L'art et la science de l'informatique
ont beaucoup progressé
03:45
The art and the science of computing
have come a long way
depuis que HAL était au cinéma.
03:48
since HAL was onscreen,
J'imagine que si son inventeur,
Dr Chandra était présent aujourd'hui,
03:49
and I'd imagine if his inventor
Dr. Chandra were here today,
03:52
he'd have a whole lot of questions for us.
il aurait beaucoup
de questions à nous poser.
Est-il vraiment possible pour nous
03:55
Is it really possible for us
de prendre un système de millions
et millions d'appareils,
03:57
to take a system of millions
upon millions of devices,
lire leurs flux de données,
04:01
to read in their data streams,
prévoir leurs défaillances et agir avant ?
04:02
to predict their failures
and act in advance?
Oui.
04:05
Yes.
Et créer des systèmes parlant
avec les humains dans leur langue ?
04:06
Can we build systems that converse
with humans in natural language?
Oui.
04:09
Yes.
Et créer des systèmes reconnaissant
les objets et les émotions,
04:10
Can we build systems
that recognize objects, identify emotions,
étant eux-mêmes émotifs,
jouant à des jeux, lisant sur les lèvres ?
04:13
emote themselves,
play games and even read lips?
Oui.
04:17
Yes.
Et créer des systèmes
établissant des objectifs,
04:18
Can we build a system that sets goals,
04:20
that carries out plans against those goals
and learns along the way?
mettant des plans en œuvre
et apprenant au passage ?
Oui.
04:24
Yes.
Et créer des systèmes
qui ont une théorie de l'esprit ?
04:25
Can we build systems
that have a theory of mind?
Nous apprenons à le faire.
04:28
This we are learning to do.
Et créer des systèmes ayant
des principes éthiques et moraux ?
04:30
Can we build systems that have
an ethical and moral foundation?
Nous devons apprendre à le faire.
04:34
This we must learn how to do.
Acceptons un instant
04:37
So let's accept for a moment
qu'il soit possible de créer
une telle intelligence artificielle
04:38
that it's possible to build
such an artificial intelligence
04:41
for this kind of mission and others.
pour ce genre de missions et d'autres.
La question suivante
qu'il faut se poser est :
04:43
The next question
you must ask yourself is,
devrions-nous la craindre ?
04:46
should we fear it?
Toute nouvelle technologie
04:47
Now, every new technology
entraîne de l'inquiétude.
04:49
brings with it
some measure of trepidation.
Au début des voitures,
04:52
When we first saw cars,
les gens se lamentaient que nous voyions
la destruction de la famille.
04:54
people lamented that we would see
the destruction of the family.
A l'arrivée des téléphones,
04:58
When we first saw telephones come in,
les gens craignaient
la fin de toute conversation civile.
05:01
people were worried it would destroy
all civil conversation.
À un moment donné, les mots écrits
sont devenus omniprésents,
05:04
At a point in time we saw
the written word become pervasive,
les gens pensaient
que nous perdrions notre mémoire.
05:08
people thought we would lose
our ability to memorize.
Toutes ces choses sont en partie vraies,
05:10
These things are all true to a degree,
mais ces technologies
05:12
but it's also the case
that these technologies
ont aussi apporté des choses
qui ont étendu l'expérience humaine
05:15
brought to us things
that extended the human experience
de façon profonde.
05:18
in some profound ways.
Allons un peu plus loin.
05:21
So let's take this a little further.
Je n'ai pas peur de la création
d'une telle IA
05:25
I do not fear the creation
of an AI like this,
car elle finira par incarner
certaines de nos valeurs.
05:29
because it will eventually
embody some of our values.
Considérez ceci :
05:33
Consider this: building a cognitive system
is fundamentally different
créer un système cognitif
est fondamentalement différent
de créer un système traditionnel
plein de logiciels comme auparavant.
05:37
than building a traditional
software-intensive system of the past.
Nous ne les programmons pas,
nous leur apprenons.
05:40
We don't program them. We teach them.
Afin d'apprendre à un système
à reconnaître des fleurs,
05:43
In order to teach a system
how to recognize flowers,
je lui montre des milliers
de fleurs que j'aime.
05:45
I show it thousands of flowers
of the kinds I like.
Afin d'apprendre à un système
à jouer à un jeu --
05:48
In order to teach a system
how to play a game --
05:51
Well, I would. You would, too.
Je le ferais, vous aussi.
J'aime les fleurs, allez.
05:54
I like flowers. Come on.
Pour apprendre à un système
à jouer au jeu de Go,
05:57
To teach a system
how to play a game like Go,
je devrais jouer des milliers
de parties de Go
06:00
I'd have it play thousands of games of Go,
06:02
but in the process I also teach it
mais au passage, je lui apprends
à discerner un bon mouvement d'un mauvais.
06:04
how to discern
a good game from a bad game.
Si je veux créer une intelligence
artificielle assistante juridique,
06:06
If I want to create an artificially
intelligent legal assistant,
je lui apprendrais des corpus de loi
06:10
I will teach it some corpus of law
mais en même temps, je lie cela
06:12
but at the same time I am fusing with it
à la compassion et la justice
qui font partie de la loi.
06:14
the sense of mercy and justice
that is part of that law.
En termes scientifiques,
cela s'appelle des vérités fondamentales
06:18
In scientific terms,
this is what we call ground truth,
06:21
and here's the important point:
et voici ce qui est important :
en produisant ces machines,
06:23
in producing these machines,
nous leur enseignons
une partie de nos valeurs.
06:25
we are therefore teaching them
a sense of our values.
Pour cela, j'ai autant confiance,
si ce n'est pas plus,
06:28
To that end, I trust
an artificial intelligence
en une intelligence artificielle
qu'en un être humain bien entraîné.
06:31
the same, if not more,
as a human who is well-trained.
Vous allez demander :
06:36
But, you may ask,
qu'en est-il des hors-la-loi,
06:37
what about rogue agents,
des quelques organisations
non gouvernementales bien financées ?
06:39
some well-funded
nongovernment organization?
Je n'ai pas peur
d'une intelligence artificielle
06:43
I do not fear an artificial intelligence
in the hand of a lone wolf.
dans les mains d'un seul individu.
Nous ne pouvons pas nous protéger
des actes de violence aveugles,
06:47
Clearly, we cannot protect ourselves
against all random acts of violence,
mais un tel système
06:51
but the reality is such a system
requiert un entraînement
substantiel et raffiné
06:53
requires substantial training
and subtle training
qui va bien au-delà
des ressources d'un individu.
06:57
far beyond the resources of an individual.
En outre,
06:59
And furthermore,
il s'agit de bien plus que d'injecter
un virus internet au monde
07:00
it's far more than just injecting
an internet virus to the world,
où en appuyant sur une touche,
il se retrouve à des millions d'endroits
07:03
where you push a button,
all of a sudden it's in a million places
07:06
and laptops start blowing up
all over the place.
et des ordinateurs explosent
un peu partout.
Ce genre de substances
sont bien plus grandes
07:09
Now, these kinds of substances
are much larger,
et nous les verrons sûrement venir.
07:12
and we'll certainly see them coming.
Ai-je peur qu'une telle
intelligence artificielle
07:14
Do I fear that such
an artificial intelligence
menace l'humanité ?
07:17
might threaten all of humanity?
Si vous regardez des films
tels que « Matrix », « Metropolis »,
07:20
If you look at movies
such as "The Matrix," "Metropolis,"
« Terminator » ou des séries
telles que « Westworld »,
07:24
"The Terminator,"
shows such as "Westworld,"
ils évoquent tous ce genre de peur.
07:27
they all speak of this kind of fear.
Dans le livre « Superintelligence »
du philosophe Nick Bostrom,
07:30
Indeed, in the book "Superintelligence"
by the philosopher Nick Bostrom,
il évoque ce thème
07:34
he picks up on this theme
et note qu'une super-intelligence
pourrait être non seulement dangereuse,
07:35
and observes that a superintelligence
might not only be dangerous,
mais représenter une menace existentielle
envers l'humanité tout entière.
07:39
it could represent an existential threat
to all of humanity.
L'argument fondamental
du docteur Bostrom
07:43
Dr. Bostrom's basic argument
est que de tels systèmes finiront
07:46
is that such systems will eventually
par avoir une telle soif
insatiable d'informations
07:48
have such an insatiable
thirst for information
qu'ils apprendront peut-être à apprendre
07:52
that they will perhaps learn how to learn
et finiront par découvrir
qu'ils ont des objectifs
07:55
and eventually discover
that they may have goals
qui sont contraires aux besoins humains.
07:57
that are contrary to human needs.
Le docteur Bostrom a des partisans.
08:00
Dr. Bostrom has a number of followers.
Il est soutenu par des gens
tels qu'Elon Musk et Stephen Hawking.
08:01
He is supported by people
such as Elon Musk and Stephen Hawking.
Avec tout le respect dû
08:06
With all due respect
à ces brillants esprits,
08:10
to these brilliant minds,
je crois qu'ils ont fondamentalement tort.
08:12
I believe that they
are fundamentally wrong.
L'argument du Dr Bostrom
contient nombre d'éléments à décortiquer
08:14
Now, there are a lot of pieces
of Dr. Bostrom's argument to unpack,
et je n'ai pas le temps pour tous,
08:17
and I don't have time to unpack them all,
mais, brièvement, considérez ceci :
08:19
but very briefly, consider this:
un super-savoir est très différent
d'une super-action.
08:22
super knowing is very different
than super doing.
HAL était une menace pour l'équipage
08:26
HAL was a threat to the Discovery crew
uniquement s'il commandait
tous les aspects de Discovery.
08:28
only insofar as HAL commanded
all aspects of the Discovery.
C'en est de même
pour une super-intelligence.
08:32
So it would have to be
with a superintelligence.
Il lui faudrait des réplications
dans le monde entier.
08:35
It would have to have dominion
over all of our world.
08:37
This is the stuff of Skynet
from the movie "The Terminator"
C'est le truc avec Skynet
dans le fim « Terminator »
où nous avons une super-intelligence
08:40
in which we had a superintelligence
commandant la volonté humaine,
08:42
that commanded human will,
08:43
that directed every device
that was in every corner of the world.
contrôlant tous les appareils
à tous les coins du monde.
D'un point de vue pratique,
08:47
Practically speaking,
cela n'arrivera pas.
08:49
it ain't gonna happen.
Nous ne créons pas d'AI
qui contrôle la météo,
08:51
We are not building AIs
that control the weather,
qui dirige les vagues,
08:54
that direct the tides,
qui nous commande,
nous humains capricieux et chaotiques.
08:55
that command us
capricious, chaotic humans.
En outre, si une telle
intelligence artificielle existait,
08:59
And furthermore, if such
an artificial intelligence existed,
elle devrait rivaliser
avec les économies humaines
09:03
it would have to compete
with human economies,
et se battre contre nous
pour des ressources.
09:06
and thereby compete for resources with us.
Au final --
09:09
And in the end --
ne le dites pas à Siri --
09:10
don't tell Siri this --
on peut toujours les débrancher.
09:12
we can always unplug them.
09:13
(Laughter)
(Rires)
Nous participons à un voyage incroyable
09:17
We are on an incredible journey
de coévolution avec nos machines.
09:19
of coevolution with our machines.
Les humains que nous sommes aujourd'hui
09:22
The humans we are today
ne sont pas les humains de demain.
09:24
are not the humans we will be then.
S'inquiéter maintenant
de l'essor d'une super-intelligence
09:27
To worry now about the rise
of a superintelligence
est, de bien des façons,
une distraction dangereuse
09:30
is in many ways a dangerous distraction
car l'essor de l'informatique lui-même
09:33
because the rise of computing itself
nous amène nombre de problèmes
humains et sociétaux
09:36
brings to us a number
of human and societal issues
dont nous devons nous occuper.
09:39
to which we must now attend.
Comment organiser au mieux la société
09:41
How shall I best organize society
quand le besoin
de travail humain diminue ?
09:44
when the need for human labor diminishes?
Comment apporter compréhension
et éducation à travers le monde
09:46
How can I bring understanding
and education throughout the globe
tout en respectant les différences ?
09:50
and still respect our differences?
Comment étendre
et améliorer la vie humaine
09:52
How might I extend and enhance human life
through cognitive healthcare?
grâce à la médecine cognitive ?
Comment utiliser l'informatique
09:56
How might I use computing
pour nous envoyer dans les étoiles ?
09:59
to help take us to the stars?
C'est cela qui est excitant.
10:01
And that's the exciting thing.
Les opportunités d'utiliser l'informatique
pour faire progresser l'expérience humaine
10:04
The opportunities to use computing
10:06
to advance the human experience
10:08
are within our reach,
sont à notre portée,
ici et maintenant,
10:09
here and now,
et nous ne faisons que commencer.
10:11
and we are just beginning.
Merci beaucoup.
10:14
Thank you very much.
(Applaudissements)
10:15
(Applause)
Translated by Morgane Quilfen
Reviewed by Fatima Zahra El Hafa

▲Back to top

About the speaker:

Grady Booch - Scientist, philosopher
IBM's Grady Booch is shaping the future of cognitive computing by building intelligent systems that can reason and learn.

Why you should listen

When he was 13, Grady Booch saw 2001: A Space Odyssey in the theaters for the first time. Ever since, he's been trying to build Hal (albeit one without the homicidal tendencies). A scientist, storyteller and philosopher, Booch is Chief Scientist for Software Engineering as well as Chief Scientist for Watson/M at IBM Research, where he leads IBM's research and development for embodied cognition. Having originated the term and the practice of object-oriented design, he is best known for his work in advancing the fields of software engineering and software architecture.

A co-author of the Unified Modeling Language (UML), a founding member of the Agile Allianc, and a founding member of the Hillside Group, Booch has published six books and several hundred technical articles, including an ongoing column for IEEE Software. He's also a trustee for the Computer History Museum, an IBM Fellow, an ACM Fellow and IEEE Fellow. He has been awarded the Lovelace Medal and has given the Turing Lecture for the BCS, and was recently named an IEEE Computer Pioneer.

Booch is currently deeply involved in the development of cognitive systems and is also developing a major trans-media documentary for public broadcast on the intersection of computing and the human experience.

More profile about the speaker
Grady Booch | Speaker | TED.com