Veel mensen geloven dat AI steeds intelligenter wordt. Ze verslaan de kampioenen in allerlei spalletjes, van quizzen, via dammen tot schaken en Go. Die mensen zijn bang dat die spelletjesmachines zich ontwikkelen tot superintelligenties, wezens die de mens in intelligentie overtreffen en zichzelf steeds intelligenter weten te maken. Maar de mensen die dat geloven vergeten dat er een verschil is tussen machine-intelligentie en menselijke intelligentie. Mensen hebben weliswaar hun meerdere moeten erkennen waar het geavanceerde spelen betreft, maar de machines moeten tot nu toe de mensen voor laten gaan op vele andere terreinen. De intelligentie van machines blijkt toch wat anders te zijn dan die van mensen.
Dat komt nog duidelijker naar voren in het gedachte-experiment van Nick Bostrom, een van de onheilsprofeten op dat gebied. Bostrom stelt zich voor dat zo’n superintelligentie de opdracht krijgt om zo efficiënt en zo veel mogelijk paperclips te produceren, en de machine gaat aan de slag. Hij weet van alles wat hij tegenkomt wel paperclips te maken en ook mensen worden net gespaard. Als er niets tussen komt, wordt uiteindelijk de hele wereld omgezet naar paperclips.
Bij dit voorbeeld vraag ik me af of je zoiets wel intelligent kunt noemen. Niet alleen blijkt de robot een bedreiging van de mens, maar ook van zichzelf. Hij zal uiteindelijk bedolven worden door tonnen paperclips, als hij niet eerder zichzelf heeft gedisassembleerd om paperclips van de onderdelen te maken.