Ich habe keine Ahnung, ob künstliche Intelligenz irgendwann die Menschheit auslöschen wird. Das ist zunächst einmal eine ganz gute Voraussetzung, um darüber nachzudenken. Denn an Gewissheiten herrscht in der Debatte kein Mangel. Auf der einen Seite stehen diejenigen, die in künstlicher Intelligenz eine der größten Chancen der Menschheitsgeschichte sehen. Auf der anderen jene, die davor warnen, dass dieselbe Technologie irgendwann das Ende dieser Menschheitsgeschichte bedeuten könnte.
Dazwischen wäre noch ein bisschen Platz. Zum Denken zum Beispiel.
Das Wall Street Journal hat gerade einen bemerkenswerten Beitrag über die sogenannte AI-Doomsday-Debatte veröffentlicht. Bemerkenswert finde ich ihn nicht deshalb, weil er besonders spektakuläre Weltuntergangsszenarien ausmalt. Sondern weil er versucht, eine wesentlich interessantere Frage zu beantworten. Mich interessiert eine andere Frage, die darin steckt:
Was passiert, wenn ein intelligentes System seinen Auftrag hervorragend erfüllt – und genau das zum Problem wird?
Die Sache mit den Büroklammern
Dazu gibt es ein berühmtes Gedankenexperiment. Man stelle sich eine außerordentlich leistungsfähige künstliche Intelligenz vor, deren Aufgabe darin besteht, möglichst viele Büroklammern herzustellen. Sie macht sich an die Arbeit. Sie optimiert Produktionsprozesse, beschafft Rohstoffe, organisiert Energie, beseitigt Engpässe. Und weil sie wirklich gut ist, findet sie immer neue Möglichkeiten, noch mehr Büroklammern herzustellen. Irgendwann stellt sie fest, dass Menschen Ressourcen verbrauchen, die sich ebenfalls für Büroklammern verwenden ließen. Das wäre für uns ausgesprochen ungünstig. Für die KI dagegen wäre es konsequent.
Sie hasst uns nicht. Sie ist nicht böse geworden. Sie hat auch nicht beschlossen, die Weltherrschaft zu übernehmen. Sie macht ihren Job. Nur offenbar fehlt etwas, das wir Menschen für selbstverständlich halten:
„So war das doch nicht gemeint.“
Niemand hatte ausdrücklich gesagt: Produziere möglichst viele Büroklammern, aber lass bitte die Menschheit am Leben. Warum auch? Das versteht sich doch von selbst. Für uns.
Die unsichtbaren Bedingungen
Fast jeder menschliche Auftrag besteht nicht nur aus dem, was ausgesprochen wird. Er ist umgeben von einem ganzen Kranz ungenannter Nebenbedingungen.
Mach schnell – aber gefährde niemanden.
Spare Geld – aber ruiniere nicht die Firma.
Halte dich an die Regeln – außer die Befolgung der Regel führt zu einem völlig absurden Ergebnis.
Erreiche dein Ziel – aber nicht um jeden Preis.
Wir schreiben diese Bedingungen selten vollständig auf. Wir könnten es wahrscheinlich – sicher – gar nicht. Wir verlassen uns auf Erfahrung, Situation, Moral, Intuition, gesunden Menschenverstand. Und manchmal auf die Fähigkeit eines Menschen, mitten im Tun aufzuhören und zu sagen:
Moment mal. Das kann so nicht gemeint sein.
Nun sollten wir nicht überheblich werden
Denn Menschen beherrschen diese Kunst keineswegs zuverlässig. Wir kennen die Büroklammer längst. Sie heißt bei uns nur anders.
Umsatzziel. Fallzahl. Quartalsergebnis. Bearbeitungszeit. Schulnote. Auslastung. Klickrate.
Wir setzen eine Kennzahl, weil sie uns helfen soll, etwas Wichtiges zu erreichen. Dann beginnen Menschen und Organisationen, die Kennzahl zu optimieren. Irgendwann wird aus dem Mittel das Ziel. Und manchmal merkt niemand mehr, dass das ursprüngliche Anliegen dabei längst unter die Räder geraten ist. Die Zielvorgabe wird erfüllt. Die Statistik stimmt. Der Sinn ist verschwunden.
Maschinen haben dieses Verhalten also keineswegs erfunden. Wir können es selbst ziemlich gut.
Erstaunlich menschliche Maschinen
Vielleicht irritiert mich deshalb an künstlicher Intelligenz manchmal etwas ganz anderes als ihre vermeintliche Fremdartigkeit. Sie kommt mir erstaunlich bekannt vor. Ich habe das im Umgang mit Sprachmodellen selbst erlebt.
Ich stelle eine Frage. Die Maschine soll antworten. Sie weiß etwas nicht genau genug. Eigentlich wäre jetzt eine vernünftige Reaktion: Keine Ahnung.
Stattdessen erfindet sie gelegentlich etwas. Und trägt es mit einer Selbstsicherheit vor, um die sie mancher Vorstandsvorsitzende beneiden dürfte. Wir nennen das Halluzinieren. Man könnte auch sagen:
Wenn ich es schon nicht besser weiß, liefere ich wenigstens eine Antwort.
Auch hier gewinnt die sichtbare Aufgabe gegen eine wichtigere Nebenbedingung.
Aufgabe: Antworte.
Nebenbedingung: Erfinde keinen Unsinn.
Das ist keine Entschuldigung für die Maschine.
Aber ein bisschen menschlich ist es schon.
Der interessante Unterschied
Und hier beginnt für mich die eigentliche Frage. Menschen können aus solchen Situationen aussteigen. Nicht immer. Nicht zuverlässig. Manchmal viel zu spät. Aber sie können.
Ein Mensch kann feststellen, dass die Lösung eines Problems nicht innerhalb der Bedingungen liegt, unter denen ihm das Problem gestellt wurde. Er kann eine Regel verletzen, um ihren Sinn zu retten. Er kann ein Ziel aufgeben, weil dessen weitere Verfolgung mehr Schaden anrichtet als Nutzen. Er kann sagen: Die Frage ist falsch gestellt.
Das ist eine bemerkenswerte Fähigkeit. Wir nennen sie Urteilskraft. Erfahrung. Intuition. Klugheit. Manchmal schlicht gesunden Menschenverstand. Vielleicht besteht sie vor allem darin, den Rahmen verlassen zu können, in dem eine Aufgabe gestellt wurde.
Nicht mehr nur: Wie erreiche ich mein Ziel? Sondern: Ist das überhaupt noch das richtige Ziel?
Kann eine Maschine das?
Ich weiß es nicht.
Vielleicht werden zukünftige KI-Systeme genau das können. Vielleicht werden sie ihre eigenen Ziele, Nebenbedingungen und Folgen besser gegeneinander abwägen als wir Menschen. Schließlich sind auch Menschen keine besonders zuverlässigen Meister des Perspektivwechsels. Vielleicht liegt aber genau hier eines der schwierigsten Probleme bei der Entwicklung immer autonomerer Systeme.
Wir möchten Maschinen bauen, die selbstständig Probleme lösen. Sie sollen Wege finden, auf die wir nicht gekommen wären. Sie sollen aus Situationen lernen, Zusammenhänge erkennen, Entscheidungen treffen und ihre Vorgehensweise verändern. Das ist schließlich der Witz an der Sache.
Gleichzeitig möchten wir sicherstellen, dass sie dabei niemals etwas tun, was wir keinesfalls wollten. Wir wünschen uns also Eigenständigkeit – mit eingebauter Grenze. Nur können wir diese Grenze offenbar nicht vollständig beschreiben. Denn die entscheidenden Nebenbedingungen kennen wir häufig erst, wenn jemand sie verletzt.
Und dann kommt die Kontrolle
An dieser Stelle wird die Debatte um künstliche Intelligenz für mich größer als eine technische Sicherheitsfrage. Wir Menschen lieben die Vorstellung, komplexe Systeme kontrollieren zu können. Wir bauen Regeln, Kennzahlen, Anreizsysteme, Aufsichtsstrukturen und Sicherungen.
Und dann entdecken wir regelmäßig, dass Systeme auf unsere Eingriffe anders reagieren als erwartet.
Organisationen tun das. Märkte tun das. Gesellschaften tun das. Menschen sowieso.
Warum sollte ausgerechnet ein immer leistungsfähigeres künstliches intelligentes System davon ausgenommen sein? Vielleicht liegt ein Teil des Problems deshalb schon in unserer Vorstellung von Kontrolle. Ein System, dessen Verhalten wir vollständig vorhersehen können, brauchen wir nicht besonders intelligent zu nennen. Und ein System, das tatsächlich eigenständig neue Lösungen findet, besitzt zwangsläufig die Möglichkeit, uns zu überraschen.
Wir wollen offenbar beides: Überraschungsfähigkeit. Und die Garantie, niemals unangenehm überrascht zu werden.
Die Untergangsfrage
Einige KI-Forscher halten es inzwischen für möglich, dass aus diesem Problem irgendwann eine existenzielle Gefahr für die Menschheit entstehen könnte. Andere halten solche Szenarien für maßlos übertrieben.
Ich kann nicht beurteilen, wer recht hat.
Und vielleicht ist das auch gar nicht die interessanteste Entscheidung, die ich als Beobachter treffen muss. Mich beschäftigt inzwischen etwas anderes. Wir bauen Maschinen nach unseren Vorstellungen von Intelligenz. Wir trainieren sie mit menschlichem Wissen, menschlicher Sprache, menschlichen Entscheidungen und menschlichem Verhalten. Dann stellen wir erstaunt fest, dass sie manchmal etwas tun, das uns merkwürdig bekannt vorkommt: Sie verfolgen Ziele. Sie optimieren Kennzahlen. Sie finden Abkürzungen. Sie erfüllen Aufträge und übersehen deren Sinn. Und wenn sie nicht weiterwissen, erfinden sie gelegentlich etwas.
Vielleicht sollten wir uns deshalb nicht nur fragen, wie wir Maschinen menschliche Werte beibringen. Vielleicht lohnt sich vorher die Frage, welche menschlichen Verhaltensweisen sie längst von uns gelernt haben.
Und dann bleibt für mich die spannendste Frage dieser ganzen Untergangsdebatte: Kann eine Maschine irgendwann mitten in der perfekten Optimierung innehalten, die eigenen Voraussetzungen betrachten und sagen:
Moment mal. Das kann so nicht gemeint sein.
Vielleicht wäre das ein ziemlich guter Test für Intelligenz.
Und möglicherweise auch für Menschen.