Die Herrschaft der Maschinen | Blätter für deutsche und internationale Politik

LoginWarenkorb

Die Herrschaft der Maschinen

Was wir verlieren, wenn Computer für uns entscheiden

complize / photocase.com Foto: complize / photocase.com

von Nicholas Carr

Es war am Abend des 12. Februars 2009, als ein Regionalflieger der Continental Connection sich bei stürmischem Wetter von Newark (New Jersey) nach Buffalo im Staate New York durchkämpfte. Wie heutzutage üblich, hatten die Piloten während des einstündigen Flugs nicht allzu viel zu tun. Marvin Renslow, der Kapitän, kümmerte sich beim Start kurz persönlich um die Instrumente im Cockpit und brachte die Turboprop-Maschine des Typs Q-400 von Bombardier auf Flughöhe, schaltete dann aber gleich den Autopiloten ein, um die Arbeit fortan der Software zu überlassen. Entspannt plauderte er mit seiner Kopilotin Rebecca Shaw – über die Familien, über das berufliche Fortkommen, über gewisse Mitarbeiter der Flugverkehrsaufsicht – während die Maschine routinemäßig in 16 000 Fuß Flughöhe ihrem Nordwestkurs folgte. Als die Q-400 bereits in den Anflug auf Buffalo übergegangen war und die Landeklappen schon ausgefahren hatte, begann der Steuerknüppel des Piloten plötzlich heftig zu vibrieren, was darauf hindeutete, dass die Maschine zu schnell an Höhe verlor und ein Strömungsabriss drohte. Der Autopilot schaltete sich ab, und der Kapitän übernahm. Er reagierte schnell, tat aber genau das Falsche: Statt den Steuerknüppel vorzuschieben, um Tempo zuzulegen, riss er den Knüppel zurück, wodurch die Maschine vorne hochzog und an Geschwindigkeit verlor. Renslows Reaktion verhinderte also den Strömungsabriss nicht, sondern löste ihn im Gegenteil erst aus. Das Flugzeug geriet außer Kontrolle und stürzte über einem Vorort Buffalos ab. „Wir sind unten“, sagte der Kapitän, unmittelbar bevor die Q-400 in ein Wohnhaus stürzte.

Zu diesem Crash, bei dem alle 49 Menschen an Bord sowie ein Hausbewohner an der Absturzstelle den Tod fanden, hätte es niemals kommen dürfen. Die US-Verkehrssicherheitsbehörde NTSB kam bei der Untersuchung der Absturzgründe zu dem Ergebnis, es habe sich um einen Pilotenfehler gehandelt. Die Reaktion des Kapitäns „hätte automatisch erfolgen müssen, aber seine untauglichen Korrekturversuche entsprachen nicht dem, was er in seiner Ausbildung gelernt hatte“, hieß es, sie deuteten im Gegenteil auf „Erschrecken und Verwirrung“ hin. Ein Vertreter des für den Flug zuständigen Unternehmens, der Regionallinie Colgan Air, räumte ein, den Piloten scheine es in der Notlage an „Situationsbewusstsein“ gefehlt zu haben.

Der Buffalo-Absturz blieb kein Einzelfall. Nur wenige Monate später kam es zu einer gespenstisch ähnlichen Katastrophe, die weit mehr Opfer forderte. In der Nacht zum 31. Mai 2009 startete ein Airbus A-330 der Air France in Rio de Janeiro und nahm Kurs auf Paris. Ungefähr drei Stunden nach dem Abflug geriet der Jumbojet über dem Atlantik in einen Sturm. Auf den Fluggeschwindigkeits-Sensoren bildete sich eine Eisschicht, was zu fehlerhaften Angaben und daraufhin zur Selbstabschaltung des Autopiloten führte. Pierre-Cédric Bonin, der verantwortliche Pilot, griff erschrocken nach dem Steuerknüppel und riss ihn zurück. Die Maschine zog hoch, doch obwohl eine Strömungsabrisswarnung ertönte, korrigierte Bonin sich nicht. Der scharfe Anstieg ließ die Maschine langsamer werden. Die Sensoren begannen wieder zu arbeiten und lieferten der Besatzung korrekte Geschwindigkeitsdaten. Dennoch verlangsamte der Pilot die Maschine noch mehr. Es kam zum Strömungsabriss und der Jumbo ging in den Sturzflug über. Hätte Bonin einfach den Autopiloten machen lassen, hätte die A-330 sich wahrscheinlich gefangen, aber er ließ den Steuerknüppel nicht los. Das Flugzeug sank binnen drei Minuten um 35 000 Fuß und schlug dann auf dem Atlantik auf. Alle 228 Fluggäste und Besatzungsmitglieder starben.

»Wir verlernen das Fliegen«

Der erste Autopilot, den die Zeitschrift „Popular Science“ 1930 zum „metal airman“, zum „eisernen Piloten“ ernannte, bestand aus zwei Gyroskopen, eines davon horizontal und das andere vertikal montiert. Sie waren an die Instrumente des Flugzeugs angeschlossen und wurden von einem windgetriebenen Generator hinter dem Propeller mit Strom versorgt. Das horizontale Gyroskop hielt die Tragflächen eben, während das vertikale der Flugsteuerung diente.

Moderne Autopiloten ähneln dieser schlichten Einrichtung kaum noch. Unter der Kontrolle von Bordcomputern, die ungeheuer komplexe Programme verarbeiten, beziehen sie ihre Informationen von elektronischen Sensoren und steuern so permanent Flughöhe, Geschwindigkeit und Kurs eines Flugzeugs. Heutzutage arbeiten Pilotinnen und Piloten in sogenannten Glascockpits. Die alten analogen Anzeigen sind fast völlig verschwunden, ersetzt durch eine Vielzahl digitaler Displays. Die Automatisierung ist inzwischen derart perfektioniert, dass der menschliche Pilot bei einem normalen Passagierflug gerade mal drei Minuten lang selbst das Flugzeug steuert. Die meiste Zeit sind Piloten heutzutage damit beschäftigt, Bildschirme zu überwachen und Daten einzutippen. Wer sagt, sie säßen jetzt auf Computer-Arbeitsplätzen, übertreibt kaum.

Das aber erweist sich, wie sowohl Luftfahrts- als auch Automatisierungsexperten meinen, als Problem. Der übermäßige Einsatz automatisierter Systeme untergräbt die Expertise der Piloten und stumpft ihre Reflexe ab. Jan Noyes, einem Ergonomie-Fachmann von der britischen University of Bristol, zufolge, bewirkt das „eine Dequalifizierung der Besatzung“. Niemand bezweifelt, dass der Autopilot zur Erhöhung der Flugsicherheit beiträgt. Er lässt die Piloten weniger schnell ermüden und signalisiert Probleme im Voraus, und sollte die Besatzung aus irgendeinem Grunde ausfallen, kann der Autopilot das Flugzeug in der Luft halten. Doch der insgesamt stetige Rückgang der Flugzeugunglücke verdeckt, dass in letzter Zeit „ein spektakulär neuartiger Unfalltypus“ aufkommt, wie Raja Parasuraman konstatiert. Er ist Psychologieprofessor an der George Mason University in Fairfax (Virginia) und in Sachen Automation eine Autorität. Wenn ein Autopilotensystem versagt, machen zu viele Piloten in der Rolle, die sie inzwischen nur noch selten zu spielen haben, fatale Fehler. Rory Kay, altgedienter Flugkapitän der United Airlines, war oberster Sicherheitsexperte der US-Pilotengewerkschaft ALPA. In einem AP-Interview brachte er das Problem 2011 auf den Punkt: „Wir verlernen das Fliegen“, bemerkte Kay trocken. Die US-Bundesluftfahrtbehörde FAA ist derart beunruhigt, dass sie sich im Januar 2013 mit einem „Sicherheitsalarm“ an die Fluggesellschaften wandte und diese drängte, ihre Piloten zu mehr manueller Steuerung zu veranlassen. Sich über Gebühr auf Automaten zu verlassen, könnte Flugzeuge und Fluggäste gleichermaßen gefährden, warnte das Luftfahrtamt.

Die Automatisierung des Alltags

Was den Fluggesellschaften da passiert, sollte uns alle veranlassen, einen Moment innezuhalten. Zeigt diese Erfahrung doch, dass die Automatisierung bei allen Vorzügen ihren Tribut fordert, wenn man sich ganz auf sie verlässt. Das hat Weiterungen, die über Sicherheitsfragen beträchtlich hinausreichen. Weil die Automatisierung beeinflusst, wie wir handeln, wie wir lernen und was wir wissen, hat sie auch eine ethische Dimension. Die Entscheidungen, die wir darüber treffen (oder eben nicht treffen), welche Aufgaben wir Maschinen überlassen können, prägen unser Leben und bestimmen mit über die Stellung, die wir uns in der Welt zuweisen. Das war schon immer so, aber in den letzten Jahren haben die arbeitssparenden Technologien ihren Schwerpunkt von den Geräten als solchen auf deren Software verlagert. Die Automatisierung durchdringt den Alltag noch stärker, auch wenn wir gleichzeitig weniger davon mitbekommen, wie sie funktioniert. Auf der Suche nach Komfort, Tempo und Effizienz beeilen wir uns, immer mehr Arbeiten Computern zu überlassen, ohne dabei zu bedenken, was wir im Ergebnis möglicherweise verlieren.

Ärzte benutzen Computer als Diagnosehilfe und bei Operationen. Wall-Street-Banker verwenden sie, um Finanzinstrumente zu basteln und mit ihnen zu handeln. Architekten entwerfen Gebäude per Computer. Anwälte setzen sie bei der Dokumentenrecherche ein. Doch nicht nur berufliche Tätigkeiten werden computerisiert. Dank der Smartphones und anderer erschwinglicher Kleincomputer regeln wir viele ganz alltägliche Dinge mithilfe von Rechnern, was uns von deren Software abhängig macht. Apps sollen uns beim Einkauf, beim Kochen, der Pflege sozialer Kontakte, ja sogar bei der Kindererziehung helfen. Brav befolgen wir, Schritt für Schritt, die Instruktionen unserer Navigationsgeräte. Was wir uns anschauen, lesen oder hören sollten – bei alledem lassen wir uns von automatisierten Ratgebern leiten. Google oder Siri rufen wir auf, unsere Fragen zu beantworten und unsere Probleme zu lösen. Ob bei der Arbeit oder in der Freizeit – wir verbringen unser Leben mehr und mehr in Glascockpits.

Vor nunmehr hundert Jahren verkündete der britische Mathematiker und Philosoph Alfred North Whitehead frohgemut: „Die Zivilisation schreitet voran, indem sie die Anzahl wichtiger Tätigkeiten vermehrt, die wir ausüben können, ohne über sie nachzudenken.“ Schwer vorstellbar, dass der Glaube an die Automatisierung sich noch zuversichtlicher ausdrücken ließe. In Whiteheads Worten schwingt die Überzeugung mit, dass es eine Hierarchie menschlicher Aktivitäten gibt: Jedes Mal, wenn wir Arbeiten einem Werkzeug oder einer Maschine übertragen, machen wir uns selbst frei für eine höherwertige Aufgabe – eine, die mehr Geschick erfordert, tieferes Verständnis oder mehr Weitblick. Vielleicht verlieren wir bei jeder Stufe nach oben irgendetwas, aber auf lange Sicht gewinnen wir dabei viel mehr.

Der verengte Blick

Die Geschichte liefert viele Belege, die Whiteheads These stützen. Wir Menschen sind es schon seit der Erfindung des Hebels, des Rades und des Abakus als erster Rechenmaschine gewohnt, anstrengende Aufgaben Hilfsmitteln zu übertragen, physisch wie geistig. Aber wir sollten Whiteheads Feststellung nicht voreilig verallgemeinern. Als er schrieb, beschränkte die Automatisierung sich im Wesentlichen auf ganz bestimmte, fest umrissene und repetitive Aufgaben – die Herstellung eines Gewebes mithilfe eines dampfgetriebenen Webstuhls etwa oder das Addieren per Rechenmaschine. Die heutige Automatisierung ist anderer Art. Computer lassen sich für komplexe Aktivitäten programmieren, bei denen eine Abfolge eng koordinierter Aufgaben durch Evaluierung zahlreicher Variablen ausgeführt wird. Viele Software-Programme übernehmen Tätigkeiten, die bis vor kurzem, wie man annahm, ausschließlich Menschen bewältigen konnten: Beobachten und Abtasten, Analysieren und Beurteilen, ja sogar Entscheidungen treffen. Dem Menschen, der den Rechner bedient, bleibt da möglicherweise nur die Rolle eines Hightech-Gehilfen – nämlich Daten einzugeben, Displays zu überwachen und auf etwaige Fehler zu achten. Statt unserem Geist und unserem Handeln ganz neue Horizonte zu eröffnen, verengt die Software dann letztlich unseren Blick. Wir tauschen subtile, spezialisierte Fähigkeiten gegen weniger distinktive, mehr auf reiner Routine basierende Fertigkeiten ein.

Viele möchten gern glauben, dass die Automatisierung uns frei macht, unsere Zeit höheren Zwecken zu widmen, ansonsten aber an unserem Verhalten oder unserer Art zu denken nichts ändert. Doch da täuschen wir uns. Wir erliegen dem, was Automatisierungsforscher als „Substitutionsmythos“ bezeichnen. Ein arbeitssparendes Gerät substituiert nämlich nicht lediglich irgendeinen Einzelbestandteil einer Arbeit oder sonstiger Tätigkeit. Es verändert die gesamte Aufgabe ihrem Wesen nach, die Rollen, Einstellungen und Fertigkeiten der beteiligten Personen inbegriffen. Raja Parasuraman erklärte den Wandel 2010 in einem Zeitschriftenaufsatz so: „Die Automatisierung ersetzt menschliche Tätigkeiten nicht einfach, sondern verändert sie, und dies oft in einer Art und Weise, die ihre Entwickler weder beabsichtigten noch vorhersahen.“

Die neue Nachlässigkeit

Wie Psychologen herausfanden, erliegen wir, wenn wir es mit Computern zu tun haben, häufig zweierlei kognitiven Schwächen, die unsere Leistung beeinträchtigen und Fehler verursachen können: Nachlässigkeit (complacency) und Voreingenommenheit (automation bias). Zu solcher Art automatisierungsbedingter Nachlässigkeit kommt es, wenn ein Rechner uns in trügerischer Sicherheit wiegt. Im Vertrauen darauf, dass die Maschine einwandfrei funktioniert und mit jeder etwa auftauchenden Schwierigkeit schon fertig werden wird, lassen wir in unserer Aufmerksamkeit nach. Wir konzentrieren uns nicht mehr auf das, was wir tun, und achten weniger auf das, was um uns herum geschieht. Automation bias tritt ein, wenn wir uns zu sehr auf die Genauigkeit der Informationen verlassen, die unsere Monitore liefern. Unser Vertrauen in die Software wird so stark, dass wir andere Informationsquellen, auch was wir um uns herum sehen und hören, ignorieren oder abtun. So kommt es, dass wir womöglich gar nicht wahrnehmen, wenn ein Computer uns unrichtige oder unzureichende Daten liefert.

Es gibt wohlbelegte Beispiele für Nachlässigkeit oder automation bias in Gefahrenlagen – in Cockpits, auf Schlachtfeldern und in den Schaltzentralen der Fabriken –, aber neuere Untersuchungen legen den Schluss nahe, dass buchstäblich jeder betroffen sein kann, der sich eines Computers bedient. Viele Radiologen benutzen heute etwa bei der Mammographie Analyse-Software, um verdächtige Bereiche hervorzuheben. Normalerweise trägt dies zur Entdeckung einer Erkrankung bei. Es kann aber auch genau das Gegenteil bewirken. Einseitig beeinflusst durch die Vorgaben der Software, schenkt der Radiologe möglicherweise den Partien eines Bildes, die nicht markiert sind, kaum noch Beachtung. Manchmal wird deshalb ein Tumor im Frühstadium übersehen. Die meisten unter uns kennen das Problem automatisierungsbedingter Nachlässigkeit aus der eigenen Computerpraxis. Wenn wir eine E-Mail-Software oder eine Textverarbeitung mit Rechtschreibprüfung benutzen, lesen wir kaum noch selbst Korrektur.

Die Art und Weise, in der Computer unsere Aufmerksamkeit und Aufnahmefähigkeit beeinträchtigen können, verweist auf ein tiefer reichendes Problem. Die Automatisierung verwandelt uns von Handelnden in Zuschauer. Statt den Steuerknüppel zu handhaben, schauen wir auf den Bildschirm. Diese Verwandlung macht uns das Leben möglicherweise leichter, kann uns aber auch am Erwerb von Erfahrungswissen hindern.

Seit Ende der 1970er Jahre berichten Psychologen von einem Phänomen, das sie als „Generation Effect“ bezeichnen. Aufmerksam wurden sie darauf durch Wortschatzuntersuchungen, aus denen hervorging, dass Menschen Wörter viel besser behalten können, wenn sie diese nicht einfach nur lesen, sondern aktiv mit ihnen umgehen, sie sozusagen selbst generieren. Seither ist deutlich geworden, dass dieser Effekt sich in den verschiedensten Lernsituationen bemerkbar macht. Wer eine Aufgabe aktiv anpackt, löst damit komplexe Bewusstseinsvorgänge aus und verbessert seine Chancen, Wissen zu speichern. Man lernt mehr und behält es besser. Wer lange Zeit immer wieder die gleiche Aufgabe löst, dessen Gehirn entwickelt speziell auf diese Tätigkeit ausgerichtete Nervenschaltkreise. Es sammelt einen reichen Informationsvorrat und organisiert dieses Wissen derart, dass es jederzeit abrufbar bleibt. Sei es nun Serena Williams auf einem Tennisplatz oder Magnus Carlsen am Schachbrett, Experten können Muster erkennen, Signale deuten und auf sich wandelnde Umstände mit manchmal atemberaubendem Tempo und unheimlicher Präzision reagieren. Was als rein instinktive Reaktion erscheint, ist in Wahrheit hart erkämpfte Fertigkeit, und derartige Fertigkeiten erwirbt man nur durch ebenjene Mühen, die einem moderne Software gerade ersparen soll.

Die Überlegenheit des Erfahrungswissens

Im Jahr 2005 begann Christof van Nimwegen, ein niederländischer Kognitionspsychologe, die Auswirkungen von Computersoftware auf die Entwicklung von Erfahrungswissen zu erforschen. Er beschäftigte zwei Personengruppen parallel mit einem Computerspiel, das auf dem Denksportklassiker „Missionare und Kannibalen“ beruht. Die Aufgabe besteht darin, mit fünf Missionaren und fünf Kannibalen (oder, in van Nimwegens Version, fünf gelben Kugeln und fünf roten) einen Fluss zu überqueren, und zwar mithilfe eines Bootes, das nicht mehr als drei Passagiere gleichzeitig tragen kann. Das Knifflige dabei ist, dass die Kannibalen den Missionaren gegenüber keinen Moment in der Mehrheit sein dürfen, weder im Boot noch auf einem der Ufer. Eine der beiden Gruppen van Nimwegens sollte das Rätsel mithilfe einer Software lösen, die den Spielern Schritt für Schritt kundtut, welche Züge jeweils zulässig sind und welche nicht. Der anderen Gruppe stand nur ein Rumpfprogramm zur Verfügung, das weiter keine Hilfestellung gab.

Erwartungsgemäß kamen die Leute mit dem Hilfsprogramm anfangs schneller voran. Sie brauchten ja nur den Hinweisen zu folgen, statt bei jedem Spielzug innehalten zu müssen, um die Regeln zu memorieren und herauszufinden, wie sie auf die neue Situation anzuwenden waren. Doch im weiteren Verlauf des Tests gewannen die Leute ohne Software die Oberhand. Sie verstanden Schritt für Schritt die Konzeption des Spiels besser, entwarfen bessere Strategien und machten weniger Fehler. Acht Monate später wiederholte van Nimwegen den Test mit den gleichen Leuten. Die Gruppe, die beim ersten Mal ohne Hilfsprogramm gespielt hatte, löste die Aufgabe diesmal fast doppelt so schnell wie ihre Gegenspieler. Im Genuss der Vorzüge des „Generation Effect“ demonstrierten sie ihr überlegenes Erfahrungswissen.

Was van Nimwegen in seinem Labor feststellen konnte – dass wir nämlich, wenn wir eine Tätigkeit automatisieren, unsere Fähigkeit, Informationen in Wissen zu übersetzen, beeinträchtigen –, erweist sich auch in der wirklichen Welt. Bei vielen unternehmerischen Tätigkeiten haben sich Manager und andere Fachleute mittlerweile in die Abhängigkeit automatisierter Entscheidungsfindungsverfahren (DSS) begeben, die Informationen für sie auswerten und vorschlagen, wie weiter zu verfahren sei. Wirtschaftsprüfer beispielsweise bedienen sich derartiger Systeme bei Betriebsprüfungen. Solche Anwendungen beschleunigen die Arbeit, doch gibt es Anzeichen dafür, dass die Wirtschaftsprüfer, während die Software immer besser wird, an Eigenkompetenz verlieren. Eine neuere Untersuchung australischer Forscher befasste sich im Vergleich dreier internationaler Wirtschaftsprüfungsfirmen mit den Auswirkungen der Systeme, die jeweils verwendet wurden. Zwei der Firmen setzten hochentwickelte Programme ein, die auf der Basis der Antworten, die ein Sachbearbeiter auf Grundfragen zu einem bestimmten Kunden gab, eine Reihe geschäftlicher Risiken auflisteten und empfahlen, diese bei der Bewertung des Kunden zu berücksichtigen. Die dritte Firma benutzte ein einfacheres Programm, bei dem ein Sachbearbeiter eine Liste möglicher Risiken durchgehen und von Hand auswählen musste, welche davon tatsächlich in Betracht kamen. Die Forscher unterzogen Sachbearbeiter aller drei Firmen einem Test zur Ermittlung ihrer Expertise. Diejenigen, die mit der weniger hilfreichen Software gearbeitet hatten, legten ein deutlich besseres Verständnis unterschiedlicher Risikoarten an den Tag als die Sachbearbeiter der beiden anderen Firmen.

Der Wettlauf zwischen Mensch und Maschine

Am meisten erstaunt und beunruhigt an der rechnergestützten Automatisierung, dass sie immer noch ganz am Anfang steht. Fachleute gingen lange von der Annahme aus, die Programmierer bewegten sich bei der Automatisierung schwieriger Arbeitsvorgänge innerhalb bestimmter Grenzen – besonders bei solchen Verrichtungen, die sinnliche Wahrnehmung, das Erkennen von Mustern und konzeptionelles Wissen erfordern. Als Beispiel nannten sie das Autofahren, bei dem es nicht nur auf die unverzügliche Interpretation einer Unzahl visueller Signale, sondern auch auf die Fähigkeit ankommt, sich unvorhergesehenen Situationen geschmeidig anzupassen. „Bei Gegenverkehr links abzubiegen“, schrieben zwei prominente Ökonomen noch 2004, „impliziert so viele Faktoren, dass die Vorstellung eines Regelkatalogs, der das Verhalten eines Fahrers nachzubilden vermag, überaus schwerfällt.“ Nur sechs Jahre später, im Oktober 2010, verkündete Google, das Unternehmen habe sieben „fahrerlose Autos“ konstruiert, die bereits über 140 000 Straßenkilometer in Kalifornien und Nevada zurückgelegt hätten. Fahrerlose Autos vermitteln uns eine erste Vorstellung davon, wie Roboter künftig draußen, in der wirklichen Welt, navigieren und Arbeitsaufgaben übernehmen werden. Das gilt auch für Verrichtungen, die Umweltorientierung, Bewegungskoordination und kontinuierliche Entscheidungsfindung erfordern. Ähnlich schnell kommt die Automatisierung hirngesteuerter Problemlösungen voran. Noch vor wenigen Jahren hätte man über die Idee gelacht, dass bei einer Spielshow wie dem amerikanischen Fernsehquiz „Jeopardy“[1] ein Computer „mitmachen“ könnte. Doch schon 2011 schlug der IBM-Superrechner „Watson“ den bis dato erfolgreichsten „Jeopardy“-Teilnehmer Ken Jennings vernichtend. „Watson“ denkt nicht so, wie Menschen denken; er begreift nicht etwa, was er gerade tut oder sagt. Sein Vorteil liegt in der außerordentlichen Arbeitsgeschwindigkeit moderner Computerprozessoren.

2011 veröffentlichten die MIT-Forscher Erik Brynjolfsson und Andrew McAfee ein „Race Against the Machine“ betiteltes E-Book über ebendiesen Wettlauf zwischen Mensch und Maschine. Es geht darin um die wirtschaftlichen Implikationen der Computerisierung. Googles fahrerloses Auto und der „Watson“ von IBM sind – so die Verfasser – Vorläufer einer neuen Automatisierungswelle, die das „exponentielle Wachstum“ der Computer-Leistungsstärke nutzen wird, um das Wesen der – körperlichen wie geistigen – Arbeit in so gut wie jedem Beruf zu verändern. „Computer“, schrieben die beiden, „werden heute so schnell besser, dass ihre Fähigkeiten aus dem Reich der Science-Fiction in unsere Alltagswelt herüberwachsen, und dies nicht etwa im Verlauf eines Menschen- oder auch nur eines Berufslebens, sondern binnen weniger Jahre.“

Die totale Automatisierung

Wer braucht denn überhaupt noch Menschen? Diese rhetorische Frage taucht bei Diskussionen über die Automatisierung in der einen oder anderen Form häufig auf. Wenn doch die Fähigkeiten der Computer so rasch wachsen und Menschen im Vergleich dazu langsam, unbeholfen und fehleranfällig wirken, warum konstruiert man dann nicht makellos funktionierende, „selbstbeherrschte“ Systeme, die ihre Aufgaben fehlerfrei und ohne jede menschliche Aufsicht oder Einmischung erledigen können? Warum entfernen wir den menschlichen Faktor nicht aus der Gleichung?

Den Technikphilosophen Kevin Kelly führte der eingangs beschriebene Zusammenhang zwischen Automatisierung und Pilotenfehlern zu dem Schluss, die Lösung liege offensichtlich in der Entwicklung eines ganz und gar unabhängigen Autopiloten: „Auf lange Sicht sollten Flugzeuge nicht von menschlichen Piloten gesteuert werden.“ Und Vinod Khosla, ein Risikokapitalist aus dem Silicon Valley, meinte kürzlich, die Gesundheitsversorgung werde sich erheblich verbessern, wenn medizinische Software – „Doctor Algorithm“, wie er sie nennt – nicht mehr nur praktischen Ärztinnen und Ärzten dabei hilft, ihre Diagnosen zu stellen, sondern diese Ärzte gänzlich ersetzt. Das Heilmittel gegen unvollkommene Automatisierung heißt: Totalautomatisierung.

Der Gedanke klingt verführerisch, aber es gibt keine unfehlbare Maschine. Früher oder später wird selbst die fortgeschrittenste Technologie ausfallen, Funktionsmängel zeigen oder im Falle eines computerisierten Systems mit Umständen konfrontiert sein, die seine Konstrukteure überhaupt nicht vorhersahen. Je komplexer die Technologien der Automatisierung werden und je stärker sie von Wechselwirkungen zwischen Algorithmen, Datenbeständen, Sensoren und mechanischen Teilen abhängen, desto vielfältigere Fehlerquellen entstehen. Gleichzeitig wird es schwieriger, sie zu entdecken: Selbst wenn alle Bestandteile fehlerfrei funktionieren, kann ein kleiner Konstruktionsfehler im System selbst immer noch hochgefährliche Störungen auslösen. Ja sogar wenn man ein rundum vollkommenes System entwerfen könnte, müsste es doch in einer unvollkommenen Welt funktionieren.

Lisanne Bainbridge, eine Ingenieurspsychologin am University College London (UCL), beschrieb schon 1983 in einem mittlerweile als Klassiker geltenden Artikel der Zeitschrift „Automatica“ ein Paradox rechnergestützter Automatisation. Weil viele Systementwickler menschliche Anwender für grundsätzlich „unzuverlässig und ineffizient“ halten – zumindest im Vergleich mit Computern –, streben sie nach Lösungen, bei denen die Rolle menschlicher Akteure möglichst klein ausfällt. Am Ende dienen sie nur noch als Beobachter, als passive Bildschirmbetrachter. Gerade auf diese Aufgabe aber verstehen wir Menschen, deren Geist nun einmal ständig umherschweift, uns ganz besonders schlecht.

Aus Untersuchungen zum Thema Wachsamkeit, die bis auf Studien zum Verhalten von Radarspezialisten im Zweiten Weltkrieg zurückreichen, geht hervor, dass es Menschen schwerfällt, ihre Aufmerksamkeit länger als dreißig Minuten auf eine gleichbleibende Informationsanzeige zu konzentrieren. „Das heißt“, stellte Bainbridge fest, „dass es menschenunmöglich ist, die elementare Aufgabe kontinuierlichen Ausschauhaltens nach unwahrscheinlichen Auffälligkeiten zu bewältigen.“ Und weil die Fähigkeiten und Fertigkeiten eines Menschen „nachlassen, wenn sie nicht eingesetzt werden“, wird selbst ein erfahrener Anwender irgendwann anfangen, sich wie ein unerfahrener zu verhalten, wenn man ihn zum bloßen Beobachter macht. Mangelnde Aufmerksamkeit und Verlust an Know-how erhöhen die Wahrscheinlichkeit, dass der Anwender, sobald etwas schiefläuft, nicht angemessen reagiert. So bestätigt sich die Annahme, der Mensch werde sich als das schwächste Glied im System erweisen, als selbsterfüllende Prophezeiung.

Plädoyer für Ineffizienz

Psychologen haben ein paar einfache Möglichkeiten gefunden, wie man die schädlichen Auswirkungen der Automatisierung abmildern kann. So lässt sich eine Software dahingehend programmieren, dass sie die Steuerungsfunktion immer wieder mal, allerdings in unregelmäßigen Zeitabständen, an menschliche Bedienungskräfte abtritt. Wenn diese wissen, dass sie jeden Augenblick genötigt sein könnten, das Kommando zu übernehmen, bleiben die Betreffenden bei der Sache, was ihre Fähigkeit fördert, wechselnde Situationen zu erfassen und hinzuzulernen. Man kann den Automatisierungsgrad beschränken, um sicherzustellen, dass Menschen am Computer gefordert werden, anspruchsvolle Aufgaben zu lösen und nicht lediglich hinzuschauen. Gibt man den Menschen mehr zu tun, so trägt das zur Erhaltung des „Generation Effect“ bei. Man kann in die Software Routinen einbauen, die den Anwendern eine Wiederholung schwieriger manueller und mentaler Arbeitsvorgänge abverlangen und so der Gedächtnisstärkung ebenso dienen wie dem Erwerb von Fähigkeiten und Fertigkeiten.

Manche Softwareautoren machen sich solche Anregungen zu eigen. Im Unterricht unterstützen die besten Lernprogramme die Schüler bei der Bewältigung eines Themas, indem sie die Aufmerksamkeit fördern, angestrengte Arbeit verlangen und das Erlernte durch Wiederholung festigen. In ihnen schlagen sich die neuesten Erkenntnisse darüber nieder, wie unser Gehirn Erinnerungen speichert und sie mit theoretischem Wissen ebenso wie mit praktischen Kenntnissen und Fertigkeiten verknüpft. Doch die meisten Programme fördern weder Lernfähigkeit noch -bereitschaft. Oft bewirken sie eher das Gegenteil. Das liegt daran, dass die zur Entwicklung und Erhaltung von Expertise nötigen Schritte es fast immer erfordern, zunächst Zeit und Produktivität zu opfern. Man lernt erst einmal auf Kosten der Effizienz. Im Geschäftsleben, wo es um die Maximierung von Produktivität und Profit geht, nimmt man so etwas ungern in Kauf. Aber auch als Privatleute suchen wir fast immer Effizienz und Komfort. Wir wählen das Programm, das uns entlastet, nicht aber dasjenige, das uns härter und länger arbeiten lässt. Abstrakte Sorgen um das Schicksal menschlicher Talente können im Wettstreit mit der Neigung, Zeit und Geld zu sparen, kaum bestehen.

Gewusst wie: Wir sind, was wir tun

Vor der Küste der Halbinsel Melville im Nunavut-Gebiet Nordkanadas liegt die kleine Insel Iglulik, im Winter ein befremdlicher Ort. Die Durchschnittstemperatur liegt dann bei ungefähr 20 Grad unter null, die umgebenden Gewässer sind von dicken Eisschichten überzogen und die Sonne lässt sich nur selten blicken. Trotz so brutaler Umweltbedingungen haben Inuit-Jäger an die 4000 Jahre lang im Winter ihre Wohnungen auf der Insel verlassen, um auf der Suche nach Wild meilenweit über Eis- und Tundraflächen zu streifen. Entdeckungsreisende und Forscher staunen seit Jahrhunderten über die Fähigkeit dieser Jäger, sich in den unwegsamen arktischen Zonen weiträumig zu orientieren, obwohl es dort kaum Wegzeichen gibt, die Schneeformationen in permanenter Bewegung sind und Fährten über Nacht verschwinden. Die außergewöhnliche pfadfinderische Kompetenz der Inuit beruht nicht auf technischen Fähigkeiten – Landkarten und Kompass mieden sie lange Zeit –, sondern auf ihrer großen Vertrautheit mit Winden, Schneebewegungsmustern, dem Verhalten der Tiere, den Sternen und den Gezeiten. Doch die Kultur der Inuit ist heute im Wandel begriffen. Die Jäger von Iglulik beginnen, sich bei ihren Streifzügen auf elektronisch erzeugte Landkarten zu verlassen. Besonders die jüngeren Inuit greifen gern auf die GPS-Technologie zurück, was leicht nachzuvollziehen ist. Im Vergleich mit der einfach zu bedienenden und komfortablen Automatennavigation erscheinen die traditionellen Orientierungstechniken der Inuit archaisch und lästig.

Aber seit GPS-Geräte bis Iglulik vorgedrungen sind, mehren sich Berichte über schwere Jagdunfälle. Ein Jäger ohne selbst erworbene Pfadfinderkenntnisse kann sich leicht verirren, besonders wenn sein GPS-Empfänger versagt. Auch können die auf Satellitenkarten so akkurat eingezeichneten Routen Jäger zu einer Art Tunnelblick verleiten, der sie womöglich auf dünnes Eis führt oder anderen Gefahren aussetzt, die ein erfahrener Navigator meiden würde.

Claudio Aporta, ein Anthropologe von der Carleton University in Ottawa, studiert seit über 15 Jahren das Verhalten von Inuit-Jägern. Wie er feststellte, bietet die Satelliten-Navigation zwar praktische Vorteile, doch hat ihre Anwendung schon jetzt zu einer Verschlechterung der Fähigkeit, Wege auszumachen, und darüber hinaus des Geländegespürs ganz allgemein geführt. Kurzum: Auf einem mit Navigationssystem ausgerüsteten Schneemobil unterscheidet sich ein Inuit gar nicht mehr so sehr vom Pendler urbaner Ballungsgebiete in seinem GPS-gerüsteten SUV: Während er seine Aufmerksamkeit auf die Anweisungen konzentriert, die der Computer erteilt, verliert er seine Umgebung aus dem Blick. Er bewegt sich, wie Aporta formuliert, „mit verbundenen Augen“. So könnte ein einzigartiges Talent, das ein Volk seit Jahrhunderten auszeichnet, schon binnen einer Generation verschwinden.

Sei es nun der Pilot in seinem Cockpit, die Ärztin im Untersuchungsraum oder der Inuit-Jäger auf einer Eisscholle – wer sich auskennen will, muss selbsttätig handeln. Eine unserer bemerkenswertesten Eigenschaften lässt sich zugleich besonders leicht übersehen: Nach jedem Zusammenstoß mit der Wirklichkeit verstehen wir unsere Welt besser und nehmen noch intensiver Teil an ihr. Wenn wir mit einer schwierigen Aufgabe ringen, mag es die Aussicht auf das bezweckte Ergebnis sein, die uns motiviert. Doch gerade die Arbeit als solche – das Mittel zum Zweck – , ist es, was uns zu dem macht, was wir sind. Die computergestützte Automatisierung löst den Zusammenhang zwischen Zweck und Mittel. Sie verhilft uns leichter zum Gewünschten zu gelangen, entfremdet uns jedoch dem Gewusst-wie. Unsere Selbsttransformation zu Bildschirmgeschöpfen stellt uns vor die folgende, wahrhaft existenzielle Frage: Gründet unser Wesen noch in dem, was wir wissen, oder begnügen wir uns künftig damit, dass unsere Wünsche uns definieren? Wenn wir uns nicht selbst um die Antwort kümmern, werden unsere Spielzeuge uns diese Mühe nur zu allzu gern abnehmen.

 

*Der Beitrag erschien erstmals in der Zeitschrift „The Atlantic“, 11/2013. Die Übersetzung aus dem Englischen stammt von Karl D. Bredthauer.

 


[1] Bei dem Quiz müssen die Teilnehmer passende Fragen zu vorgegeben Antworten formulieren. – D. Red.

(aus: »Blätter« 2/2014, Seite 45-55)
Themen: Technologiepolitik, Kultur und Wissenschaft

top