Wider die digitale Manipulation | Blätter für deutsche und internationale Politik

LoginWarenkorb

Wider die digitale Manipulation

Die verborgene Macht der Algorithmen, Teil I

CC0 Creative Commons Foto: CC0 Creative Commons

von Danah Boyd

Algorithmen dringen derzeit immer schneller in alle Lebensbereiche vor. Diesem historischen Umbruch möchte ich mich in zwölf Schritten nähern. Im ersten geht es darum, wie sich die Aufmerksamkeitsindustrie hacken lässt. Im Jahr 2008 hatte die Paranoia über Sexualstraftäter im Internet ein Allzeithoch erreicht. Aus allen Medien dröhnte der immergleiche Alarmton: Das Internet ist für Kinder gefährlich. Ob in den USA, ob in Europa: Vor diesem Thema gab es kein Entkommen. Zuerst stand MySpace im Brennpunkt, danach Facebook. Die Botschaft war klar: Diese neumodischen und populären Onlinedienste stellen eine ernste Bedrohung für unsere Kinder dar.

In den Vereinigten Staaten reagierte der Kongress mit Gesetzentwürfen wie dem Stopping Online Predators Act. Task Forces für Internetsicherheit wurden gebildet. Für mich als Wissenschaftlerin waren das extrem ärgerliche Zeiten. Ich hatte zahllose Untersuchungen über die Gefahren, die jungen Leuten drohen können, in Berichten zusammengefasst. Ich kannte die Datenlage, konnte bis ins schmutzige Detail darstellen, welche Risiken Jugendlichen drohen und was zur Verhütung der größten Ungeheuerlichkeiten getan werden kann. Aber in der Debatte, die da entbrannte, ging es nicht um Fakten oder Belege. Es ging um Angst. Und für so manche ging es darum, zu Lasten der Vernunft Technikängste zu schüren. (Klingt das für deutsche Ohren vertraut?) Nie werde ich vergessen, wie ein Jugendschützer in den USA auf meinen Gefahrenreport reagierte: Ich sollte mich nach anderen Daten umsehen, meinte er. 

Unter Teenagern war die Stimmung durchaus gemischt. Manche machten sich große Sorgen über mangelnde Sicherheit im Internet. Sie hatten die Gerüchte gehört. Sie hatten die Fernsehsendung „To Catch a Predator“ („Wie man einen Sextäter fängt“) gesehen und glaubten fest, da würden irgendwo irgendwie Kinder entführt. Sie wollten online in Sicherheit sein und wussten nicht recht, wie sie sich schützen sollten. Doch die große Mehrheit hielt sich mit dieser Moralpanik nicht lange auf und verdrehte nur die Augen. Schließlich warnen Erwachsene sie immerzu vor dieser oder jener Gefahr.

In einer Online-Community namens 4chan kam es unterdessen zu Diskussionen, wie man mit diesem Thema Erwachsene „trollen“ könne. Man muss dazu die Entstehungsgeschichte von 4chan kennen – als Produkt eines von Animes und Pornographie besessenen fünfzehnjährigen amerikanischen Jungen, der ein Werkzeug für andere Jungen seines Alters schaffen wollte. Es war diese Community, in der die meme culture entstand, und sie hatte einen Riesenspaß daran, sich über die Ängste der Erwachsenen in Sachen Netzsicherheit zu mokieren.

2008 gab es noch Oprah Winfreys tägliche Talkshow, mit der sie Millionen erreichte, besonders Frauen mittleren Alters und die Eltern vieler 4chan-Kids. Machte sie sich über irgendetwas Sorgen, dann taten es auch die Eltern – und umgekehrt. In der Sendung wurde regelmäßig über Fragen sexueller Gewalt, Jugendpraktiken und beunruhigende Internet-Storys diskutiert. Ihre Produzenten nutzten Oprahs Diskussionsforum gern dazu, sich durch die Fans auf neue Programmideen bringen zu lassen. Irgendwer in der 4chan-Welt hatte den Einfall, Drohbotschaften auf Oprahs „schwarzem Brett“ zu platzieren, um die Produzenten der Show zu trollen. Wie es weiterging, ist nicht ganz klar. Jedenfalls sagte Oprah in ihrer landesweit ausgestrahlten Sendung schließlich live: „Lassen Sie mich etwas verlesen, was jemand gepostet hat, der behauptet, Mitglied eines bekannten Pädophilennetzwerks zu sein. Es heißt da, er vergibt nicht und vergisst nichts. Seine Gruppe hat über 9000 Penisse und sie vergewaltigen Kinder. Ich möchte deshalb, dass Sie Bescheid wissen: Die sind organisiert und beschäftigen sich systematisch damit, Kindern wehzutun, und sie benutzen das Internet dazu.“

Besorgten Eltern mag es da kalt über den Rücken gelaufen sein, aber Teenager brachen in ihren Online-Netzwerken kollektiv in schallendes Gelächter aus. Denn „Over 9000“ ist eine bekannte Meme-Anspielung. Und „Wir vergeben nicht. Wir vergessen nicht“ ist das Motto eines Netzwerks namens „Anonymous“. Die Vorstellung schließlich, Online-Pädophile seien organisiert – mit einem Teddybären als Maskottchen, wie es später hieß –, erschien den Jugendlichen komisch, ja absurd.

Wer auch immer da Oprah getrollt hatte: Ihm oder ihr war es gelungen, die Aufmerksamkeitsökonomie zu hacken. Ein TV-Star konnte dazu gebracht werden, sich in einer landesweit ausgestrahlten Sendung live lächerlich zu machen. Zugleich hatte man aber auch die Fähigkeit demonstriert, Massenmedien zu manipulieren.

Wer kontrolliert die Künstliche Intelligenz?

Im zweiten Schritt geht es um Verantwortlichkeit: Viele der technischen Systeme, mit denen wir es zu tun haben, basieren auf maschinell lernenden Algorithmen. Suchmaschinen organisieren Inhalte, indem sie entscheiden, was bei jeder beliebigen Internetsuche das jeweils Wichtigste sein könnte. Zahllose Ranking- und Empfehlungssysteme wirken im Hintergrund unserer Online-Erlebnisse mit. Der Einfluss algorithmischer Systeme beschränkt sich aber nicht auf unser informationelles Ökosystem. Maschinenlernende Systeme bahnen sich ihren Weg in so unterschiedliche Gebiete wie Strafjustiz, Kreditprüfung, Wohnungsvermittlung, Versicherung, Bildung und Medizin. In einer Geschäftswelt, in der alle von Künstlicher Intelligenz (KI) schwärmen, sehen zu viele Leute in der Akkumulation von Daten die Lösung jeglichen Problems.

KI ist der Knüller. Fast jedes Start-up präsentiert sich als die KI-Lösung für irgendwas. Niemand versucht das, was da vorgeschlagen wird, erst einmal zu evaluieren. Schließlich muss sich mit all diesen Daten doch irgendeine Lösung finden – oder? Machen wir uns nichts vor: KI ist gleich „Big Data“, nur neu kostümiert. Weil zu viele Europäer zu viel Lärm über die Überwachungspraktiken von „Big Brother“ – alias „Big Data“ – geschlagen haben, spricht man lieber von KI, was den Datenhunger jeglicher Technologie, die den Namen KI verdient, scheinbar kaschiert. Andererseits verlangt es, wie ein Vorstandsmitglied einer Technologiefirma mich aufklärte, auch deshalb alle Welt nach KI, weil das Gegenteil von künstlicher Intelligenz „natürliche Dummheit“ sei. So verstanden klingt KI einfach großartig, egal woraus sie besteht!

Wenn wir aber tatsächlich alles und jedes mit KI ausrüsten wollen, fragt sich doch, wer diese Systeme kontrollieren wird. Wie sollen Verantwortlichkeit und Haftung beschaffen sein? Hier in Deutschland und in der EU werden diese wichtigen Fragen immerhin gestellt. Ein Dankeschön also an die Künstler und Journalistinnen, Wissenschaftler, Politikerinnen und Verwaltungsleute, die die Öffentlichkeit auf die Dringlichkeit dieser Themen aufmerksam machen. Zugleich möchte ich euch aber auch auf ein Manko hinweisen. Ihr denkt an institutionelle Macht – an Regierungen und Unternehmen, an Gesetze, die die Entwicklung strukturieren können. Ihr müsst euch aber auch mit denjenigen auseinandersetzen, die finsterere Absichten verfolgen – mit all den Digitalcowboys, die diese Technologie vorgeblich rechenschaftspflichtig machen, indem sie diese Systeme manipulieren. Es geht längst nicht mehr nur um so etwas wie die Möglichkeit, Oprah zu veranlassen, sich landesweit lächerlich zu machen. Es geht um schmutzige Politkampagnen, um Werbung, die sich als journalistischer Bericht tarnt, um die strategische Nutzung jedes verfügbaren Tools zur Manipulation jedes beliebigen Systems, nur um zu beweisen, dass man dazu fähig ist. Koste es, was es wolle.

Was muss geschehen, um nicht nur Staaten und Unternehmen verantwortlich machen zu können, sondern auch riesige Netzwerke von Leuten, die über unterschiedliche Rechtsräume hinweg arbeiten und unterschiedliche Techniken anwenden, um den sozialen Zusammenhalt systematisch zu untergraben?

Strategisches Schweigen

Im dritten Schritt möchte ich über Verstärkereffekte sprechen. 2009 wollte Terry Jones, Pastor einer fünfzigköpfigen Gemeinde in Florida, die Botschaft verbreiten, der Islam sei des Teufels. Also schrieb er sie auf ein Schild, das er vor seiner Kirche aufstellte. Was die globale Resonanz betrifft, nun ja – nicht allzu viele Leute kommen durch Gainesville, Florida. Und wer den Ruf des Mannes kannte, stöhnte und verdrehte die Augen. Der wiederum wollte mehr Aufmerksamkeit. Also drohte er, den Koran zu verbrennen.

Was er vorhatte, sickerte durch, und zivilgesellschaftliche Organisationen forderten den Pastor in Presseerklärungen auf, die widerwärtige Aktion zu unterlassen. In der Lokalpresse schalteten sich Journalisten ein. Die Sache begann zu eskalieren, erst recht, als die lokalen Storys zu Yahoo-Nachrichten wurden. Die Aufmerksamkeitsspirale trug den Pastor schließlich bis ins CNN-Programm, und Hillary Clinton, damals Außenministerin, beschwor ihn, auf die Aktion zu verzichten. All das verschaffte Jones, zumindest eine Zeit lang, weltweite Aufmerksamkeit. Als die wieder abflaute, erneuerte er seine Drohung. Doch diesmal schenkten ihm die Nachrichtenmedien, klüger geworden, keine Beachtung. Also machte er 2011 seine Drohung wahr und organisierte tatsächlich die öffentliche Verbrennung eines Korans.

Zwar erschien kein Vertreter irgendeines relevanten Mediums auf der Bildfläche, um das Schauspiel zu beobachten, wohl aber ein kaum bekannter Blogger. Und der öffnete eine Schleuse in die Regionalblätter. Als das Thema dort diskutiert wurde, fühlten die überregionalen Blätter sich genötigt, über die Kontroverse zu berichten. Und da überregionale Zeitungen in zahlreiche Sprachen übersetzt werden, verbreitete sich die Nachricht von der widerwärtigen Aktion eines unbedeutenden Pastors, hinter dem kaum jemand stand, alsbald weltweit. Ein Spektakel wirkt aber immer größer, wenn die „New York Times“ ihm Beachtung schenkt. Schließlich kam es rund um den Globus zu Ausschreitungen. Eine davon, in Afghanistan, endete mit mindestens zwölf Toten, darunter sieben UN-Mitarbeiter.

Journalisten beanspruchen einen beruflichen Ausnahmestatus als Vierte Gewalt. Wenn sie beschreiben, wie sie ihre Entscheidungen treffen, berufen sie sich lautstark auf ihre ethischen Standards und Werte. Sie behaupten, um einer informierten Bürgergesellschaft willen über alles berichten zu müssen, was Nachrichtenwert besitze. Doch wer befindet darüber, was Nachrichtenwert hat?

Mit meiner Kollegin Joan Donovan bin ich der Geschichte des „strategischen Schweigens“ nachgegangen. Sobald ich diese beiden Worte ausspreche, hängen Nachrichtenredaktionen sich an dem zweiten – „Schweigen“ – auf und gehen augenblicklich in Abwehrstellung: Nie und nimmer dürften sie wichtige Stimmen verschweigen, heißt es dann. Der Verleger der „New York Times“ verkündete gar, strategisches Schweigen komme für ihn schon deshalb nicht in Betracht, weil die US-Regierung ihn permanent auffordere zu schweigen. Ich hielt dagegen, er betone das falsche Wort. Die meisten Nachrichtenmedien – einschließlich der „New York Times“ – verhalten sich nämlich ausgesprochen strategisch, wenn es um den Umgang mit Informationen geht, deren Offenlegung regierungsseitig unerwünscht ist. Sie achten aufs letzte Detail, vergewissern sich, dass ihre Fakten niet- und nagelfest sind, und wägen mögliche Schäden oder Nutzen für die Gesellschaft sorgfältig gegeneinander ab. Und dann treffen sie eine strategische Entscheidung.

Beim strategischen Schweigen geht es nicht ums Schweigen per se. Es geht darum, strategisch zu handeln. Und solange du keine Strategie hast, solltest du schweigen. Davon hängt viel ab, wenn du es mit Gegnern zu tun hast, die versuchen, dich so zu manipulieren, dass du ihre Botschaft weiterverbreitest. Nachrichtenmedien verstehen sich darauf, wirtschaftliche und staatliche Manipulationsversuche zu parieren, aber vernetzte Bewegungen nehmen sie weit weniger ernst.

Die Verstärkung der Botschaft kann bewirken, dass diese Kreise zieht und Schaden anrichtet. Joan untersucht, wie Extremisten vorgehen. Wenn sie über strategisches Schweigen spricht, verweist sie gern darauf, wie es den White Supremacists rund um den Ku-Klux-Klan gelang, Journalisten gezielt so zu manipulieren, dass sie deren Botschaft verbreiteten. Ich betrachte das Thema aus einem anderen Blickwinkel. Zahllose Soziologen und Psychologen haben untersucht, wie die sensationslüsterne Berichterstattung über Selbstmorde prominenter Persönlichkeiten Nachahmereffekte auslösen kann. Die Weltgesundheitsorganisation bietet sogar eine Empfehlungsliste für Journalisten an und rät unter anderem, nicht auf Details der Suizidmethode, die selten Nachrichtenwert besitzt, einzugehen. Wenn Redaktionen diesen Rat ausschlagen, tun sie das wegen des Schockeffekts und weil die Leute gruselige Einzelheiten genießen. Reporter und Redakteure handeln da wider besseres Wissen, aber in einer Welt, in der man sich an dem ausrichtet, was die anderen tun, vergessen sie offenbar ihre ethischen Grundsätze. Nach dem Selbstmord des amerikanischen Schauspielers Robin Williams stieg die Suizidrate um zehn Prozent, die der Suizide nach seiner Methode sogar um 32 Prozent.

Unser informationelles Ökosystem wird ausgebeutet und missbraucht. Niemand will schuld daran sein, aber ausgerechnet jene Branche, die andauernd schwört, ethisches Verhalten gehe ihr über alles, ist offenbar unfähig, die Verantwortung für den eigenen Beitrag zu diesem System zu übernehmen.

Die Trolle bei Twitter

Kommen wir zum vierten Schritt, zu den Informationsketten: Zu Beginn seiner Karriere manipulierte der amerikanische PR-Berater und Bestsellerautor Ryan Holiday Informationsketten, indem er Schwachstellen aufspürte und die begrenzten Werbe- und Marketing-Budgets seiner Kunden so einsetzte, dass unerwartet große Aufmerksamkeitsmargen erzielt wurden. Kostspielige Anzeigen konnte er sich nicht leisten, aber er verstand es, Spektakel zu produzieren, die Story-hungrige Blogger, die dazu getrieben wurden, auf Quantität vor Qualität zu setzen, aufgreifen würden. Sobald ein Blogger anbiss, beförderte er die Botschaft – genau wie im Fall Terry Jones geschehen – in der Informationskette weiter aufwärts. Er nutzte Twitter, um gesteigerte Aufmerksamkeit zu fingieren. Diverse Gruppen gegeneinander auszuspielen, bedeutet kostenloses Messaging, also erfand Holiday imaginäre Gegenbewegungen.

Online-Trolle verstehen sich darauf, ebendiese Strategien zu missbrauchen. Sie haben herausgefunden, wie man Botschaften über Informationsketten weiterverbreitet. Zwangsläufig gibt es da einige, die von ausländischen Mächten oder von Milliardären finanziert werden, aber andere sind ganz einfach Gesinnungstäter, die eine Botschaft in die Infokanäle drücken wollen. Unabhängig von den Zielen, die die einen oder anderen verfolgen mögen, bedienen Trolle sich einer Reihe wohlbekannter Taktiken. Sie richten auf Twitter unter falschen Identitäten sogenannte Sockenpuppen- oder Fake-Accounts ein, mit deren Hilfe sie beispielsweise Journalisten ansprechen, die glauben sollen, da meldete sich der gewöhnliche „Mann auf der Straße“ zu Wort. Der Troll hat nichts weiter zu tun, als dem Journalisten eine Frage zu stellen, die dieser interessant genug finden könnte, um eine Internetsuche zu starten. Tut er das, landet er unweigerlich bei eigens für ihn produziertem Content. Man bearbeite ein paar Wikipedia-Einträge und schon gelingt es, Menschen, die gern auf eigene Faust recherchieren, in ein Kaninchenloch à la Alicezulocken, wo sie immer tiefer insWunderlandgeraten.

Die Macht der Trolle besteht nicht darin, dass sie Massen erreichen können. Sie besteht vielmehr in der Fähigkeit, mit Hilfe von Fake-Accounts etablierte „Verstärker“ für die Verbreitung ihrer Botschaften einzuspannen.

Wie Google manipuliert wird

Im fünften Schritt möchte ich darüber sprechen, wie Algorithmen getrollt werden: Am 5. November 2017 betrat ein 26jähriger Mann in Sutherland Springs, Texas eine Kirche und schoss um sich. Bevor alle Handys Alarm schlugen, hatten die meisten Menschen noch nie von dieser kleinen Stadt gehört. Ich weiß, dass die in den Vereinigten Staaten grassierende Schießwut hier in Deutschland auf Unverständnis stößt, aber in den USA ist sie Routine geworden. Jemand läuft Amok, die Medien bekommen Wind davon, und auf jedermanns Smartphone schrillen Alarmmeldungen.

Als ich die Nachricht hörte, war mir sofort klar: Diverse Online-Netzwerke würden diese Gelegenheit mit allen Mitteln ausschlachten, um die öffentliche Meinung zu manipulieren. Wie schon bei früheren Amokattacken gefielen Internet-Communitys sich darin, den Namen des Schützen und die Stadt mit „Antifa“ in Verbindung zu bringen, so dass jeder, der nach zusätzlichen Informationen googelte, annehmen konnte, dieser Gewaltakt sei linksgerichteten Gruppen zuzuschreiben. Man muss wissen, dass rechtsextreme Bewegungen die Antifa zu ihrem Erzfeind stilisiert und vermeintlich linke Fake-Accounts eröffnet haben, die für Gewalttaten „Verantwortung übernehmen“. Manche Journalisten haben auf der Suche nach „Ausgewogenheit“ – nach einem linken Äquivalent zum gewalttätigen Rechtsextremismus – diese vermeintlichen Antifa-Accounts zitiert.

Zielobjekt solcher Manipulationsversuche waren nicht Journalisten als solche. Angesichts sensationeller Nachrichten suchen die Leute nach mehr Information. Sie setzen auf Google. Und so versuchen jene, die in einer solchen Situation die öffentliche Meinung in ihrem Sinne beeinflussen wollen, Einfluss darauf zu nehmen, was die Leute bei der Google-Suche finden. Bevor es dort zu den Schüssen auf Kirchgänger gekommen war, hätten Online-Suchen nach „Sutherland Springs“ zu algorithmisch produzierten Websites mit demographischen Informationen geführt. Oder zu Wohnungsangeboten von Internetmaklerfirmen wie Zillow. Wahrscheinlich hatte lange Zeit kein Mensch nach diesem Städtchen gesucht. Jetzt aber wollten die Leute plötzlich Suchergebnisse. Google brauchte frisches Material. Also zieht das Unternehmen Reddit- und Twitter-Informationen heran, um schnellstmöglich neuere Quellen erschließen und die Nachrichten kontextualisieren zu können.

Es überrascht nicht, dass im Fall Sutherland Springs jene, die Falschmeldungen über die Motive des Schützen verbreiten wollten, ebenfalls Twitter und Reddit instrumentalisierten und dort Diskussionen inszenierten, die Google ins Spiel bringen würden. Mit Hilfe von Fake-Accounts wandten sie sich auch an Journalisten mit Fragen, die das Narrativ beeinflussen sollten. Einen Journalisten zu fragen, ob der Schütze zur Antifa gehört, regt diesen möglicherweise an, sich auf die Fragestellung einzulassen und Recherchezeit darauf zu verwenden. Besser noch ist es, wenn der Journalist darüber schreibt, selbst wenn er die Lügengeschichte entlarvt. Denn das löst den Bumerangeffekt aus und die Gegenstory wird Beachtung finden.

Storys aus respektablen Quellen sind besonders erwünscht, weil Google sie in der Liste der Suchergebnisse weit oben platziert, weit vor dem regulär zu Tage geförderten „Content“. Ein „Newsweek“-Reporter, der das Spiel dieser Netzwerke durchschaute, beschloss, darüber zu schreiben. Seine Geschichte zeigte detailliert, wie ultrarechte Communities Aufmerksamkeit auf den Vorfall lenkten, um ihn mit künstlich gehypter linker Gewalt in Verbindung zu bringen. Sein Redakteur machte die Story mit einer Klick-förderlichen Überschrift auf: „Antifa verantwortlich für Sutherland-Springs-Morde, wie Rechtsaußen-Medien melden“. Entweder ist „Newsweek“ alles egal oder diese Leute sind blöd – oder sie haben Spaß daran, wilde Gerüchte in Umlauf zu setzen. Sie müssten wissen, dass Google lange Überschriften nicht komplett anzeigt. Wie dem auch sei: Wer am ersten Tag nach dem Verbrechen googelte, um sich genauer zu informieren, sah eine Schlagzeile, die rechtsextremen Aufwieglern in die Hände spielte: „Antifa verantwortlich für Sutherland-Springs-Morde“.

Und so beobachten wir jedes Mal, wenn sensationelle Vorgänge Schlagzeilen machen, konzertierte Bemühungen, die Informationslandschaft zu verseuchen. Nach dem Schulmassaker in Parkland sollte suggeriert werden, die überlebenden Opfer seien in Wahrheit „Krisen-Darsteller“. Diese Version fand auf allen Nachrichtenkanälen Verbreitung und diffamierte die Schüler zu einem Zeitpunkt, an dem sie besonders dringend kollektive Unterstützung gebraucht hätten.

Wenn man begriffen hat, wie Informationen verknüpft werden, ist es nicht schwer, Informationsflüsse zwecks Spaß, Profit, Ideologie und Politik auszubeuten. Genau an dem Punkt stehen wir heute leider. Worauf es in diesem fünften Teil meiner Darstellung besonders ankommt, ist die Beobachtung, dass (vermeintlich oder tatsächlich) entrechtete Personen sich in großer Zahl Machterlebnisse verschaffen, indem sie sich auf strategische Kommunikation verlegen. Die vermittelt ihnen das Gefühl, Teil von etwas werden zu können, das größer ist als sie selbst.

Mehr als nur Fake News

Damit kommen wir zum sechsten Schritt, zum Anzetteln von Deutungskriegen: 2010 schaltete „Russia Today“ (RT) im Rahmen seiner „question more“-Kampagne eine Serie hochumstrittener Anzeigen. Deren Botschaft ist einfach brillant. Sie klingt exakt wie die Werbung für eine Medienkundekampagne. Nehmen wir etwa folgenden Blickfänger: „Ist der Klimawandel mehr Science Fiction als Science Fact?“ Das Kleingedruckte darunter liest sich so: „Wie verlässlich ist eigentlich die Beweislage für die Annahme, dass menschliches Handeln zum Klimawandel beiträgt? Die Antwort ist nicht immer eindeutig. Ein ausgewogenes Urteil kann sich nur bilden, wer besser informiert ist. Indem wir die vorherrschende Auffassung in Frage stellen, enthüllen wir eine Seite der Nachrichten, die du normalerweise nicht zu sehen bekommst. Wir glauben nämlich, je mehr du fragst, desto mehr weißt du.“

Die Botschaft suggeriert, dass hinter der Klimaforschung mehr steckt als du weißt – und, noch wichtiger, dass die meisten Medien versuchen, dir Informationen vorzuenthalten, damit du ihre Sichtweise übernimmst. Die fraglichen Anzeigen wären nicht besonders umstritten, wären sie nicht gerade dazu gedacht, Streit zu entfachen. Man stelle sich ein Plakat mit der Frage vor: „Wie verlässlich ist eigentlich die Beweislage für die Annahme, dass zwischen körperlicher Anstrengung und Gewichtsabnahme ein Zusammenhang besteht?“ RT traf mit ähnlichen Kampagnen zu einer Reihe quer durchs politische Spektrum heiß umstrittener Themen ins Herz westlicher Debattenkultur. In London wurden diese Plakate verboten, worauf RT mit neuen Plakaten beklagte, zensiert worden zu sein.

Die Wucht der Kampagne resultiert daraus, dass sie bewusst Einsichten ins Wanken bringen soll, indem sie falsche Gleichsetzungen vornimmt. Sie appelliert an journalistische Instinkte. Das ist eine phantastische Strategie für jeden, der Deutungskriege führt.

Wir sprechen andauernd von „Fake News“, aber die Bezeichnung trifft nicht recht das, was in Wahrheit passiert. Sicher, es gibt Akteure, die falsche oder ungenaue Inhalte produzieren, um Geld zu verdienen. Aber man weiß doch, was man von den einschlägigen Medien zu halten hat. Ich mag UFO-Geschichten und Klatsch über die Beziehungskisten berühmter Leute, aber ich halte sie doch nicht für seriöse Nachrichten, auch wenn sie auf Zeitungspapier stehen. 

Wenn wir besorgt über „Fake News“ reden, geht es eigentlich darum, dass wir entsetzt über die hochgradig politisierten Kampagnen sind, die anscheinend einer ganz bestimmten Agenda folgen. Wir sollten uns aber auch bewusst machen, dass ein Großteil der amerikanischen Gesellschaft CNN und die „New York Times“ für „Fake News“-Medien hält. Um das zu begreifen, muss man sich in Epistemologie auskennen.

Epistemologie ist der Mechanismus, mit dessen Hilfe wir Wissen konstruieren, individuell und kollektiv. Unser Weltbild – oder Weltverständnis – entsteht im Verlauf einer Reihe unterschiedlicher Prozesse. Manche Leute betonen die Bedeutung der wissenschaftlichen Vorgehensweise, andere bevorzugen die Erfahrung, wieder andere halten sich an religiöse Lehren. Es gibt vielerlei Möglichkeiten, sich einen Reim auf Welt und Umwelt zu machen, aber welche Sichtweise in der jeweiligen Gesellschaft als legitim gilt, bleibt konfliktträchtig. Wenn du einen Kulturkrieg entfesseln willst, verlegst du dich am besten darauf, Epistemologien gegeneinander in Stellung zu bringen. Genau so pflegen Religionskriege zu beginnen.

Vor diesem Hintergrund lese man folgende Sätze des kanadischen Autors Cory Doctorow: „Wir streiten uns nicht um Fakten, wir streiten um Epistemologie. Die Version des ‚Establishments’ in Sachen Epistemologie lautet: Wir stützen uns zur Erkenntnis der Wahrheit auf Tatsachen, auf durch unabhängige Verifikation erhärtete Tatsachen (aber vertraut uns einfach, wenn wir euch sagen, dass alles von unabhängigen Leuten überprüft wurde, die mit der nötigen Skepsis verfahren und nicht die Kumpels jener Leute sind, die sie eigentlich überprüfen sollen). Die ‚alternative Fakten’-Epistemologie funktioniert so: Die ‚unabhängigen’ Experten, die angeblich die ‚evidenzbasierte’ Wahrheit verifizieren sollen, sind in Wirklichkeit Bettgenossen der Leute, die angeblich von ihnen überprüft werden. Letztlich ist alles Glaubenssache, denn: Entweder du glaubst, dass ‚deren’ Experten die Wahrheit sagen, oder du glaubst, dass wir es tun. Hör auf dein Bauchgefühl, welche Version dir vertrauenswürdiger erscheint.“ 

Schauen Sie, was in unserer Gesellschaft vorgeht. Wir sehen Menschen, die sich darüber, wie sie ihr Weltbild konstruieren, mit der Familie und den Nachbarn zerstreiten. Wir sehen Menschen, die es ablehnen, sich mit Epistemologie zu befassen. Andere streben nach Kontrolle über die Weltdeutung. Doch letztlich ist es eine der schwierigsten Fragen der Gesellschaft, wer kontrollieren soll, wie Wissen produziert wird und welche Art Wissen legitim ist. Und wer nicht das Ganze kontrolliert, kann stattdessen versuchen, einen Keil hineinzutreiben.

Schwarze und weiße Namen

Lassen Sie uns zum siebten Schritt kommen, zu den alltäglichen Vorurteilen: Latanya Sweeney ist Harvard-Professorin. Eines Tages war sie auf der Internetsuche nach einem ihrer Texte und googelte ihren Namen. Ein Journalist war zugegen, dem auffiel, dass Anzeigen mit Botschaften wie „Latanya Sweeney: Vorstrafenregister?“ aufblinkten. Als er sie darauf hinwies, sagte sie, sie sei noch nie mit dem Gesetz in Konflikt geraten. Aber beide waren neugierig geworden. Latanya dämmerte es, dass solche Anzeigen, die für Produkte mit Strafrechtsbezug werben, bevorzugt mit Namen von Afroamerikanern in Verbindung gebracht werden. Sie überprüfte das durch Suchläufe nach einschlägigen Vornamen. Tatsächlich zeigte sich, dass die Suche nach Vornamen, die auf Schwarze, auf afroamerikanische Personen hindeuteten, statistisch gesehen häufiger Anzeigen mit Strafrechtsbezug ergab, während dieselbe Firma auf „weiße“ Vornamen eher mit Werbung für Hintergrundrecherchen reagierte.

Als Computerwissenschaftlerin, die über Systeme forscht, wusste Latanya, dass Google keine Anzeigen nach dem Kriterium, auf welche ethnische Zugehörigkeit Vornamen hindeuten, verkauft. Sie kannte auch die Konzeption des Anzeigensystems, das sich entsprechend der Reaktionen der Leute auf die Werbung, die man ihnen zeigt, weiterentwickeln soll. Schließlich fand sie heraus, was hinter ihrem Anzeigenerlebnis steckte: Google hatte eine Firma autorisiert, bestimmten Namen sechs verschiedene Anzeigen zuzuordnen, und wenn eine Anzeige bei einem der Namen mehr Klicks erzielte als bei anderen, konzentrierte man sich auf diese Verknüpfung. Wie es aussah, klickten Leute, die nach „schwarz“ oder afroamerikanisch klingenden Vornamen suchten, bevorzugt Anzeigen mit Bezug zu Vorstrafenregistern an. Dementsprechend verstärkte das System diesen Trend. Google registrierte also, anders gesagt, die Vorurteile bestimmter Suchmaschinenbenutzer und übertrug diese im Gegenzug gleich auf alle Welt.

Das aber zeigt: Die Daten, mit denen algorithmische Systeme arbeiten, sind häufig verunreinigt durch die in der Gesellschaft bestehenden Vorurteile. Schlimmer noch: Wenn algorithmische Systeme menschliche Interaktionen auswerten, machen sie sich die geäußerten Vorurteile zu eigen und verstärken diese.

In unserer mediengeprägten Welt stoßen wir allenthalben auf Vorurteile. Nehmen wir beispielsweise „Baby“ oder „CEO“ als Suchwörter. Wie kaum anders zu erwarten, wird einem, sucht man nach Ersterem, eine seltsame Kollektion technisch perfekter, perfekt in Szene gesetzter und perfekt ausgeleuchteter weißer Babys präsentiert. Ob das wohl daran liegt, dass die Leute keine eigenen Babyfotos machen? Nein. Die Bilder stammen ganz einfach aus den Beständen von Bildagenturen. Das Gleiche gilt für „CEO“. Wer danach sucht, findet weiße Männer mittleren Alters, die Anzüge tragen und gesund aussehen. Agenturfotos eben.

Dass man beide Suchergebnisse durch die Brille gesellschaftlicher Vorurteile lesen kann, versteht sich von selbst, aber was liegt ihnen zugrunde? Zunächst einmal muss man in Betracht ziehen, warum jemand Suchbegriffe wie „Baby“ oder „CEO“ eingibt. Den wenigsten dürfte es darum gehen, die Vorurteile von Suchmaschinen zu evaluieren. Derartige Stichworte tauchen vielmehr in Bildsuchen von Leuten auf, die eine PowerPoint-Präsentation ihrer Firma vorbereiten. Sie suchen nach perfekten Bildern, und die Bildagenturen möchten sie dazu bringen, Vollformate zu kaufen. Deshalb stellen sie Unmengen von Bildern in niedriger Auflösung oder durch Wasserzeichen geschützt ins Netz. Ihr Geschäftsmodell veranlasst sie, viel Geld in SEO – Suchmaschinenoptimierung – zu stecken, um die Wahrscheinlichkeit zu erhöhen, dass ihre Bilder Gefallen finden. Diese etikettieren sie aufgrund von Annahmen darüber, was die Leute suchen könnten. Sie werten aus, wonach in früheren Suchläufen gefragt wurde, und stellen entsprechende Bildkollektionen zusammen. Wenn also die Mehrzahl der Leute, die unter dem Stichwort „Baby“ Bilder für ihre PowerPoint-Präsentationen suchen, Fotos von sechs Monate alten Säuglingen kauft – und von weißen Männern, wenn das Suchwort „CEO“ ist –, dann werden Agenturen sich bei der Produktion und der Suchmaschinenoptimierung auf solche Angebote konzentrieren.

Und hier liegt das eigentliche Problem. Dienste wie Microsofts Bing kämpfen permanent gegen die Vorurteile – oder auch Vorlieben – an, die ihre Datenbestände beeinflussen: Sie möchten vielfältigere Suchergebnisse, weil sie glauben, dass ihre vielfältige Kundschaft durch allzu homogene Resultate abgestoßen wird. Wer nach bestimmten Bildern sucht, dem soll die Suchmaschine eine Reihe von Optionen bieten. Aber was sollen Google, Bing etc. tun, wenn die meisten Leute auf Bildersuche immer nur die ihren Neigungen entsprechenden Bilder anklicken? Wenn also die Nutzer nicht aufhören, den Suchmaschinen ihre Vorurteile und Vorlieben beizubringen?

Das maschinelle Lernen (ML) hat einen fundamentalen Fehler. Es ist prinzipiell auf Diskriminierung – im technischen Sinne von „Unterscheidung“ verstanden, nicht als vorurteilsgeleitete Benachteiligung – angelegt, nämlich darauf, Daten zu bündeln und zu klassifizieren. Auf diese Weise sollen große Datenmengen segmentiert, also in für das System nutzbare Datengruppen sortiert werden. Wenn diese Cluster aber mit kulturellen Voreingenommenheiten und Vorlieben befrachtet sind, verstärken sie letztlich die kulturelle Diskriminierung, die wir eigentlich beseitigen wollen. Unglücklicherweise ist es viel einfacher herauszufinden, wie eine Technologie Vorurteile verstärkt, als solche kulturbedingten Fehlerquellen zu verstopfen. Schlimmer noch: Spaltungen lassen sich erheblich leichter ausbeuten als überwinden.

Ende des ersten Teils, der zweite Teil folgt in der September-Ausgabe.

Der Beitrag basiert auf der Keynote, die Danah Boyd auf der re:publica 2018 in Berlin gehalten hat. Die Übersetzung stammt von Karl D. Bredthauer.

  

(aus: »Blätter« 8/2018, Seite 80-90)
Themen: Technologiepolitik, Datenschutz und Medien

top