www.ssoar.info

Regieren Algorithmen? Über den sanften Einflussalgorithmischer ModelleHerder, Janosik

Veröffentlichungsversion / Published VersionSammelwerksbeitrag / collection article

Empfohlene Zitierung / Suggested Citation:Herder, J. (2018). Regieren Algorithmen? Über den sanften Einfluss algorithmischer Modelle. In R. Mohabbat Kar, B.E. P. Thapa, & P. Parycek (Hrsg.), (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft (S.179-203). Berlin: Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS, Kompetenzzentrum Öffentliche IT(ÖFIT). https://nbn-resolving.org/urn:nbn:de:0168-ssoar-57547-2

Nutzungsbedingungen:Dieser Text wird unter einer CC BY Lizenz (Namensnennung) zurVerfügung gestellt. Nähere Auskünfte zu den CC-Lizenzen findenSie hier:https://creativecommons.org/licenses/by/3.0/deed.de

Terms of use:This document is made available under a CC BY Licence(Attribution). For more Information see:https://creativecommons.org/licenses/by/3.0

179

Regieren Algorithmen? Über den sanften

Einfluss algorithmischer Modelle

Janosik Herder

Universität Osnabrück

Die gegenwärtige sozial- und kulturwissenschaftliche Kritik an Algo-

rithmen bezieht sich vor allem auf zwei Aspekte: Dass Algorithmen,

erstens, grundsätzlich auf subjektiven Vorstellungen und Vorurteilen

beruhen, und dass sie, zweitens, meist im Verborgenen operieren.

Wenig beachtet wird dabei die Frage, welchen politischen Einfluss

Algorithmen eigentlich haben. Um den politischen Einfluss von Algo-

rithmen zu verstehen, schlage ich Michel Foucaults Perspektive der

Gouvernementalität vor. Die politische Bedeutung algorithmischer

Modelle besteht dieser Perspektive nach gerade darin, dass sie das

tun, was eigentlich dem liberalen Staat vorbehalten ist, nämlich die

Bevölkerung zu regieren. Unternehmen wie Google oder Facebook,

die weitverbreitete und potente algorithmische Modelle besitzen,

sind – so mein Schluss – ›gouvernementale‹ Unternehmen, die die

staatlichen Regierungsinstanzen vor grundlegende Fragen stellen.

1. Einleitung

Vor zehn Jahren hätten wahrscheinlich nur Fachleute mit dem Be-

griff ›Algorithmus‹ etwas anfangen können. Das hat sich schlagartig

geändert: Spätestens mit der Idee einer algorithmisch produzierten

180

Echokammer oder Filterblase,1 die die Utopie der universellen Öf-

fentlichkeit der Webpioniere fundamental infrage stellte, wurde aus

den Verheißungen der Automatisierung und Computerisierung ein

allgemein verständliches Problem.2 Nicht nur bei der Google-Suche

und auf der Timeline von Facebook fällen algorithmische Modelle

automatische Entscheidungen, auch in anderen Bereichen des Le-

bens, der Kreditvergabe etwa, kommen wir täglich mit Algorithmen

in Kontakt. Immer leistungsfähiger, undurchsichtiger und weitrei-

chender scheinen algorithmische Modelle zu werden, immer größer

ihre ›öffentliche Relevanz‹.3 Heute ist ein verbreitetes Unbehagen

mit dem Konzept des Algorithmus verbunden. Aber worin genau be-

steht dieses Unbehagen eigentlich? Und wie können wir das Politi-

sche dieses Unbehagens theoretisch fassen?

Ich denke, es gibt gute Gründe über die politische Bedeutung algo-

rithmischer Modelle nachzudenken. Um zwei Dinge zu vermeiden,

ist es allerdings entscheidend, das Problem zunächst in einen sinn-

vollen theoretischen Kontext zu stellen: Erstens besteht ohne theo-

retischen Rahmen die Gefahr, auf der deskriptiven Ebene zu bleiben

und die Modelle und ihre Wirkung lediglich zu beschreiben. Und

zweitens besteht die Gefahr, lediglich der ›kalifornischen Ideologie‹4

derjenigen zu folgen, die diese Modelle selbst produzieren. Ich

schlage deshalb vor, die politische Bedeutung der Modelle im Rah-

men der vom französischen Philosophen Michel Foucault verfolgten

Analyse von Regierungspraktiken und -techniken zu untersuchen.

Diese Perspektive erlaubt es, eine grundlegende Frage zu stellen:

Regieren Algorithmen? Und wenn ja: Was heißt das eigentlich? Die

1 Pariser, 2012 2 Morozov, 2012 3 Gillespie, 2014 4 Scholz, 2014; Turner, 2006; Barbrook & Cameron, 1995

181

provokante Antwort dieses Beitrags lautet: Ja, potente und weitver-

breitete algorithmische Modelle und die Unternehmen, die sie besit-

zen und bereitstellen, üben eine Form von Macht aus, die klassi-

scherweise dem modernen liberalen Staat obliegt. Das bedeutet,

dass Unternehmen wie Google, Apple, Facebook oder Amazon mit

Michel Foucault gesprochen als ›gouvernementale‹ Unternehmen

gelten können. Die staatliche Regierungspraxis gerät dabei entwe-

der in Widerspruch oder Komplizenschaft mit den algorithmischen

Modellen und den Unternehmen, die sie besitzen.

Ich werde im Folgenden zunächst knapp die kritische Diskussion

über den politischen Einfluss von Algorithmen rekonstruieren und

auf eine wichtige Leerstelle hinweisen. Anschließend führe ich die

Perspektive Foucaults ein und stelle über die Idee des Nudging einen

Bezug zum Wirken algorithmischer Modelle her. Abschließend re-

flektiere ich die zentrale Forderung der kritischen Diskussion über

Algorithmen – die Forderung nach transparenten oder ethischen Al-

gorithmen. Die Forderung, so mein Fazit, trifft nicht den politischen

Kern, weil auch transparente oder ethische Modelle eine Machtwir-

kung entfalten können, die klassischerweise dem liberalen Staat ob-

liegt. Wir müssen deshalb anders über das Politische algorithmi-

scher Modelle nachdenken.

2. Weapons of Math Destruction

Was sind Algorithmen? In der sozial- und kulturwissenschaftlichen

Forschung zu Algorithmen gibt es keine eindeutige Definition. Al-

gorithmen werden häufig als versteckte und mächtige Mechanismen

aufgefasst, die großen Einfluss auf unser Leben haben und sich

gleichzeitig nicht oder nicht vollkommen nachvollziehen lassen. Die

Problematik digitaler Algorithmen ergibt sich zu einem Großteil tat-

sächlich aus ihrer Intransparenz, die für Außenstehende selbst dann

182

schwer aufzulösen ist, wenn der Quelltext offen einsehbar ist – was

er im Fall der wirkmächtigen Algorithmen von Google oder Facebook

zudem nicht ist. Das Problem besteht aber auch in ihrem politischen

und sozialen Einfluss, der schwerer zu fassen ist. Um wesentliche

Elemente der Algorithmen-Kritik besser nachvollziehen zu können,

ist es hilfreich, zunächst den Begriff des Modells einzuführen.

In den meisten Fällen, in denen Algorithmen heute zum Gegenstand

des Interesses werden, handelt es sich um Algorithmen innerhalb

eines Modells. Das Modell ist eine bestimmte Art und Weise, ein

Problem zu operationalisieren und in bestimmte Arbeitsschritte zu

zerlegen. Erst dann kann ein Algorithmus diese im Modell festgeleg-

ten Arbeitsschritte zur Problemlösung tatsächlich umsetzen. Tarle-

ton Gillespie erinnert zu Recht an das wichtige Verhältnis von Mo-

dell und Algorithmus:

»An algorithm is a recipe composed in programmable steps;

most of the ›values‹ that concern us lie elsewhere in the tech-

nical systems and the work that produces them. For its design-

ers, the algorithm comes only after the generation of a ›model‹.

The model is the formalization of a problem and its goal, artic-

ulated in computational terms.« 5

Der Algorithmus setzt lediglich um, was im Modell spezifiziert

wurde. Wir können etwa sagen, dass der Algorithmus, der bei der

Google-Suche tatsächlich für das Ordnen von Ergebnissen zuständig

ist, nur ausführt, was im gesamten Modell als Suchvorgang spezifi-

ziert wurde. Im Suchmodell hat Google quasi festgelegt, was Suchen

eigentlich heißt. Es muss nämlich zunächst bestimmt werden, auf

welche Weisen gesucht und wie Ergebnisse geordnet werden sollen.

Ein solches Modell beantwortet immer auch sehr ›philosophische‹

Fragen, zum Beispiel: Was ist ein relevantes Suchergebnis? Was

5 Gillespie, 2016, S. 19

183

sucht der oder die Suchende wirklich? Wie funktioniert Suchen? Das

Modell muss diese Fragen oder Probleme technisch formulieren. Der

Algorithmus setzt die im Modell gemachten Annahmen dann in Er-

gebnisse um. Fast immer, wenn gegenwärtig von Algorithmen die

Rede ist, geht es eigentlich um Modelle, ihre Spezifizierung und ihre

algorithmische Ausführung.

Die wissenschaftliche und öffentliche Auseinandersetzung mit Al-

gorithmen ist in den vergangenen Jahren kritischer geworden. Die

Vorstellung, ein Algorithmus, der eine bestimmte Auswahl automa-

tisch trifft, sei neutral oder die Kriterien, nach denen er diese Aus-

wahl trifft, lediglich technische Kriterien, ist heute zunehmend

schwerer zu vermitteln. Im vergangenen Jahr hat die Mathematike-

rin Cathy O’Neil diese kritische Wendung der Diskussion mit dem

Titel ihres Buches auf den Punkt gebracht: Algorithmen sind für sie

Weapons of Math Destruction, also ›Mathevernichtungswaffen‹. Al-

gorithmen können sich ihrer Kritik nach negativ auf das Leben von

Individuen und Kollektiven auswirken. Wir können O’Neils Argu-

mentation – exemplarisch für die Argumentation vieler kritischer

Arbeiten6 – in drei Schritte zerlegen: Erstens sind die negativen Wir-

kungen, die Algorithmen entfalten können, menschengemacht, weil

Algorithmen von Personen mit Vorstellungen und Vorurteilen pro-

grammiert werden; die Auswirkungen sind, zweitens, nur schwer

nachvollziehbar, weil Algorithmen häufig als Geheimnisse von Un-

ternehmen behandelt werden; und negative Wirkungen können,

drittens, umfassend sein, weil Algorithmen mittlerweile flächende-

ckend Anwendung finden.

Der erste Schritt der Kritik an Algorithmen ist einleuchtend. Die Mo-

delle, von denen Algorithmen ein Teil sind, müssen von Menschen

6 Für eine gute Übersicht über einige kritische Arbeiten zu Algorithmen siehe

Ziewitz, 2016; Barocas, Hood & Ziewitz, 2013.

184

spezifiziert werden. Larry Page und Sergey Brin, die Erfinder der

Google-Suche, mussten sich also zu einem bestimmten Zeitpunkt

überlegen, was Suchen für sie heißt. Die Google-Suche basiert also

in gewisser Hinsicht auf den ursprünglichen Designentscheidungen,

Werten und Vorstellungen von Page und Brin. Diese Entscheidun-

gen finden ihren Ausdruck im Modell der Google-Suche. »Some of

these choices«, schreibt Cathy O’Neil dazu, »were no doubt made with

the best intentions. Nevertheless, many of these models encode human

prejudice, misunderstanding, and bias into the software systems that

increasingly manage our lives«.7 Was uns zunächst als technisches

System gegenübertritt, ist eigentlich eine bewusste Konstruktion –

eine Art und Weise ein Problem oder eine Frage zu operationalisie-

ren oder zu beantworten. Jedes Modell ist, so die Kritik, notwendig

subjektiv - oder zugespitzt: »Models are opinions embedded in mathe-

matics«.8

Der zweite Schritt lässt sich von hier aus ebenfalls leicht nachvoll-

ziehen. Die Einsicht in diese algorithmischen Modelle ist entschei-

dend, um ihren Einfluss zu bewerten. Wie etwa ließe sich prüfen, ob

das Modell der Google-Suche durch bestimmte Vorannahmen beein-

flusst wird? Wie lässt sich grundsätzlich einschätzen, ob der Algo-

rithmus beim Sortieren von Ergebnissen bestimmte Einträge syste-

matisch diskriminiert? Dazu müsste das Modell einsehbar sein oder

zumindest in einer bestimmten Form erklären können, was es ei-

gentlich tut. Die hier behandelten Algorithmen sind allerdings

durch das geistige Eigentum geschützt und nicht einsehbar – ihre

Einsehbarkeit würde etwa im Fall der Google-Suche das Geschäfts-

modell gefährden. Deshalb bleiben viele Algorithmen geheim, ihre

Funktion kann höchstens durch die Analyse der Ergebnisse nach-

träglich vermutet werden. Wie viele andere fordert Frank Pasquale

7 O’Neil, 2017, S. 3 8 O’Neil, 2017, S. 21

185

in seinem Buch ›The Black Box Society‹ deshalb die Möglichkeit, al-

gorithmische Modelle einsehen und nachvollziehen zu können:

»Without knowing what Google actually does when it ranks

sites, we cannot assess when it is acting in good faith to help

users, and when it is biasing results to favor its own commercial

interests«.9

Im Gegensatz zu diesen beiden Schritten ist der letzte Punkt der Kri-

tik weit weniger naheliegend. Der letzte Schritt des Arguments lau-

tet, dass die Effekte algorithmischer Modelle verheerend und umfas-

send sein können. Einige Modelle, so die Kritik, üben auf eine be-

stimmte, negative und umfassende Weise Einfluss aus. Dieser

Schritt ist weniger leicht nachzuvollziehen als die Tatsache, dass

viele Modelle versteckt sind und auf subjektiven Vorstellungen und

Vorurteilen basieren. Das Argument ist nicht nur, dass Modelle Ein-

fluss haben, weil sie weit verbreitet sind, etwa ein standardmäßig

genutztes Modell zur Bewertung der Kreditwürdigkeit. Sie haben vor

allem Einfluss, weil sie etwas ›tun‹. So zeigt O’Neil, dass algorithmi-

sche Modelle die Dinge performativ herstellen, die sie eigentlich

messen sollen – so wird etwa die Punktewertung, die ein Modell über

die Kreditwürdigkeit einer Person generiert, selbst zur Kreditwür-

digkeit. Das, was das Modell messen und in Form von Punkten nur

ausdrücken soll, wird zur Kreditwürdigkeit selbst: »Instead of sear-

ching for the truth, the scores come to embody it«.10 Die Aussagen von

Algorithmen wirken der Argumentation nach für Menschen und In-

stitutionen präskriptiv. Sie sind sich selbst erfüllende Prophezeiun-

gen, die soziale Realitäten konstruieren.

9 Pasquale, 2015, S. 9 10 O’Neil, 2017, S. 7

186

3. Das moderne Regierungsdenken

Wenn wir die Effekte von algorithmischen Modellen verstehen wol-

len, dann brauchen wir einen analytischen Rahmen, der die Wir-

kungsebene der Modelle in den Blick nimmt. Der Einfluss der Mo-

delle ist schwer zu fassen: Sie wirken sowohl auf den Einzelnen, der

aktiv oder passiv mit den Modellen interagiert und z.B. personali-

siert adressiert wird. Algorithmische Modelle wirken aber auf Grund

ihrer Skalierbarkeit gleichzeitig auch auf alle, da alle, die ein be-

stimmtes Modell nutzen oder von einem Modell adressiert werden,

gleichermaßen von ihm beeinflusst werden. Schließlich wirken die

Modelle eher weich oder sogar unmerklich, unter anderem weil viele

von ihnen im Hintergrund wirken oder auf freiwilliger Nutzung be-

ruhen. Was also machen algorithmische Modelle? Oder anders ge-

fragt: Wie beeinflussen uns diese Modelle?

Ich schlage vor, den Einfluss der algorithmischen Modelle mit dem

Begriff der Regierung zu fassen. Aber dafür müssen wir uns zunächst

ein Verständnis erarbeiten, was überhaupt Regierung als Modus des

Handelns sein soll. Der Regierungsbegriff, den ich vorschlage, geht

auf Foucault zurück. Die Schlüsselthemen der Arbeiten Foucaults

sind Macht, Wissen und Subjektivität. Seine zentrale These über

Macht, dass sie nämlich von überall komme, nicht von oben nach

unten verlaufe und nicht nur von den Herrschenden über die Unter-

gebenen ausgeübt werde, hat in den 1970er Jahren für Aufsehen ge-

sorgt. Mit seinen Überlegungen über die ›Mikrophysik der Macht‹11

hat sich Foucault vor allem gegen die einfache Vorstellung von sou-

veräner Macht gestellt, die in gewissem Sinne das Modell des Kö-

nigs, der über seine Untertanen herrscht, bis heute als einziges Mo-

dell von politischer Macht akzeptiert. In der politischen Theorie, so

11 Foucault, 1994, S. 38

187

Foucaults berühmte Aussage, sei der Kopf des Königs noch nicht ge-

rollt.12 Für Foucault kann Macht tatsächlich sehr unterschiedliche

Formen annehmen und auf unterschiedliche Weisen ausgeübt wer-

den.

In seinen Vorlesungen in den Jahren 1978 und 1979 wendete sich

Foucault in seinen Untersuchungen mit dem Begriff der ›Gouverne-

mentalität‹ dem modernen Staat zu und stellt sich die Frage, wie der

moderne Staat Macht ausübt. In einer historischen Rekonstruktion

zeigt Foucault, dass der moderne (neo-)liberale Staat eine neue Art

und Weise entwickelt hat, Macht auszuüben. Diese Art und Weise

unterscheidet sich von der souveränen Macht der Könige ebenso wie

von der disziplinarischen Macht eines preußischen Verwaltungs- o-

der Policeystaates. Der moderne Staat zeichnet sich für Foucault

durch drei Momente aus: Die Form der Macht ist das Regieren; das

Objekt der Regierung ist die Bevölkerung; und das Mittel der Regie-

rung ist die politische Ökonomie. So resümiert Foucault:

»Was ich Ihnen auf jeden Fall zeigen wollte, war die tiefe ge-

schichtliche Verbindung zwischen der Bewegung, welche die

Konstanten der Souveränität hinter das nun wichtigste Prob-

lem der guten Regierungsentscheidungen zurückfallen läßt, so-

dann der Bewegung, welche die Bevölkerung als eine Gegeben-

heit, als ein Interventionsfeld, als das Ziel der Regierungstech-

niken erkennen läßt, und schließlich der Bewegung, welche die

Ökonomie als spezifischen Wirklichkeitsbereich und die politi-

sche Ökonomie zugleich als Wissenschaft und Interventions-

technik der Regierung in diesem Wirklichkeitsfeld isoliert. Es

sind, denke ich, diese drei Bewegungen: Regierung, Bevölke-

12 Foucault, 2003, S. 200

188

rung, politische Ökonomie, die wohlgemerkt seit dem 18. Jahr-

hundert eine dauerhafte Serie bilden, die auch heute noch nicht

aufgelöst ist.«13

Das, was wir heute als modernen liberalen Staat bezeichnen, ist für

Foucault das Ergebnis einer historischen Entwicklung von bestimm-

ten Erkenntnissen und Wissensfeldern (etwa dem Wissen über die

Bevölkerung und deren Wohlstand) und der Entwicklung von be-

stimmten Praktiken (etwa der Statistik, der öffentlichen Gesund-

heit). Wenn wir uns fragen, was das Spezifische an der modernen

Politik ist, dann müssen wir nach Foucault diese historisch entstan-

dene Form untersuchen. »Auch die Politik im engeren Sinne der Re-

gierung von Subjekten«, so fasst Martin Saar Foucaults These zu-

sammen, »ist eine moderne ›Erfindung‹, die von neuen Medien der

Machtausübung und neuen Vorstellungen über die Regierbarkeit

von Menschen abhängt«14.

Der etwas kryptische Begriff der ›Gouvernementalität‹ (vom franzö-

sischen ›gouverner‹ und dem englischen ›to govern‹) gibt einen Hin-

weis darauf, dass das kennzeichnende Merkmal der modernen Staat-

lichkeit das Regieren ist. Foucault rekonstruiert die Idee der Regie-

rung historisch und zeigt, dass der Begriff sehr lange Zeit keine ex-

klusiv politische Bedeutung hatte. Regieren war »weder mit staatli-

chen Institutionen identisch noch auf das politische System be-

schränkt, sondern bezog sich auf die unterschiedlichsten Formen

der Führung von Menschen«.15 Heute allerdings ist der Begriff der

Regierung fest mit der Tätigkeit des Staates verknüpft. Im Gegensatz

zur königlichen Herrschaft und der disziplinarischen Ordnung geht

13 Foucault, 2006a, S. 161–162 14 Saar, 2007, S. 35 15 Lemke, Krasmann & Bröckling, 2000, S. 10

189

es bei der Regierung darum, die Regierten als Handelnde anzuerken-

nen. Regieren bezeichnet den Versuch, auf das Handeln der Regier-

ten einzuwirken, ohne dabei die Freiheit der Regierten vollständig

zu negieren. Die Regierung »bietet Anreize, verleitet, verführt, er-

leichtert oder erschwert, sie erweitert Handlungsmöglichkeiten oder

schränkt sie ein, sie erhöht oder senkt die Wahrscheinlichkeit von

Handlungen, und im Grenzfall erzwingt oder verhindert sie Hand-

lungen, aber stets richtet sie sich auf handelnde Subjekte, insofern

sie handeln oder handeln können. Sie ist auf Handeln gerichtetes

Handeln«.16 Mit anderen Worten: Regierung bezeichnet den unab-

lässigen Versuch, das Handeln von freien Subjekten zu beeinflussen,

zu lenken und zu steuern, ohne dabei die Freiheit von Subjekten auf-

zuheben.17

Wichtig ist für Foucault, dass der moderne Staat nur deshalb diese

Form der Machtausübung entwickeln konnte, weil sich ein neues

Ziel für die Praktiken der Regierung gebildet hat: die Bevölkerung.

Mit dem Aufkommen der Statistik im 18. Jahrhundert entstand für

die Regierungspraxis die Bevölkerung als Interventionsfeld, das sich

durch Kennziffern wie Sterberate, Geburtenrate, Gesundheit, Bil-

dung usw. auszeichnete. Ohne die Bevölkerung als zumindest sta-

tistische Realität hätte die Regierung keinen Adressaten für ihre Re-

gierungstätigkeit gehabt. Die Bevölkerung tritt »schlechthin als der

höchste Zweck der Regierung zutage; denn was mag im Grunde ge-

16 Foucault, 2005b, S. 286 17 Für Foucaults Argument über den historischen Ursprung dieser Machtform im

christlichen Pastorat, auf den ich hier nicht näher eingehe, siehe neben

Foucault selbst vor allem Bröckling, 2017, S. 15–45. Auch gehe ich hier nicht

genauer auf den von Foucault genannten Aspekt der politischen Ökonomie

ein, den er in Form des Neo- und Ordoliberalismus vor allem im zweiten Teil

der Vorlesungen zur Gouvernementalität behandelt, siehe Foucault, 2006b.

190

nommen der Zweck dieser letzteren sein? Sicherlich nicht zu regie-

ren, sondern das Geschick der Bevölkerung zu verbessern, ihre

Reichtümer, ihre Lebensdauer, ihre Gesundheit zu mehren«.18

Wir können also festhalten, dass Regieren für Foucault die charak-

teristische Form der Machtausübung moderner liberaler Staaten ist.

Das Objekt der Regierung ist die Bevölkerung, die Machtausübung

ist deshalb zugleich individualisierend und totalisierend – sie wirkt

zugleich auf die Einzelnen und die Bevölkerung.19 Nehmen wir etwa

sozialstaatliche Maßnahmen wie die Einführung einer allgemeinen

Krankenversicherung oder öffentlicher Kinderbetreuung: Regieren

heißt hier, sowohl den Einzelnen zu beeinflussen, der plötzlich ver-

sichert ist oder Kinderbetreuung erhält, als auch Effekte auf der

Ebene der Bevölkerung zu erzielen (etwa eine niedrigere Sterberate,

höhere Geburtenrate etc.). Diese Form der Machtausübung ist für

Foucault im Kern das, was demokratische, liberale Staaten auszeich-

net: Der Staat regiert die Bevölkerung.

4. Regieren Algorithmen?

Auch abseits der explizit an Foucault anschließenden Gouverne-

mentalitätsstudien hat sich das Regierungsparadigma verbreitet.

Die Idee eines ›libertären Paternalismus‹, der vor allem von den Ver-

haltensökonomen Cass Sunstein und Richard Thaler vorgeschlagen

wurde, nimmt die Grundidee des Regierungsparadigmas indirekt

auf. Was Foucault als charakteristische Machtform des modernen

Staates bezeichnet, heißt für den libertären Paternalismus

Nudging.20 Mit der Idee des Nudging wollen die Autoren den Wider-

spruch zwischen der freien Entscheidung von Individuen und dem

18 Foucault, 2006a, S. 158 19 Foucault, 2005a 20 Thaler & Sunstein, 2009

191

Einfluss auf diese Entscheidungen lösen – ein Nudge, so die Idee,

lenkt zwar das Verhalten von Individuen, aber er schränkt dabei

nicht ihre Freiheit ein. Wenn man davon ausgeht, dass sich Men-

schen zwar gut verhalten wollen, aber es nicht immer schaffen, dann

ist es keine Beschneidung ihrer Freiheit, ihnen dabei zu ›helfen‹ sich

›richtig‹ zu entscheiden. Deshalb ist ein freiheitlicher Paternalismus

für Sunstein und Thaler kein Oxymoron.21 Man muss in den meisten

Fällen nur ganz sanft auf das Handeln der Menschen einwirken, um

in der Summe einen großen positiven Effekt zu erzielen. Möchte

man etwa die gesunde Ernährung an der Schule fördern – so ein be-

liebtes Beispiel der Vertreter – reicht es schon, das Obst in der Aus-

lage der Mensa nach vorne zu legen und den Pudding nach hinten zu

stellen.22 Ohne die Freiheit der Einzelnen eingeschränkt zu haben,

konnten die Menschen zu einer besseren, gesünderen Entscheidung

gelenkt werden.

Egal wer nudgt – ob der Staat oder Unternehmen – die Idee des

Nudging entspricht ziemlich genau dem, was Foucault als charakte-

ristische Form der Machtausübung des modernen Staates bestimmt

hat: Es ist auf Handeln einwirkendes Handeln, das im besten Fall

nicht nur das Verhalten von Individuen beeinflusst, sondern auch

zum Ziel hat, Effekte auf der kollektiven Ebene (Bevölkerung, Beleg-

schaft, Schülerschaft etc.) zu produzieren. Nudging richtet sich

ebenso wie staatliches Regieren auf den Wohlstand des kollektiven

Akteurs, wie die vielen Beispiele von Sunstein und Thaler zeigen: Es

geht in jedem Fall darum, gesünder zu leben, Geld zu sparen oder

für das Alter vorzusorgen. Der libertäre Paternalismus kann weich

und fast unbemerkt das Leben von Menschen durch leichtes ›An-

stupsen‹ beeinflussen.23

21 Sunstein & Thaler, 2003 22 Thaler & Sunstein, 2003, S. 175 23 Bröckling, 2017, S. 189

192

Der Zusammenhang von Foucaults Regierungsperspektive und der

Idee des Nudging ist trotz der gebotenen Kürze der Rekonstruktion

bereits an dieser Stelle in zwei Hinsichten bemerkenswert. Erstens

nimmt die Bedeutung des Nudging in dem Maße zu, in dem statisti-

sche Wissensbestände nicht mehr exklusiv dem Staat zugänglich

sind. Mit der Verbreitung von Computern und Sensoren sowie der

Entwicklung und Nutzung des Internets werden vielfältige statisti-

sche Daten produziert und nutzbar auch für nichtstaatliche Instan-

zen. Nudging braucht Daten über das Verhalten einer Population,

anders als im 19. und 20. Jahrhundert sind diese Informationen

heute in vielen Fällen nicht mehr allein dem Staat vorbehalten.

Zweitens ist nicht nur ein präzises Wissen über diejenigen nötig, die

beeinflusst werden sollen, sondern es muss auch Gelegenheiten ge-

ben, sie zu beeinflussen. An der Schnittstelle dieser zwei Feststel-

lungen kommen die algorithmischen Modelle ins Spiel. Sie können

heute, erstens, mit einer Unmenge von Daten umgehen – nichts An-

deres ist die Einsicht des schillernden Begriffs Big Data. Und zwei-

tens schafft die allgemeine Verbreitung, Nutzung und Vernetzung

von Computern zahllose Möglichkeiten, genudged zu werden. »Je

mehr Spuren jemand hinterlässt«, so schließt Ulrich Bröckling,

»desto präzisere Stupser können die selbstlernenden Maschinen set-

zen, und desto genauer erkennen die Einzelnen ihre Präferenzen da-

rin wieder. Jeder bekommt, was er will, nach Maßgabe dessen, was

er bis jetzt gewollt hat«.24 Was die Diskussion zum Nudging grundle-

gend zeigt, ist, dass heute nicht nur der Staat regieren kann, sondern

im Grunde jeder, der die entsprechenden Mittel besitzt (Daten, po-

tente Modelle und Zugang zur Population).

Um zur Ausgangsfrage – Regieren Algorithmen? – zu kommen,

möchte ich das Beispiel der Google-Suche anführen. Die von Google

24 Bröckling, 2017, S. 193

193

bereitgestellte Suchmaschine ist vielleicht das Modell, mit dem

Menschen am meisten interagieren. Obwohl der genaue Wortlaut

des von Google entwickelten Algorithmus ›PageRank‹ geheim ist, ist

bekannt, dass es auf einem einfachen Prinzip aufbaut: der Rele-

vanz.25 Immer wenn eine Suchanfrage bei Google eingegeben wird,

entscheidet ein Algorithmus darüber, was als Ergebnis der Anfrage

angezeigt wird. Der Erfolg der Suchmaschine von Google beruht da-

rauf, dass während der Suche gewertet wird, welche der gefundenen

Seiten relevant sind. Die Platzierung (Relevanz) eines Links in der

Ergebnisreihenfolge ergibt sich aus seiner Gewichtung (PageRank),

die wiederum anhand einer speziellen Methode aus der Verlin-

kungsstruktur im World Wide Web abgeleitet wird.

Die Bedeutung der Verbreitung und des Erfolgs der Suchmaschine

von Google wird zumeist auf zwei Weisen bewertet. Einmal wird der

mit der Suchmaschine eingeläutete kulturelle Wandel benannt. Die

Google-Suche hat einen Wandel hin zu einer Kultur der Suche initi-

iert, der unseren Zugriff auf Wissen grundsätzlich verändert hat.26

Wissen und die Praxis der Suchanfrage werden in diesem Kulturwan-

del zunehmend synonym. Zweitens haben bereits im Jahr 2000 He-

len Nissenbaum und Lucas Introna auf die politischen Effekte des

Modells der Google-Suche hingewiesen. Für sie sorgt die hegemoni-

ale Stellung, die die Google-Suche hat, dafür, dass die Dinge, die in

der Suche nicht gefunden werden, praktisch nicht existieren. Das In-

ternet wird gewissermaßen identisch mit dem, was die Google-Su-

che als relevante Ergebnisse ausgibt. Sie schließen: »what people (the

seekers) are able to find on the Web determines what the Web consists

of for them«.27 Die politische Bedeutung der Google-Suche besteht

also in der performativen Konstruktion von (gesellschaftlicher)

25 Pasquale, 2015, S. 64; in rudimentärer Form: Brin & Page, 1998 26 Hillis, Petit & Jarrett, 2013 27 Introna & Nissenbaum, 2000, S. 171

194

Wirklichkeit, die O’Neil ebenfalls für die Wertung von Modellen zur

Kreditvergabe zeigt: Statt die Google-Suche als einen Zugriff auf das

im Internet befindliche Wissen zu begreifen und die Ergebnisse so

einzuschätzen, werden die Ergebnisse selbst zu dem Wissen, das sie

eigentlich nur abbilden sollen.

Obgleich das kulturelle und das politische Argument überzeugend

sind, lässt die Regierungsperspektive noch einen grundlegenderen

Schluss zu: Das Modell der Google-Suche lenkt unsere Aufmerksam-

keit mehr oder weniger weich auf die als relevant eingestuften Er-

gebnisse einer Suchanfrage. Google tritt hier als wohlwollender In-

formationsdienstleister auf, der zweifellos ein für die meisten Men-

schen nützlichen Service anbietet. Das Nudging der Google-Suche ist

jedoch offensichtlich: Alle Ergebnisse zu einer bestimmten Suchan-

frage sind für uns potenziell einsehbar – aber wir werden durch die

Spezifizierung des Modells und die Funktion des Algorithmus darauf

gelenkt, zunächst oder ausschließlich (je nach individueller Aus-

dauer) die als relevant gewichteten Ergebnisse zur Kenntnis zu neh-

men. Damit kommt der Google-Suche aber auch ein beispielloses

Steuerungsvermögen zu, das bislang zu wenig beachtet wurde. Mitt-

lerweile nutzt die Google-Suche unzählige weitere Regierungsmo-

mente, etwa die Anzeige von Suchvorschlägen oder bestimmte Stan-

dardeinstellungen abhängig von der Suchhistorie oder dem Stand-

ort.

5. Das Problem mit der Forderung nach

ethischen Algorithmen

Bevor wir die politischen Implikationen der Regierungsperspektive

für die Kritik algorithmischer Modelle diskutieren, möchte ich auf

die Forderung nach ethischen Algorithmen in der kritischen Diskus-

sion über algorithmische Modelle eingehen. »We have to explicitly

195

embed better values into our algorithms«, fordert etwa O’Neil, »crea-

ting Big Data models that follow our ethical lead. Sometimes that will

mean putting fairness ahead of profit«.28 Die Forderung nach ethi-

schen Algorithmen findet sich gegenwärtig vor allem in zwei For-

men. Am häufigsten findet sie sich als Forderung nach Transparenz.

Transparenz ist, wie Mike Ananny anmerkt, die Forderung, Modelle

überhaupt auf ihre, auch ethischen, Implikationen einschätzen zu

können.29 Da die völlige Transparenz von algorithmischen Modellen

konträr zu der gegenwärtigen Praxis großer Unternehmen steht, die

ihre Modelle wie Staatsgeheimnisse behandeln, hat sich eine zweite

Forderung nach der Erklärbarkeit algorithmischer Entscheidungen

entwickelt. In einem jüngst erschienen Artikel zeigen Finale Doshi-

Velez und Andere, dass es grundsätzlich möglich ist, eine Art Re-

chenschaftsschicht oder -funktion in Modelle einzubauen, die, ohne

die Geheimnisse der Algorithmen preiszugeben, erklärt, wie be-

stimmte Ergebnisse der Modelle zustande gekommen sind.30

Die Utopie hinter dieser Forderung ist, dass wir im Zweifelsfall Er-

klärungen für automatisch getroffene Entscheidungen erhalten.

Entweder dadurch, dass die Modelle ›befragt‹ werden können und

Rechenschaft über ihr Handeln geben. Oder dadurch, dass ihre

Funktionsprinzipien vollkommen transparent sind. Diese Tatsache

kennen wir vor allem von freier Software, bei der jede und jeder den

Quelltext von Anwendungen einsehen kann, etwa beim Betriebssys-

tem Linux oder dem Webbrowser Firefox. Genau hier liegt allerdings

das Problem der Forderung nach ethischen Algorithmen. Wenn wir

noch einmal die drei Schritte der Kritik an den Weapons of Math De-

struction bemühen – sie sind vorurteilsbehaftet, versteckt und um-

28 O’Neil, 2017, S. 204; auch: Kraemer u. a., 2011 29 Ananny, 2016 30 Doshi-Velez u. a., 2017

196

fassend –, dann löst die Forderung nach ethischen Algorithmen al-

lein die ersten beiden Probleme. Es lassen sich verzerrende oder dis-

kriminierende Aspekte der Modelle aufzeigen und das Wirken der

Modelle wird transparenter. Allerdings können auch ethische oder

transparente Modelle weiterhin umfassende gesellschaftliche Wir-

kungen entfalten. Der Einfluss der Modelle wird durch die Transpa-

renz oder ihr ethisches Design keineswegs geschmälert.

Wenn wir als Grundproblem die ›Regierungstätigkeit‹ algorithmi-

scher Modelle nehmen, dann löst weder die Transparenz noch das

ethische Design das Problem, dass Google mit der Google-Suche die

Möglichkeit hat, im globalen Maßstab auf eine große Zahl von Men-

schen Einfluss zu nehmen. Dieses Grundproblem sieht auch O’Neil

die feststellt, dass Facebook ein großes Machtpotenzial über politi-

sche Entscheidungen besitzt.31 Obgleich die Unternehmen über ihre

Modelle die Macht hätten, politische Prozesse bewusst und miss-

bräuchlich zu ihrem eigenen Gunsten entscheidend zu beeinflussen,

gibt es nach O’Neil bislang noch keine Anzeichen dafür, dass sie dies

auch tatsächlich tun würden. Aber ebenso wenig, wie sich das

Machtpotenzial des Staates durch den letztendlichen Rückgriff auf

das Gewaltmonopol realisiert, so wenig besteht die Macht von

Google oder Facebook darin, durch ihre Dienste bewusst den Aus-

gang von Wahlen in ihrem Interesse zu beeinflussen. Die Bedeutung

der Modelle besteht vielmehr in der faktischen und sanften Regie-

rung, also Lenkung der Nutzenden.

Die Regierungsperspektive nach Foucault erlaubt uns, die Macht des

liberalen Staates als die Regierung der Bevölkerung zu verstehen.

31 O’Neil, 2017, S. 181. Für das in dieser Hinsicht interessante, vieldiskutierte

Beispiel des Micro Targeting auf Facebook während der US-Präsidentschafts-

wahl 2016 durch das Unternehmen Cambridge Analytica siehe Nosthoff &

Maschewski, 2017.

197

Mit den Überlegungen zum Nudging können wir sehen, wie dieses

Regieren seine staatliche Exklusivität einbüßt. Vor dem Hinter-

grund potenter algorithmischer Modelle, die auf einen schier un-

endlichen Fundus an Daten zurückgreifen können, entsteht die

Möglichkeit, diese Macht des liberalen Staates etwa auf Unterneh-

men wie Google oder Facebook zu übertragen. Genau hierin besteht

die fundamentale politische Bedeutung dieser Modelle, die perfor-

mativ gesellschaftliche Wirklichkeit konstruieren können, wie Lucas

Introna noch einmal herausstellt: »Their actions are not just in the

world, they make worlds«.32 Dieser politische Einfluss wird durch

Ethik und Transparenz nicht berührt. Entscheidend ist somit, was

wir mit Foucault als ›Gouvernementalisierung‹ von Unternehmen

wie Google oder Facebook bezeichnen können. Das heißt, dass Un-

ternehmen, die im Besitz verbreiteter algorithmischer Modelle sind,

zunehmend das tun, was eigentlich dem modernen Staat vorbehal-

ten war, nämlich die Regierung ihrer ›Bevölkerung‹, die Regierung

ihrer ›Nutzerschaft‹.33

6. Schluss

Was bedeutet es zu behaupten, dass Algorithmen oder algorithmi-

sche Modelle regieren, und zwar sanft und ohne großen Lärm?34 Ich

32 Introna, 2016, S. 27 33 Intronas Arbeit ebenso wie andere Arbeiten, die versuchen die Gouver-

nementalität von Algorithmen zu bestimmen, etwa Borch, 2017; Flyverbom,

Madsen & Rasche, 2017; Aradau & Blanke, 2017, konzentrieren sich sehr

stark auf die konkrete ›Regierungswirkung‹ von bestimmten Modellen ohne

die historische Dimension von Foucaults Argument zu reflektieren.

Interessanter als zu zeigen, dass bestimmte Modelle als gouvernementale

Regierungspraktiken verstanden werden können, ist doch die Frage, was

genau es politisch bedeutet, wenn diese Modelle Einfluss gewinnen. 34 Bunz, 2012

198

möchte abschließend nur auf eine von vielen Konsequenzen zu spre-

chen kommen, nämlich auf das Verhältnis von staatlicher Regierung

und der Regierung durch private Unternehmen wie Google. Aus ei-

ner demokratietheoretischen Perspektive, die Foucault zweifellos

fern liegt, lässt sich auf die zentrale Diskrepanz zwischen einer de-

mokratisch legitimierten staatlichen und einer ökonomisch legiti-

mierten privaten Form der Regierung hinweisen. Während die Re-

gierung demokratischer Staaten durch bestimmte Verfahren legiti-

miert wurde, ist die Regierung durch Google oder Facebook nicht de-

mokratisch legitimiert. Im letzteren Fall ließe sich lediglich darauf

verweisen, dass ihre Nutzung zumindest theoretisch nicht alterna-

tivlos ist und von Individuen ›frei‹ gewählt wird. Es gibt Alternativen

zu Google und Facebook. Das Problematische an dieser Überlegung

stellen jedoch aktuelle Arbeiten zum Plattformkapitalismus oder der

Plattformökonomie heraus. Ein Vorschlag in dieser Diskussion lau-

tet, Unternehmen wie Google und Facebook grundsätzlich als Platt-

formen zu verstehen, die versuchen, in einem bestimmten Bereich

eine Monopolstellung zu erreichen. Sobald das Unternehmen oder

der Service eines Unternehmens einen kritischen Punkt überschrei-

tet und sich als Plattform etabliert, ist sie praktisch alternativlos.35

Frank Pasquale hat in diesem Zusammenhang darauf hingewiesen,

dass die Strategie der Plattformen eben genau darin besteht, nicht

als Marktteilnehmer aufzutreten, sondern als Regulatoren oder eben

Regierungen.36

Wir sehen hier, wie die konkrete Machtform der Regierung, die sich

bei algorithmischen Modellen mit sehr hohem Verbreitungsgrad

zeigt, demokratietheoretisch zunehmend problematisch wird. Algo-

rithmische Modelle wie das der Google-Suche treten in Konkurrenz

35 Srnicek, 2017; Kenney & Zysman, 2016; Langley & Leyshon, 2016; auch

Lovink, 2017 36 Pasquale, 2016, S. 314-315

199

zur staatlichen Regierung, weil beide im Endeffekt darauf zielen,

ihre Bevölkerung oder ›Nutzerschaft‹ zu regieren. Das Bereitstellen

von konkreten Services durch private Akteure erhält eine besondere

politische Relevanz, wenn diese Services ihrer tatsächlichen Nut-

zung und Bedeutung nach den Charakter öffentlicher Infrastruktu-

ren erlangen. Gerade mit Foucault können wir sehen, dass es hier

um eine wirkliche Machtverschiebung geht. Wenn wir den moder-

nen Staat als ›Regierungsstaat‹ betrachten, der die tatsächliche Re-

gierung der Bevölkerung zum Gegenstand hat, dann sehen wir, wie

und warum algorithmische Modelle und die Unternehmen, die sie

besitzen, zur Konkurrenz der staatlichen oder öffentlichen Regie-

rung werden.

Für die Kritik algorithmischer Modelle, die wir hier als Weapons of

Math Destruction untersucht haben, heißt das, nicht allein auf die

diskriminierenden oder versteckten Aspekte der Modelle zu

schauen. Vielmehr müssen wir über die politische Wirkung der Mo-

delle sprechen. Wir müssen etwa darüber nachdenken, unter wel-

chen Bedingungen algorithmische Modelle mit einer bestimmten

Reichweite und Wirkmacht entwickelt und angewendet werden soll-

ten. Und: Sollten sie außerhalb von öffentlichen oder genossen-

schaftlichen Strukturen existieren? Wenn das Geschäftsmodell von

›gouvernementalen‹ Unternehmen wie Google darin besteht, ihre al-

gorithmischen Modelle als öffentliche Infrastruktur zu etablieren,

dann muss man dieses Ansinnen vielleicht ernst nehmen und sie tat-

sächlich als öffentliche Infrastruktur institutionalisieren. Das hieße

aber auch, das Politische nicht der technischen Entwicklung und ei-

ner ›Ethik der Machbarkeit‹ unterzuordnen, sondern zunächst die

Frage zu stellen, wie wir leben wollen.

200

Quellen

Ananny, M. (2016). Toward an Ethics of Algorithms: Convening, Observa-

tion, Probability, and Timeliness. Science, Technology, & Human Values 41

(1), S. 93–117

Aradau, C. & Blanke, T. (2017). Politics of Prediction: Security and the

Time/Space of Governmentality in the Age of Big Data. European Journal of

Social Theory 20 (3), S. 373 – 391

Barbrook, R. & Cameron, A. (1995). The Californian Ideology.

http://s.fhg.de/xkS, abgerufen am 15.01.2018

Barocas, S., Hood, S. & Ziewitz, M. (2013). Governing Algorithms: A Provo-

cation Piece, SSRN Electronic Journal. http://s.fhg.de/JqD, abgerufen am

15.01.2018

Borch, C. (2017). Algorithmic Finance and (Limits to) Governmentality: On

Foucault and High-Frequency Trading. Le foucaldien 3 (1)

Brin, S. & Page, L. (1998). The Anatomy of a Large-Scale Hypertextual Web

Search Engine« In: Seventh International World-Wide Web Conference

(WWW 1998). Brisbane, Australia. http://s.fhg.de/bfu, abgerufen am

15.01.2018

Bröckling, U. (2017). Gute Hirten führen sanft. Über Menschenregierungs-

künste. Suhrkamp, Berlin

Bunz, M. (2012). Die stille Revolution: Wie Algorithmen Wissen, Arbeit, Öffent-

lichkeit und Politik verändern, ohne dabei viel Lärm zu machen. Suhrkamp, Ber-

lin

Doshi-Velez, F., Kortz, M., Budish, R., Bavitz, C., Gershman, S., O’Brien, D.,

Schieber, S., Waldo, J., Weinberger, D. & Wood, A. (2017). Accountability of

AI Under the Law: The Role of Explanation arXiv:1711.01134 [cs, stat], No-

vember. http://arxiv.org/abs/1711.01134, abgerufen am 15.01.2018

Flyverbom, M., Koed Madsen, A., und Rasche, A. (2017). Big Data as Govern-

mentality in International Development: Digital Traces, Algorithms, and Al-

tered Visibilities. The Information Society 33 (1), S. 35–42

Foucault, M. (1994). Überwachen und Strafen. Die Geburt des Gefängnisses.

Suhrkamp, Frankfurt am Main

201

Foucault, M. (2003). Gespräch mit Michel Foucault, A. Fontana und P.

Pasquino. In: Defert, D. & Ewald, F. (Hrsg.), Schriften in vier Bänden. Dits et

Ecrits. Band III. 1976-1979, S. 186–213. Suhrkamp, Frankfurt am Main

Foucault, M. (2005a). ›Omnes et singulatim‹: zu einer Kritik der politischen

Vernunft. In: Schriften in vier Bänden. Dits et Ecrits. Band IV. 1980-1988, her-

ausgegeben von Daniel Defert und François Ewald, 165–199. Suhrkamp,

Frankfurt am Main

Foucault, M. (2005b). »Subjekt und Macht«. In Defert, D. & Ewald, F. (Hrsg.),

Schriften in vier Bänden. Dits et Ecrits. Band IV. 1980-1988, S. 269–294. Suhr-

kamp, Frankfurt am Main

Foucault, M. (2006a). Sicherheit, Territorium, Bevölkerung. Geschichte der

Gouvernementalität I. Vorlesungen am Collège de France 1977-1978. Suhr-

kamp, Frankfurt am Main

Foucault, M. (2006b). Die Geburt der Biopolitik. Geschichte der Gouvernemen-

talität II. Vorlesungen am Collège de France 1978-1979. Suhrkamp, Frankfurt

am Main

Gillespie, T. (2014). The Relevance of Algorithms. In Media Technologies. Es-

says on Communication, Materiality, and Society, herausgegeben von Tarleton

Gillespie, Pablo J. Boczkowski, & Kirsten A. Foot, 167–194. The MIT Press.

Gillespie, T. (2016). Algorithm. In: Peters, B. (Hrsg.), Digital Keywords. A Vo-

cabulary of Information Society and Culture, S. 18–31. Princeton Studies in

Culture, Princeton

Hillis, K., Petit, M., und Jarrett, K. (2013). Google and the Culture of Search.

Routledge, New York/London

Introna, L. D. (2)016. Algorithms, Governance, and Governmentality: On

Governing Academic Writing. Science, Technology, & Human Values 41 (1),

S. 17–49

Introna, L. D., & Nissenbaum, H. (2000). Shaping the Web: Why the Politics

of Search Engines Matters. The Information Society 16 (3), S. 169–185

Kenney, M., & Zysman, J. (2016). The Rise of the Platform Economy. Issues

in Science and Technology 32 (3), S. 61–69

Kraemer, F., van Overveld, K. & Peterson, M. (2011). Is There an Ethics of

Algorithms? Ethics and Information Technology 13 (3), S. 251–260.

202

Langley, P., & Leyshon, A. (2016). Platform Capitalism: The Intermediation

and Capitalisation of Digital Economic Circulation. Finance and Society, Sep-

tember 2016, S. 1–21.

Lemke, T., Krasmann, S. & Bröckling, U. (2000). Gouvernementalität, Neo-

liberalismus und Selbsttechnologien. Eine Einleitung. In: Bröckling, U.,

Krasmann, S. & Lemke, T., Gouvernementalität der Gegenwart. Studien zur

Ökonomisierung des Sozialen, S. 7–41. Suhrkamp, Frankfurt am Main

Lovink, G. (2017). Im Bann der Plattformen. Die nächste Runde der Netzkritik.

transcript, Bielefeld

Morozov, E. (2012). The Net Delusion: How Not to Liberate The World. Pen-

guin, London

Nosthoff, A.-V., & Maschewski, F. (2017). ›Democracy as Data‹? – Über

Cambridge Analytica und die ›moralische Phantasie‹. Merkur Blog.

http://s.fhg.de/T2z, abgerufen am 15.01.2018

O’Neil, C. (2017). Weapons of Math Destruction. How Big Data Increases Ine-

quality and Threatens Democracy. Penguin, London

Pariser, E. (2012). The Filter Bubble: What the Internet Is Hiding From You.

Penguin, London

Pasquale, F. (2015). The Black Box Society. The Secret Algorithms That Control

Money and Information. Harvard University Press, Cambridge

Pasquale, F. (2016). »Two Narratives of Platform Capitalism«. Yale Law &

Policy Review 35 (309), 309–19.

Saar, M. (2007). Macht, Staat, Subjektivität. Foucaults Geschichte der Gou-

vernementalität im Werkkontext. In Krasmann, S. & Volkmer, M. (Hrsg.),

Michel Foucaults »Geschichte der Gouvernementalität« in den Sozialwissen-

schaften. Internationale Beiträge, S. 23–47. transcript, Bielefeld

Scholz, N. (2014). Nerds, Geeks und Piraten. Digital Natives in Kultur und

Politik. Texte zur Zeit 4. Bertz + Fischer, Berlin

Srnicek, N. (2017). Platform Capitalism. Polity, Cambridge

Sunstein, C. R. & Thaler, R. H. (2003). Libertarian Paternalism Is Not an Ox-

ymoron. The University of Chicago Law Review 70 (4), S. 1159–1202

203

Thaler, R. H. & Sunstein, C. R. (2003). Libertarian Paternalism. The American

Economic Review 93 (2), S. 175–179

Thaler, R. H. & Sunstein, C. R. (2009). Nudge. Improving Decisions About

Health, Wealth and Happiness. Penguin, London

Turner, F. (2006). From Counterculture to Cyberculture: Stewart Brand, the

Whole Earth Network, and the Rise of Digital Utopianism. University of Chi-

cago Press, Chicago

Ziewitz, M. (2016). Governing Algorithms: Myth, Mess, and Methods. Sci-

ence, Technology, & Human Values 41 (1), S. 3–16

Danksagung

Für hilfreiche Anmerkungen und Hinweise zu früheren Versionen

dieses Beitrags danke ich Alex Janßen, Clelia Minnetian, Malte Möck

und Frederik Metje.

Über den Autor

Janosik Herder

Janosik Herder hat in Bremen und Göteborg Politikwissenschaft stu-

diert. Er ist wissenschaftlicher Mitarbeiter an der Universität Osna-

brück im Arbeitsgebiet Politische Theorie. Seine Forschungsschwer-

punkte sind neuere politische Theorie, Poststrukturalismus und Kri-

tische Theorie. In seiner Dissertation beschäftigt er sich aus genea-

logischer Perspektive mit Informationstheorie, Kybernetik und

Kryptographie und fragt nach dem Politischen des informationellen

Denkens.