Dies war eine solche Einstellung von Malcolm Gladwell zur Datenwissenschaft. Ich denke, dieses Buch berührt ein wichtiges Thema, und die Leute sollten sich der Themen bewusst sein, die O'Neil diskutiert. Aber anstatt tief in das Thema einzutauchen, fühlte es sich einfach wie eine Liste schlechter Algorithmen mit Instanzen der Menschen an, die sie verletzt haben. Es enthielt nicht viele Beispiele für "Massenvernichtungswaffen", von denen ich noch nicht gehört hatte, und das könnte daran liegen, dass sie die New York Times für * wie * alle ihre Fallstudien zitierte.

Als jemand, der auf dem Gebiet arbeitet, glaube ich nicht, dass dieses Buch auf mich ausgerichtet war. Es war nicht technisch oder spezifisch genug. Da ich ihren Hintergrund kannte, wollte ich wirklich, dass sie sich mit der Mathematik hinter den Algorithmen befasst. Ich weiß, dass sie dazu in der Lage ist, aber ich denke, sie hat sich stattdessen dafür entschieden, ein breiteres Publikum anzusprechen. Das ist cool ... außer ich denke, sie hat auch keine großartige Arbeit geleistet, weil diesem Buch der notwendige Kontext fehlte, um Leuten, die mit dem Gebiet nicht vertraut sind, einen Überblick darüber zu geben, wie maschinelles Lernen und Analytik normalerweise funktionieren.

Letztendlich dachte ich, das Buch fühle sich unkonzentriert an, und es zeigte sich in der Schlussfolgerung, wo eine Reihe ziemlich lächerlicher Empfehlungen innerhalb von etwa 15 Seiten vorgeschlagen wurden. Sie hat eine starke Meinung zu den Themen, die sie in dem Buch behandelt hat. Obwohl ich fast allen zustimme, ist das nicht der Punkt. Das Buch soll sich mit den Algorithmen befassen, und stattdessen nimmt sie uns mit auf eine Tour durch eine Sammlung von geschäftlichen und politischen Verfehlungen und erklärt, dass die Lösung darin besteht, "Werte in unsere Algorithmen zu kodieren". Wut. Lassen Sie die Logistik beiseite ... wenn die Leute, die die Codierung durchführen, Ihre Werte nicht teilen (und dies eindeutig nicht), warum sollten sie das tun? O'Neil selbst stellte in vielen Fällen eine Fehlausrichtung der Anreize fest, insbesondere wenn die Datenarbeit an andere Parteien vergeben wurde. Ihnen zu sagen, dass sie Werte haben und ihre Verträge ruinieren sollen, wird offensichtlich nicht fliegen! Sie können nicht das ganze Buch fürchten und dann denken, dass alles fröhlich sein wird, wenn wir den Hippokratischen Eid der Datenwissenschaft ablegen.

Ich glaube nicht, dass es einfache Antworten gibt, und ich denke, es ist in Ordnung, das zuzugeben. Das Mitnehmen sollte gewesen sein, dass Data Science nicht besser ist als Menschen ... weil es Menschen sind. Wir haben die Algorithmen so erstellt, dass sie die gesamte Bandbreite der Anwendungsfälle abdecken und alle Graustufen demonstrieren, die wir selbst zeigen (ja, alle fünfzig).

TL; DR - Boo. Ich habe mehr von dir erwartet, O'Neil.

O'Neil verdient auf Anhieb Anerkennung dafür, dass sie nicht bis zu ihrem Ausscheiden aus dem Hedgefonds gewartet hat, in dem sie daran gearbeitet hat, uns die Geheimnisse der Verwendung von Big Data durch Unternehmen zu verraten (unser Daten). Der Erfassung und Nutzung von Big Data liegt der Versuch zugrunde, die Effizienz auf dem Markt für Waren, Geld und Talente zu nutzen. Big Data kann uns angeblich auch von Zeitbeschränkungen und ungleichmäßiger Wissensverbreitung „befreien“. Umgekehrt ist oft das Gegenteil der Fall. Wir sind der Gnade ausgeliefert, wie unsere eigenen Daten vernichtet und verpackt werden, und Fehler im Modell können eine gegenseitig zugesicherte Zerstörung bedeuten - für die Schule, das Unternehmen, die Familie.

Das Buch beginnt mit Beispielen, die jeder Leser, der dieses Buch tatsächlich zum Lesen aufgegriffen hat, erkennen könnte: die Chancen, an eine große Universität zu gelangen. O'Neil geht nicht auf die eigentlichen Algorithmen ein, sondern erklärt nur die Variablen, die zum Auffüllen der Algorithmen ausgewählt wurden. Gerade als ich mich gefragt habe, an wen sich dieses Buch richtet, da wir schließlich schon wissen, wie man an die Universität kommt, hat sie Beispiele für Big Data entwickelt, die mit Bestrebungen zu tun haben, die (hoffentlich nicht) in unserer Zukunft liegen.

Sie befasst sich mit der eigentlichen Qual von Mindestlohnjobs, bei denen sich die unzureichenden Teilzeitstunden ständig ändern, um die Gewinne für die Eigentümer zu maximieren und die Fähigkeit der Mitarbeiter zu verbessern, ihr Leben, das Leben ihrer Kinder und das des Kinderbetreuers zu planen Leben. O'Neil ging auf die Situation im Jahr 2009 ein, als Amex beschloss, das Risiko der Nichtzahlung von Kreditkarten zu verringern, indem die Kreditobergrenzen für Benutzer gesenkt wurden, die in bestimmten Geschäften wie Walmart einkauften. Sie zeigt uns, wie Micro-Targeting Daten verwendet, um Ungleichheiten in Bezug auf Chancen und „soziales Kapital“ aufrechtzuerhalten.

Der schwierigste Teil beim Lesen dieses Buches (es gibt keine wirkliche Mathematik) bestand darin, mich auf das zu konzentrieren, was O'Neil sagte. Jedes Mal, wenn sie ein anderes Beispiel für die Art und Weise erwähnte, wie Big Data uns durcheinander brachte, wanderten meine Gedanken zu eigenen Erfahrungen oder solchen, die ich von Freunden, meiner Familie oder anderen gehört hatte. Dies ist echtes Zeug, und gerade als ich dachte, dass es ein ausgezeichnetes Buch für diejenigen mit Fähigkeiten und Interesse an sozialer Gerechtigkeit wäre, ein Interview mit Google, Amazon oder einer großen Bank zu führen, kommt sie mit einem anderen Beispiel, wie das "Fixes" sind fast schlimmer als die Krankheit (Facebooks Methode, mit der Ihre Freunde Ihr Kreditrisiko bestimmen).

Aber O'Neil erinnert uns daran, dass Big Data, Mathematik, Algorithmen usw. nicht verschwinden werden."Data is not going away. Nor are computers—much less mathematics. Predictive models are, increasingly, the tools we will be relying on to run our institutions, deploy our resources, and manage our lives. But as I’ve tried to show throughout this book, these models are constructed not just from data but from the choices we make about which data to pay attention to—and which to leave out. Those choices are not just about logistics, profits, and efficiency. They are fundamentally moral."Genau. Wir müssen immer noch unser Gehirn benutzen, nicht nur unsere Computer. Es ist wichtig, dass wir Moral in den Prozess einbringen, sonst ist es auf die eine oder andere Weise immer grundsätzlich unfair, insbesondere wenn die Absicht besteht, den Gewinn für ein Unternehmen auf Kosten eines anderen zu steigern. Man kann einfach nicht genug Variablen oder Besonderheiten einschließen. Einige Universitäten haben begonnen, die Algorithmen zu prüfen - wie das Transparency and Accountability Project von Princeton -, indem sie sich als Menschen mit unterschiedlichem Hintergrund tarnen und sehen, welche Art von Behandlung diese Personen von Online-Vermarktern erhalten.

O'Neil schlägt vor, dass Daten manchmal effektiv genutzt werden können, indem frustrierte Online-Kommentatoren mit Lösungen für ihre Probleme angesprochen werden: dh Informationen zu erschwinglichem Wohnraum oder indem mögliche Bereiche des Missbrauchs von Arbeitsplätzen oder Kindern herausgesucht und dieser Bereich mit Ressourcen angesprochen werden. Sie geht auf nationale Wahldaten ein und stellt fest, dass nur Swing-Staaten die Aufmerksamkeit der Kandidaten auf sich ziehen, was übrigens darauf hindeutet, dass das Wahlkollegium seine Nützlichkeit für die Bürger überlebt hat. Algorithmen werden weder Gerechtigkeit noch Demokratie verwalten, wenn wir nicht einen Weg finden, sie als Instrument zu nutzen, um Ungleichheiten auszurotten und Wege zu finden, um die benötigten Dienste dort bereitzustellen, wo sie mangelhaft sind.

Wenn ich mir die Gesamtheit dessen ansehe, was O'Neil besprochen hat, neige ich dazu zu glauben, dass dieses Buch am besten für nachdenkliche Highschooler und Studenten im College-Alter gedacht ist, die über eine Karriereplanung nachdenken und eine Vorliebe für Mathematik und Computermodellierung haben und die glauben, ihr Traumjob könnte bei einem Online-Riesen sein. Ich würde mich freuen, von dieser Vorstellung abgelehnt zu werden, wenn jemand meinen Gedanken in Frage stellen möchte, dass viele dieser Informationen vielen von uns bekannt sind, die eine Weile nicht zur Schule gegangen sind und auf unsere Online-Erfahrungen und Junk-Mails geachtet haben Anfragen. Aber es ist immer interessant, jemanden zu lesen, der so kohärent und auf der Seite der sozialen Gerechtigkeit steht wie Frau O'Neil.

Es könnte angemerkt werden, dass Jaron Lanier in Wem gehört die Zukunft? (2013) spricht auch über die Verwendung von Big Data, um unser Denken zu steuern, und macht einen vorläufigen Vorschlag, dass Einzelpersonen für ihre Daten bezahlt werden sollten - für Daten, die über sie gesammelt werden, mit Gewinn. Es ist auch eine interessante Diskussion. Lieben Sie diese Schnittstellen von Technologie und Menschlichkeit.

Faszinierend. Aufschlussreich. Und wichtig. Eine 50,000-Fuß-Ansicht davon, wie automatisiert Big Data ein großartiges Werkzeug zum Verständnis der menschlichen Natur ist. Wie vielversprechend es ist, unser Leben leichter zu machen. Und doch ist eine sehr reale Abnahme der Art und Weise, wie Systemingenieure - und korrupte Machtsuchende wie Unternehmensleiter und gewinnorientierte Universitäten - dieses leistungsstarke Tool missbrauchen. Und die noch schlimmeren Fälle, in denen Menschen mit guten Absichten beginnen, wie das Befreien von Schulsystemen von schlechten Lehrern, nur um "falsche Negative" herauszuwerfen.

Ich fand Cathy O'Neils "Weapons of Math Destruction" ein sehr wichtiges Buch, das viel von dem hervorhebt, was in den letzten 30 oder 40 Jahren in Amerika vor sich ging. Zum Beispiel habe ich gerade "The New Jim Crow" beendet und mich gefragt, wie der Oberste Gerichtshof weiterhin zugunsten von Kriminalpolizei-Taktiken entscheiden würde, die 1) auf arme städtische Gebiete abzielen - bevölkert von überwiegend schwarzen Männern - und 2) die Polizei zulassen die Fähigkeit, Menschen wohl oder übel aufzuhalten, die sie als "verdächtig" empfanden - trotz der Tatsache, dass Minderheiten in Stop-and-Frisk-Situationen gefangen sind, während die meisten unschuldig um ihr Leben gehen. Das Problem ist, dass viele dieser Menschen wegen lästiger Verbrechen ins Gefängnis gehen - sie besitzen kleine Mengen Marihuana, öffnen Container, fahren auf abgelaufenen Tags usw. Dinge, die die genaue Definition von "systematischem Rassismus" zu sein scheinen.

Aber wenn O'Neil darlegt, wie Systemingenieure Algorithmen geschrieben haben, die die Polizei an "Hot Spots" schicken, sind diese Entscheidungen sinnvoll. Zum Beispiel sind große Verbrechen, die wir alle stoppen wollen - Autodiebstahl, Einbruch, Vergewaltigung, Körperverletzung und Mord - selten. Während geringfügige und lästige Verbrechen - Jaywalking, Besitz von Unkraut, Lärmverletzungen, Vandalismus usw. - häufig sind. Basierend auf dem Gesetz der großen Anzahl würde ein Programm, das versucht, die Polizeiarbeit für "zerbrochene Fenster" zu optimieren, mehr Beamte in einen Bezirk mit einer höheren Konzentration von Menschen, typischerweise Ghettos, schicken. Was zu mehr geringfügigen Verhaftungen in den Gebieten wegen Mist führt, der nicht viel ausmacht. Das schickt noch mehr Polizisten in diese Gebiete und macht mehr Verhaftungen wegen geringfügiger Verstöße ... und so weiter und so fort.

Kurz gesagt, diese Ghettos befinden sich in einer negativen Rückkopplungsschleife. Und die Bewohner landen eher wegen etwas Dummem im Gefängnis. Wie das Rauchen von Drogen, das nach den meisten Beweisen bei Weißen genauso hoch ist wie bei Schwarzen. So kann ein weißer 19-jähriger Bruder im Bundesstaat Ohio nach Belieben rauchen, ohne dass die Möglichkeit besteht, erwischt zu werden. Während ein nahe gelegener Ghettobewohner, der in der Instandhaltung oder im Büro der Universität arbeitet oder die Universität besucht, während er zu Hause lebt, eine größere Wahrscheinlichkeit hat, verhaftet zu werden. Nur basierend darauf, wo sie leben.

Gleiches Verbrechen - Gebrauch von Betäubungsmitteln. Zwei unterschiedliche Ergebnisse.

Das ist es, was O'Neill als "Waffe der mathematischen Zerstörung" bezeichnet. Da es allgegenwärtig, destruktiv und undurchsichtig ist.

Und es wird schlimmer, wenn die beiden hypothetischen Drogenraucher verhaftet werden. Die Chancen stehen gut, dass die Eltern des weißen Verbindungsjungen in einem sicheren Vorort wohnen und somit keine verurteilten Straftäter kennen. Daher wird seine vom Gericht festgelegte Punktzahl für "Rückfall" - erreicht durch eine andere zerstörerische mathematische Waffe - niedriger sein als die des Ghettobewohners, der in der Nähe vieler Verbrecher lebt. Auf diese Weise können die Gerichte die Anklage der Verbindungsjungen auf ein Vergehen verringern, während sie den Ghettobewohner eines Verbrechens beschuldigen. Aufgrund dieser Rückfallbewertung.

Sprechen Sie darüber, jemanden zu treten, wenn er unten ist.

Und als beide auf Bewährung freigelassen wurden und befohlen wurden, "sich von Verbrechern fernzuhalten". Der Verbindungsjunge wird danach keine Probleme haben. Während das Ghettokind, auch dank der oben erwähnten Polizeisoftware, von ihnen umgeben sein wird. Dies erhöht natürlich das bereits benachteiligte Risiko, als Bewährungshelfer eingestuft zu werden.

Klatschen.

O'Neill beschreibt andere Möglichkeiten, wie Systemingenieure Ungerechtigkeiten aufrechterhalten können. Sie nimmt gewinnorientierte Universitäten - wie die University of Phoenix - ab, die sich aktiv an arme Menschen mit Bestrebungen wenden. Nicht zu helfen, da ein Abschluss an der Universität von Phoenix zehnmal mehr kostet als ein Community College-Abschluss, während weniger Gehalt hinzugefügt wird. Stattdessen existieren die University of Phoenix und ihre Kollegen, um die von der Regierung garantierten Studentendarlehen einzulösen.

Ja. Arme Menschen, die es nicht besser wissen, werden von Unternehmen angesprochen, die ihnen weniger geben und ihnen mehr in Rechnung stellen. Mit datengesteuerter Webwerbung, einer weiteren Waffe der mathematischen Zerstörung, alles für ein schnelles Geld.

Dies sind nur einige wenige Massenvernichtungswaffen, die O'Neill untersucht. Sie befasst sich mit anderen Kredit-Scoring, E-Scoring (eine Art elektronischer "Kredit-Score", die von Ihnen basierend auf Ihren Social-Media-Freunden und -Aktivitäten abgeleitet wurde), den USA Today College-Rankings, die zu steigenden Studiengebühren geführt haben und gleichzeitig einen fragwürdigen Wert bieten.

All diese Massenvernichtungswaffen führen zu einer zunehmenden sozialen Schichtung. Und in vielerlei Hinsicht den Unsinn "Winner take all" vorantreiben, der einer Handvoll Entwickler, die eine App programmieren, viel Geld einbringt.

Aber das Schöne ist, dass O'Neill am Ende wertvolle Einblicke gibt, wie Deep-Dive-Statistiken bei richtiger Verwendung tatsächlich Menschen helfen können. Zum Beispiel war O'Neill Teil einer Task Force, die Obdachlose in New York untersuchte. Sie deckten die einzige eindeutige Variable auf, die die Menschen von den Straßen fernhalten würde - den Zugang zu Wohnungen in Abschnitt 8. Und sobald diese Leute untergebracht waren, würden sie weiterziehen, um Arbeit zu finden - da ein stabiler Wohnsitz es einfacher macht, eine Beschäftigung zu finden. Und damit weniger wahrscheinlich auf der Straße zu landen. Und all diese Forschungen kamen zu einer Zeit, als Bürgermeister Bloomberg überlegte, die Wohnverhältnisse in Abschnitt 8 zu reduzieren. Es ist also wichtig.

Sie weist auch auf andere positive Anwendungen von Algorithmen hin, die alle darauf hindeuten, dass unsere mitfühlende, auf Menschen basierende Moral dem Auftreten objektiver, messbarer Effizienz vorausgeht - wobei "Aussehen" das maßgebliche Wort ist. Da macht O'Neill die Kosten für das Befolgen dieser Algorithmen klar.

Alles in allem ist "Weapons of Math Destruction" das beste Wissenschaftsbuch, das ich über 2016 gelesen habe. Es konzentriert sich nicht nur darauf, was wir tun können - die Wissenschaft und wie sie die Dinge effizienter macht - sondern zwingt uns dazu Konzentrieren Sie sich auf die Ethik, das "Warum". Wir wählen möglicherweise eine weniger effiziente Alternative, da diese gerechter sein kann. Besonders wenn man ein Modell blind akzeptiert, degeneriert es oft zu "Pseudowissenschaften". Und diese anti-wissenschaftliche Erzählung kann verstärkt werden, wenn die Person, die die Massenvernichtungswaffen ausübt, entweder gierig oder böswillig ist.

5 Sterne.

Das heißt ... YAY !!! Dies ist mein 80. Buch des Jahres. Also habe ich gerade mein Ziel erreicht.

"Willkommen auf der dunklen Seite von Big Data." Damit schließt der Autor den Einführungsabschnitt dieses Buches ab. Computer und das Internet haben es uns ermöglicht, in die neue Welt der Algorithmen und Big Data einzusteigen, mit Auswirkungen, die die meisten Menschen nicht kennen.

Surfen im Internet, Klicken auf "Gefällt mir" in Facebook, Googeln (Online-Suche) und Online-Einkäufe sind gängige Beispiele, bei denen Big Data unser Leben entweder verfolgt und möglicherweise beeinflusst. Einige davon sind gutartig und können hilfreich sein. Aber dieses Buch konzentriert sich scharf in die andere Richtung, auf die "schädlichen Beispiele, die Menschen in kritischen Lebensmomenten betreffen, aufs College gehen, Geld leihen, zu Gefängnisstrafen verurteilt werden, einen Job finden und halten. All diese Lebensbereiche werden zunehmend geheim gehalten Modelle mit willkürlichen Strafen. "

Eine der schockierendsten Informationen in diesem Buch sind die Beispiele dafür, wie Big Data zur wirtschaftlichen Ungleichheit beiträgt. Es ist verheerend, wie effizient private Hochschulen und Zahltagdarlehensunternehmen auf den wirtschaftlich belasteten Teil der Bevölkerung abzielen. Es ist auch erstaunlich, wie häufig Einschränkungen und Mängel von Big Data ignoriert und die Wahrheit ersetzt werden. Es ist fast komisch, wie Big-Data-Systeme von cleveren Institutionen und Unternehmen manipuliert werden können (auch bekannt als Gaming the System).

Ob es uns gefällt oder nicht, dies ist die neue Welt, in der wir alle leben. Die Bürger dieser neuen Umgebung müssen sich mit der Funktionsweise von Big Data auskennen. Sonst werden wir alle seine ahnungslosen Opfer sein.

Das Folgende sind einige Zitate aus dem Buch.

Das Folgende sind die Schlusssätze der Einleitung:Big data has plenty of evangelists, but I'm not one of them. This book will focus sharply in the other direction, on the damage inflicted by WMDs and the injustice they perpetuate. We will explore harmful examples that effect people at critical life moments, going to college, borrowing money, getting sentenced to prison, finding and holding a job. All these life domains are increasingly controlled by secret models wielding arbitrary punishments. Welcome to the dark side of big data.Im Folgenden definiert die Autorin einige der Mängel, die sie bei der Verwendung von Big Data festgestellt hat.More and more I was worried about the separation between technical models and real people and about the moral repercussions of that separation. In fact I saw the same pattern emerging that I had witnessed in finance, a false sense of security was leading to widespread use of imperfect models, self-serving definitions of success, and growing feedback loops. Those who objected were regarded as nostalgic Luddites. Der Autor arbeitete während des finanziellen Zusammenbruchs 2008 bei einem Hedgefonds. Als sie sich dem Bereich der Modellierung von Verbraucherdaten zuwandte, suchte sie nach Fehlern bei der Verwendung von Daten, die denen ähnelten, die zur Kreditkrise führten. I wondered what the analog to the credit crisis might be in big data. Instead of a bust I saw a growing dystopia with inequality rising. The algorithms would make sure that those deemed losers would remain that way. A lucky minority would gain evermore control over the data economy raking in outrageous fortunes and convincing themselves all the while that they deserved it. Das Folgende ist die Zusammenfassung des Autors am Ende des Buches. In this march through a virtual lifetime we've visited school and college, courts and the work place, even the voting booth. Along the way we have witnessed the destruction caused by WMDs. Promising efficiency and fairness, they distort higher education, drive up debt, spur mass incarceration, pummel the poor at nearly every juncture, and undermine democracy. Die Autorin Cathy O'Neil ist hochqualifiziert (sie hat in Harvard in Mathematik promoviert), hat Berufserfahrung innerhalb des Systems gesammelt (ein „Quant“ bei DE Shaw - einem großen Hedgefonds) und hat sich weiterentwickelt ein Aktivist der "Occupy Wall Street". Daher verfügt sie über die erforderlichen Erfahrungen und Qualifikationen, um zu erklären, wie sich Big Data auf unser Leben auswirkt. Es werden Informationen benötigt.

Ted Talk des Autors:
https://embed.ted.com/talks/cathy_o_n...

Cathy O'Neil war die Gewinnerin des MAA Eurler Book Prize 2019:
https://www.maa.org/programs-and-comm...

Ist es legitim, Personen auf die Daten zu reduzieren, die aus ihnen extrahiert werden können?

Bitte beachten Sie, dass ich den deutschen Originaltext am Ende dieser Rezension eingefügt habe. Nur wenn Sie interessiert sein könnten.

Insbesondere die durch Big Data ermöglichten Vorhersagen sind ein erschreckender Aspekt, sodass Verhalten und persönliche Entwicklung mit zunehmender Wahrscheinlichkeit vorhergesagt werden können. Ebenso wie jede künstliche Intelligenz werden die Algorithmen und Programme immer effizienter, sowohl parallel zur wachsenden Datenmenge über das Individuum als auch durch die Optimierung der Funktionsweise.
Ob Gewohnheiten, Kaufverhalten, Facebook-Likes, Bewegungsmuster, Schreibstil, Krankheiten, Eingaben von Suchmaschinen, politische Aktivitäten, berufliche Aspekte oder soziale Kontakte - alles fließt in einem großen Gedächtnis zusammen.

Besonders explosiv ist die Fähigkeit, das Wahlverhalten bestimmter Bevölkerungsgruppen genau vorherzusagen und damit Wahlwerbung noch gezielter anzusprechen. Es eröffnet auch die Möglichkeit, Gruppen zu manipulieren, die eher für das Wettbewerbslager verantwortlich sind, und Desinformation und Fehlinformation für ihre Sensibilisierung und Entscheidungsfindung zu verwenden. Auch außerhalb der Wahlen bieten die Datenmengen vielversprechende Perspektiven für die Beeinflussung von Meinungen, Fakten, Trends und Stimmungsbarometern.

Die subtilen digitalen Eingabeaufforderungen werden kaum als solche erkannt. Die Informationen werden automatisch in Form von Funktionen zur automatischen Vervollständigung und Vorschlägen, den individuell zusammengestellten Suchergebnissen und Kaufempfehlungen basierend auf dem vorherigen Kaufverhalten gekürzt. Darüber hinaus auf die individuellen Interessen oder die zu formende Meinung gerichtet. Auch was Sie eingeben und dann wieder löschen oder auch überarbeiten und ändern, wird gespeichert.

Dies kann als optimistisch, praktisch, zeitsparend und entlastend und hilfreich bei der Arbeit angesehen werden. Alternativ als indirekte Art der Beeinflussung, über die nur der Pflichtverbrauch so optimiert wie möglich gefördert wird. Als Alternative zum Angebot maßgeschneiderter Produkte besteht die Möglichkeit, sich bewusst nur auf bestimmte Informationen und Neuigkeiten zu konzentrieren. Damit unpopuläre und nervige Berichte, Meinungen und Aktivisten absichtlich nicht einmal in den höheren Ergebnisbereichen angezeigt werden. Nur die Schere im Kopf und die Diffamierung sofort überspringen und direkt zur Zensur übergehen.

Perfide ist die spielerische Art und Weise, wie kostenlose Angebote den Verbraucher anlocken. Zum Beispiel eine Gesundheitsanwendung für Smartphones, mit der man in Echtzeit mit Freunden konkurriert, an der auch Versicherungen und Krankenversicherungen interessiert sein sollten. Diese praktischen kostenlosen Programme bieten Unternehmen eine unterhaltsame, wettbewerbsfähige und benutzerorientierte Option Zugriff auf Standort-, Interessen- und Verhaltensdaten der Benutzer.

Das Buch ist eine ausgezeichnete Vorspeise mit dem Vorteil eines geweckten Interesses an einer möglichen Vertiefung des Studiums des Themas durch weitere und detaillierte, verwandte Literatur.
Angesichts der Gesamtsituation ein lohnendes Unterfangen. Entgegen der Apathie und dem Desinteresse großer Bevölkerungsgruppen war die Tatsache geschuldet, dass es zu weit kommen könnte. Ohne den lang erwarteten Aufschrei in allen Schichten der Zivilgesellschaft könnte also noch viel mehr passieren.

In westlichen Ländern sind soziale Netzwerke, Suchmaschinen und Internet-Händler nur daran interessiert, das Kaufverhalten zu manipulieren und Daten zu sammeln, um es zu monetarisieren. Die Richtung Chinas mit dem Citizen Score dürfte Nachahmer finden. Dann würden die willkürlichen und fahrlässig offengelegten Daten nicht mehr nur den Preis eines Produkts oder der nächsten Werbebanner bestimmen. Allerdings über Ihre Zukunft und vielleicht Ihr Überleben oder Tod. Zum Beispiel, wenn Sie die Regierung kritisieren.

Ist es legitim, Menschen auf die Daten zu hören, die sich aus ihnen extrahieren lassen?

Gerade die durch Big Data möglich werdenden Prognosen stellen einen erschreckenden Aspekt dar, sich selbst Verhalten und persönliche Entwicklung auf diese Weise doch mit immerwährenden voraussagen. Und wie jede mögliche persönliche Intelligenz wird die Rechte und das Programm auch parallel zu den gleichen Datenmengen über die persönliche Person als auch durch die Funktionen der Funktionsweise immer. Obtragen, Kaufverhalten, Facebook Likes, Bewegungsmuster, Schreibstil, Krankheiten, Suchmaschineneingaben, politische Rechte, soziale Aspekte oder Sozialkontakte, alles was in einem großen Speicher zusammen.

Es ist wichtig, dass die Rechte, die Wahlbefugnisse der Interessengruppen, die Rechte und die Wahlwerbung noch der Zielgerichteter adressieren zu können. Es heißt auch die Option, eher dem Konkurrenzlager anzureklare Gruppen Gruppent mittels Des- und Falschinformation in ihrer Bewusstseinsbildung und in der Manipulation. Auch abseits von Wahlen bieten die Datenmengen verheißungsvolle Perspektiven für die Beeinflussung von Interessen, Fakten, Trends und Stimmungsbarometern.

Dabei werden die subtilen, digitalen Souffleure nur schwerlich als auch erkannt. In Form von Autovervöllständigungs- und Vorschlagfunktionen werden die gemeinsamen zusammengesetzten Suchergebnisse und auf das frühere Kaufverhalten der Kaufempfehlungen die Informationen behandelt beschnitten. Und auf die Interessen Interessen oder die zu prägende Meinung hin gelenkt. Selbst war Mann eintippt und dann wieder löscht oder noch entschieden und reagiert, wird zu.
Das kann optimistisch als angenehm, zeitsparend und die Arbeit überprüft werden. Oder als eine indirekte Art der Beeinflussung, über die vorerst nur der Konsumzwang möglichst optimiert wird wird. Alternativ zur Angebotserstellung auf die Leib geschneiderten Produkte können sich die Option beziehen, nurt Informationen und Nachrichten in den Fokus kommen zu lassen. Damit missliebige und lästige Berichte, Interessen und Beziehungen, die nicht erst in den ersten Folgenrängen geworden sind. Sondern die Schere im Kopf und Diffamierung gleich zu überspringen und direkt zur Zensur gegebenuschreiten.

Perfide ist die spielerische Kunst und Weise, mit dem Konsument durch Gratisangebote geködert wird. Zum Beispiel einer Gesundheitsapplikation für Smartphones war der Versicherungsschutz und die Krankenkassen auch die Sicherheit. Diese neuen kostenlosen Programme wurden für ein Unternehmen, einen Standort, eine Interessen- und Verhaltensdaten der Benutzer zu kommen.

Das Buch ist ein guter Appetitmacher, mit dem Interesse an einem etwaigen Vertiefung der Beschäftigung mit dem Thema durch weiterführende und auf persönliche Aspekte gegebene Literatur geweckt wird. Unterschied der Gesamtsituation ein erstrebenswertes Unterfangen. Entgegen der, der Apathie und Desinteresse breiter Bevölkerungsgruppen geschuldeten Tatsache, dass es so weit kommen kann. Und ohne lange st fälligen quer durch alle Schichten der Zivilgesellschaft gehenden Aufschrei, noch viel weiter gehen.

In den letzten Ländern sind die politischen Rechte, Suchmaschinen und Internethändler nur der Manipulation des Kaufverhaltens und der Abwicklung von Daten zu unseren Monetarisierung. Die Richtung, die etwa China mit dem Citizen Score geht, dürfte Nachahmer finden. Dann werden die willkürlich und fahrsteuerig preisgegebenen Daten nicht nur mehr über den Preis eines solchen oder des anderen Werbebanners. Sondern über die eigene Zukunft und auch das eigene Leben oder Sterben. Wenn man etwa die Regierung regiert.

Dieses Buch hat gute Arbeit geleistet und die Modellierung umfangreicher Daten und ihre Fallstricke auf sehr leicht zugängliche Weise beschrieben. Es ist so einfach, sich Computeralgorithmen als unvoreingenommen vorzustellen. Der Autor zeigt jedoch, wie sie wirklich diskriminieren. Wenn ich das nächste Mal eine Klasse mit Statistik unterrichte, kann ich dieses Buch verwenden, um den Schülern zu zeigen, wie gefährlich es ist, blind an die Zahlen zu glauben.

Der Untertitel dieses Buches, Wie Big Data die Ungleichheit erhöht und die Demokratie bedroht sagt wirklich alles. Big Data ist auf vielfältige Weise in unser Leben gekommen, und viele von ihnen sind eine Geißel in unserem Leben. Big Data an und für sich ist nicht schuld, aber die Verwendungszwecke sind oft unverschämt. Nehmen Sie den Fall automatisierter Lehrerauswertungen. Diese basieren häufig auf der Verbesserung der Punktzahlen der Schüler. Es scheint ein Kinderspiel zu sein, und da die Ergebnisse die berücksichtigen Verbesserung Anstelle der absoluten Punktzahlen scheinen sie sehr fair zu sein. Ein New Yorker Lehrer erhielt jedoch ein Jahr lang eine miserable Punktzahl von 6 (von 100), und im folgenden Jahr erhielt er eine wunderbare Punktzahl von 96. Offensichtlich verbesserte der Lehrer seine Unterrichtsmethoden nicht plötzlich.

Wenn ein Mathematiker die Ergebnisse solcher Bewertungen analysieren würde, würde ihre zufällige Streuung sofort als bedeutungslos erkannt. Diese automatisierten Bewertungen werden jedoch sowohl für Einstellungs- / Entlassungsentscheidungen als auch für Entschädigungsentscheidungen verwendet. Das Schlimmste ist, dass es keinen Versuch gibt, die Algorithmen zu verbessern. Die in diesen Bewertungen verwendeten Algorithmen sind undurchsichtig, und es wird kein Versuch unternommen, Feedback anzuwenden, um die Bewertungen zu optimieren, um sie genauer und fairer zu machen.

Solche Algorithmen werden in vielen Lebensbereichen eingesetzt. Kredit-Scores werden von Kreditunternehmen verwendet - und sogar von Autoversicherungsunternehmen! Polizeibehörden verwenden Algorithmen, um die Ausrichtung der Polizeiaktivitäten zu planen, während Gerichte Algorithmen verwenden, um Rückfälle vorherzusagen. Colleges, insbesondere gemeinnützige Colleges, verwenden Algorithmen, um potenzielle Studenten anzusprechen.

Obwohl dieses Buch sehr predigend und sehr liberal wirkt, macht es einige sehr gute Punkte. Big Data wird häufig - absichtlich oder nicht - verwendet, um Betroffene zu bestrafen und die Ungleichheit zu erhöhen. Rentabilität ist normalerweise das Ziel, und während Fairness oft das angebliche Ziel ist, haben diese Algorithmen selten den Effekt, fair zu sein.

Ich empfehle dieses Buch Menschen, die neugierig auf die Auswirkungen von Big Data auf ihr Leben und die Demokratie sind.

Wir betrachten Mathematik gerne als grundsätzlich rein und frei von den schlimmsten Nebenwirkungen der menschlichen Natur. Und diese Reinheit reibt sich ab - je näher eine Wissenschaft der Beschreibung in Zahlen kommt, desto höher sehen wir sie -, so wird die Physik als irgendwie höher als die Biologie und die Wirtschaft als die Anthropologie angesehen. Das heißt, wenn Sie das Verhalten auf der Grundlage eines Algorithmus vorhersagen können - sei es das Verhalten einer Billardkugel oder eines Obdachlosen -, dann ist dies die richtige Wissenschaft und sie hat den Anspruch auf eine Art objektive Wahrheit, von der sie abweicht herausgefordert werden.

Und genau darum geht es in diesem Buch - es soll dazu beitragen, diese Illusion zu zerstören, insbesondere in Bezug auf die Geisteswissenschaften, aber auch und vielleicht noch wichtiger in Bezug auf Marketing, Versicherungen, Polizeiarbeit, Bildung und andere soziale Aktivitäten, die zunehmend stattfinden durch Algorithmen modelliert und sogar normalisiert werden. Sie bezeichnet diese Algorithmen im Titel als die Waffen der mathematischen Zerstörung (der Titel ist natürlich besser auf Englisch, wo wir Mathe sagen, anstatt Mathe, aber ihr Punkt steht).

Die Zerstörung, die solche Algorithmen verursachen können, wurde ihr klar, als sie kurz vor dem Absturz 2008 im Finanzbereich arbeitete. Es ist sicher nicht so, dass sie Mathe selbst als Problem ansieht, sie bezeichnet sich selbst fast sofort als eine Art Mathe-Nerd und stolz auf diese Bezeichnung. Ihr Punkt ist, dass diese Algorithmen gefährlich sind, weil wir sie eher als rein objektiv betrachten und daher die Ergebnisse, die sie liefern, außer Frage stehen. Und dieser Zustand wird nicht nur durch die Tatsache unterstützt, dass wir die Mathematik so hoch schätzen. Es wird durch die Tatsache unterstützt, dass die Algorithmen, die diese Einschätzungen von uns ausspucken, oft dunkel, unfair und exponentiell wachsen. Dies sind die drei Bedingungen, von denen der Autor glaubt, dass sie einen Algorithmus zu einer wahrscheinlichen Massenvernichtungswaffe machen.

Ist der Algorithmus also dunkel, wenn man sich diese wiederum ansieht? - und die meisten von ihnen sind, wie sie einmal sagte, für viele Unternehmen die „Spezialsauce“ und müssen daher vor der Konkurrenz verborgen bleiben. Wenn Sie beispielsweise einen Algorithmus haben, mit dem Sie vorhersagen können, wer ein idealer Partner für eine andere Person sein wird, werden Sie mit Ihrer Dating-Site viel Geld verdienen. Sie werden Ihre Konkurrenz kaum wissen lassen wollen, dass Sie geheim sind. Das Problem ist jedoch, dass Sie, indem Sie Ihren Algorithmus dunkel und vor externen Analysen verborgen halten, fast alles sagen können, was Sie über seine Wirksamkeit mögen, wenn dann niemand in der Lage ist, dies zu überprüfen. Weißt du, dies ist eine Version der Geschichte "Sie können wählen, wie sie wollen, solange ich zählen kann".

Aber es ist nicht nur Betrug, der hier das Problem ist - obwohl das nicht bedeutet, dass Betrug kein Problem ist. Ebenso schlecht ist die Idee, dass diese Modelle oft ihre falschen Negative begraben. Das heißt, wenn der Algorithmus sagt: "Beschäftigen Sie niemals jemanden mit grünen Augen, er ist unterdurchschnittlich", wird das Unternehmen, das diesen Rat befolgt, wahrscheinlich nie herausfinden, ob dies zutrifft oder nicht. Das liegt daran, dass sie niemanden mit grünen Augen zum Testen des Modells eingestellt haben - daher wird das Modell standardmäßig bestätigt. Das Problem ist, dass viele der verwendeten Algorithmen - beispielsweise bei der Polizeiarbeit - die Überpolizei bestimmter Bevölkerungsgruppen fördern können (dies ist in den USA festgelegt, nennen wir diese bestimmten schwarzen, hispanischen und muslimischen Bevölkerungsgruppen einfach, um Zeit zu sparen). Polizeiarbeit, indem bestimmte Bevölkerungsgruppen auf diese Weise definiert werden, schafft wahrscheinlich auch das Monster, das sie eigentlich eliminieren sollten. Ein schönes Beispiel ist ein Algorithmus, der Menschen Jobs gemäß ihrer Kreditwürdigkeit verweigert, was bedeutet, dass diese Menschen weniger in der Lage sind, ihre Schulden zu bezahlen, was ihnen eine schlechtere Kreditwürdigkeit verleiht, was dann den Risiko-Teufelskreis bestätigt, den jemand hat?

Andere Beispiele konzentrieren sich auf die Verwendung von psychometrischen Tests für alle möglichen Dinge, jedoch zunehmend als Test vor der Einstellung. Sie könnten denken, dass diese relativ einfach zu spielen sein sollten - Sie wissen, wie dumm müssten Sie sein, um auf die Aufforderung "Ich fliege manchmal ohne wirklichen Grund vom Griff" mit "sehr wahr" zu antworten. Sie wissen, wenn Sie nicht als Wrestler arbeiten, wird Ihr Arbeitgeber von dieser Antwort wahrscheinlich nicht sonderlich beeindruckt sein. Aber wie sie betont, werden Bewerber, zum Beispiel für einen Job bei McDonalds, manchmal gebeten, zwischen einer von zwei Alternativen zu wählen: „Es ist schwierig, fröhlich zu sein, wenn es viele Probleme gibt, um die man sich kümmern muss - oder - manchmal, ich Ich brauche einen Schub, um mit meiner Arbeit zu beginnen. “ Ich habe keine Ahnung, was die "richtige" Antwort auf diese Wahl ist. Ich bin mir nicht einmal sicher, welcher der beiden wirklich auf mich zutrifft - obwohl es Zeiten in meinem Leben gegeben hat, in denen beide und ich auch in Ihrem Leben vermutet haben. Das heißt, es ist überhaupt nicht klar, was damit erreicht werden soll, aber es ist klar, dass es wahrscheinlich eine „falsche“ Antwort gibt, in dem Sinne, dass Sie bei dieser „Wahl“ möglicherweise arbeitslos werden.

Aber selbst dieses Maß an Dunkelheit ist nicht ihre Hauptsorge (zumindest wissen Sie, dass Ihnen hier eine Frage gestellt wurde, die möglicherweise gegen Sie verwendet wird) - aber es ist zu oft einfach, Faktoren zu korrelieren, um sicherzustellen, dass bestimmte Personen aufgrund ausgeschlossen werden zu ihrem Geschlecht, ihrer Sexualität, ihrer Rasse, ihrer sozialen Klasse und so weiter, nur durch die zugrunde liegenden Annahmen derjenigen, die diese Algorithmen programmieren - und die Algorithmen sind keine "objektiven" Beispiele für die Reinheit der Mathematik, sondern eher sozial erzeugte Ephemera, die wahrscheinlich sind wurden von den sozialen Stereotypen der Gesellschaft und den Menschen, die sie produzieren, geprägt.

Der Autor erwähnt die merkwürdige Tatsache, dass Orchester jetzt fünfmal so viele Spielerinnen ernennen, seit mit dem Spieler hinter einem Vorhang Vorsprechen abgehalten wurden. Wer hätte gedacht, dass Frauen so viel besser spielen würden, wenn sie nicht zu sehen wären? Solche schüchternen und zurückgezogenen kleinen Dinge, segne sie ...

Die Lösung besteht darin, sicherzustellen, dass die zur Beurteilung verwendeten Algorithmen offen und für jedermann überprüfbar sind - eine Bedingung, die zunehmend unwahrscheinlich wird, da diese Algorithmen proprietär sind.

Die Frage der Fairness ist aus vielen der bereits genannten Gründe gar nicht so einfach zu beantworten. Eines der angegebenen Beispiele sind Lehrerwerte, anhand derer bestimmt wird, wer eine Gehaltserhöhung erhalten und wer aus dem Beruf entfernt werden soll. Grundsätzlich besteht die Idee darin, die Ergebnisse der Schüler zu vergleichen, damit den Lehrern, die die Schülerwerte nicht ausreichend erhöhen, die Tür gezeigt werden sollte. Wie hier ausgeführt, werden die Schülerergebnisse jedoch nicht nur von der Lehrerleistung beeinflusst. Und schlimmer noch, wenn Sie Schüler unterrichten, die entweder sehr weit hinten oder sehr weit vorne sind, ist es unwahrscheinlich, dass Sie eine so große Bewegung in ihren Punktzahlen beeinflussen, wie wenn Sie Kinder in der Mitte unterrichten. Wenn Sie anhand einer Punktzahl bewertet werden, sollte sich diese Punktzahl auf etwas beziehen, über das Sie die Kontrolle haben, und nicht nur auf etwas, das relativ einfach zu messen ist. Der Autor weist darauf hin, dass viel zu oft die Art der Bewertungen von Lehrern auf der Grundlage der Schülerleistungen Jahr für Jahr praktisch zufällige Ergebnisse liefert. Da es sehr unwahrscheinlich ist, dass ein außergewöhnlicher Lehrer von einem Jahr zum nächsten ein sehr schlechter Lehrer wird, sollte jede Einschätzung, die zu einem solchen Ergebnis führt, verdächtig sein. Dies gilt auch für Kreditantragsalgorithmen, die Sie anhand der Personen beurteilen, mit denen Sie in Verbindung stehen. Zum Beispiel habe ich in letzter Zeit einige Male gelesen, dass Ihre Bonität von Ihren "Freunden" auf FaceBook beeinflusst werden kann, aber selbst wenn dies nicht buchstäblich zutrifft, werden hier Algorithmen gezeigt, um Sie anhand vieler Faktoren zu beurteilen, die Assoziationen zwischen Ihnen voraussetzen und andere Personen sind mehr oder weniger wahrscheinlich ein Kreditrisiko. Wenn Sie beispielsweise Dinge in bestimmten Geschäften kaufen, wie American Express kürzlich zugab, haben sie den Zugang zu Krediten auf Personen beschränkt, die bestimmte Geschäfte besuchen.

Die letzte Bedingung einer Massenvernichtungswaffe ist, dass der Algorithmus auf große Populationen skaliert werden kann. Ein Algorithmus, der unter bestimmten Umständen gut funktioniert, kann innerhalb seiner begrenzten Anwendung sowohl transparent als auch fair sein. Da er dann jedoch für eine größere Population verwendet wird, kann er plötzlich aufhören, fair oder vernünftig zu sein. Dies liegt daran, dass dadurch eine neue Norm in der Gesamtbevölkerung geschaffen wird, die möglicherweise schwerwiegende nachteilige Auswirkungen auf die Bevölkerung hat, die über die ursprünglich vorgesehene Norm hinausgeht. Wiederum sind die Beispiele, die ich springe, eher mit Bildung verbunden, wo groß angelegte Testprogramme einen unverhältnismäßigen Einfluss auf arme Gemeinschaften haben, die als gescheitert definiert werden, und dann wird "Erfolg" als "gut im Test abschneiden" definiert - so dass die Schwanz beginnt mit dem Hund zu wedeln. Und dies hat dann Auswirkungen darauf, wie Kinder unterrichtet werden. Wenn Sie nur an Testergebnissen gemessen werden, sollten wir Sie nur auf die Durchführung von Tests vorbereiten. Das macht Bildung dann so langweilig, wie es möglich ist, sie für Kinder zu machen, die bereits Schwierigkeiten hatten, den Punkt der Bildung überhaupt zu erkennen. Aber die Gemeinschaften, die bei diesen Tests gut abschneiden, sind normalerweise die bereits begünstigten und leiden unter keinen dieser negativen Auswirkungen, weil sie bei diesen Tests gut abschneiden, also macht es keinen Sinn, sie auf mehr von ihnen vorzubereiten… Lassen Sie sie Kunst machen.

Ich würde dieses Buch wirklich empfehlen - sie gibt viele, viele Beispiele und es ist äußerst wichtig, dass wir verstehen, dass dies die Welt ist, in die wir uns zunehmend bewegen. Immer mehr unseres Lebens wird von Algorithmen und Big Data beeinflusst - und dennoch haben zu viele von uns solche Angst vor Mathematik, dass wir uns selbst die Schuld geben werden, wenn diese Algorithmen uns bestrafen. Mir ist überhaupt nicht klar, wie wir diese Algorithmen transparent, fair oder auf eine Skala beschränken können, die sie sicher hält - aber das sind Fragen, über die wir wirklich nachdenken und nach denen wir handeln sollten.

Big Data ist undurchsichtig, kompliziert, wird von gewinnorientierten Unternehmen verwaltet und bestimmt immer mehr bestimmte gesellschaftliche Bedingungen: von der Arbeitssuche über die Bewerbung für ein College bis hin zur Gesundheitsversorgung. "Daten" allein scheinen amoralisch zu sein, um fairere Systeme zu implementieren. Aber O'Neils Punkt in diesem Buch ist, dass alle Algorithmen Grundannahmen enthalten, und manchmal sind diese Grundannahmen voller Voreingenommenheit und nicht tatsächlich begründet. Wenn die Algorithmen nicht regelmäßig überprüft werden, erstellen sie ihre eigenen Rückkopplungsschleifen. Wie O'Neil sagt: "In jedem Fall müssen wir nicht nur fragen, wer das Modell entworfen hat, sondern auch, was diese Person oder Firma zu erreichen versucht."

Dieses Buch geht leicht auf eine Reihe von Themen ein, um einen Überblick über die Algorithmen zu geben, die O'Neil am unangenehmsten findet. Jeder der verschiedenen Abschnitte ist interessant, aber sie beschäftigen sich nicht besonders intensiv mit dem Thema. Wenn Sie beispielsweise daran interessiert sind, wie schlechte Rückkopplungsschleifen zu Polizeiarbeit und Rückfall von Gefangenen zusammenarbeiten, um unseren Industriekomplex für Gefängnisse zu schaffen, sollten Sie besser lesen The New Jim Crow. Wenn Sie jedoch an einer Einführung in die Art und Weise interessiert sind, wie Daten unser Leben bestimmen, ist dies ein guter Anfang.

Ich war besonders an dem Abschnitt über College-Zulassungen interessiert, weil O'Neil die explodierenden Studiengebühren mit dem US World News-Ranking (dem ersten Ranking für Universitäten in den USA) verknüpft. 1988 verwendeten Journalisten eine Reihe von Vertretern, um eine Möglichkeit zu schaffen, Hochschulen gegeneinander auszuspielen. Dieses Beispiel trifft auf einige Punkte, die O'Neil immer wieder anspricht: Die Journalisten wollten Stellvertreter, die ihre eigenen Vorurteile bekräftigen, daher mussten Stanford und Harvard ganz oben auf der Liste stehen. Aber sie waren nicht in der Lage, die wichtigen Dinge wie die Qualität der Ausbildung vollständig zu berücksichtigen, und stützten sich daher auf Stellvertreter wie die Zulassungsrate und die Retentionsrate für Studienanfänger. Die Kosten wurden auffällig ausgeschlossen, und so - so sagt O'Neil - sind die Studiengebühren zwischen 500 und 1985 um 2013 Prozent gestiegen. Die Colleges spielen das System, um wieder ganz oben auf der Liste zu stehen, geben diese Kosten dann aber direkt weiter weiter zu den teilnehmenden Studenten.

Obwohl dieses Buch nichts bahnbrechendes ist, ist es eine weitere Erinnerung daran, dass Tech es besser machen muss, wenn wir mehr von unseren persönlichen Daten - unser Leben - in seine Hände geben wollen. Ich persönlich glaube, wir werden alle von der "Sharing Economy" (starke Zitate dort) und dem Beispiel über Lending Club-Hämmer in diesem Haus betrogen. O'Neil verwendet den Lending Club als Beispiel für einen Dienst, der Kredite "demokratisieren" sollte, der sich jedoch schnell in 80% institutionelles Geld verwandelt: Geld von großen Banken. Warum? Das Bankwesen hat Vorschriften, und Banken dürfen Verbraucher gesetzlich nicht aufgrund von E-Scores und anderen algorithmisch erstellten Bewertungssystemen diskriminieren, die Faktoren wie Postleitzahl, Zeichensetzung in Anwendungen und soziale Netzwerke berücksichtigen. Diese Institutionen haben einen Weg gefunden, aus dem Gesetz herauszukommen, ihre skizzenhaft gezeichneten "Daten" -Modelle (die keine statistische Grundlage haben) anzuwenden und die Belohnungen zu ernten, während sie die Klassenungleichheit weiter verschärfen.

Vergessen Sie diese niedlichen Pastellillustrationen aus den fünfziger Jahren mit ihren fliegenden Autos, Roboterdienern und Träumen von unbegrenzter Freizeit. Unsere Zukunft ist endlich da und für die meisten von uns, insbesondere für die weniger Reichen und weniger Privilegierten, die sich nicht für individuelle Aufmerksamkeit qualifizieren, sagt der Computer „Nein“.

"Weapons of Math Destruction" ist ein aktuelles Buch über den zunehmenden Einfluss von Algorithmen zur Kontrolle der Nachrichten, der Jobs, die wir bekommen können, und der Politiker, für die wir stimmen. Algorithmen, die unermüdlich für jemanden (nicht für Sie) arbeiten, unsichtbar und nicht rechenschaftspflichtig.

Das Buch erklärt statistische und methodische Probleme mit diesen Algorithmen und zeigt, wie sich dieselben Probleme manifestieren, wenn sie auf reale Situationen angewendet werden.

Ein Beispiel gibt einen Überblick über die Probleme, die im gesamten Buch auftreten:

Ein Algorithmus, der die Veränderungen der Schülerleistungen im Jahresvergleich verglich, wurde verwendet, um zu entscheiden, welche Lehrer schlechte Leistungen erbrachten und entlassen wurden. In einem Fall eines gekündigten Lehrers deuteten nachfolgende Beweise darauf hin, dass die Punktzahlen der Schüler gegenüber dem Vorjahr manipuliert worden waren und sie infolgedessen eine Klasse geerbt hatte, deren Leistung überbewertet war, so dass sich der Algorithmus, der sie als schlechte Lehrerin auszeichnete, zwangsläufig verschlechterte.

Dem Lehrer wurde weder mitgeteilt, wie der Algorithmus angewendet wurde, noch durfte er gegen die Entscheidung Berufung einlegen. Der Algorithmus war eine Black Box, die ein vom Schulsystem gewünschtes Ergebnis hervorbrachte - Kündigungen. Und trotz des Mangels an Transparenz bei dieser Entscheidung reichte eine Stichprobe von Punktzahlen aus einer Klasse allein - vielleicht zwanzig bis dreißig Schüler - nicht aus, um auf jeden Fall ein statistisch gültiges Ergebnis zu erzielen. Ein weiterer Grund, warum es eine der schlechtesten Lehrberufe in den Industrieländern sein muss, ein amerikanischer Lehrer an öffentlichen Schulen zu sein.

Bitte lesen Sie das Buch, um weitere ungeheure Beispiele für „Algorithmusmissbrauch“ zu finden. Unten ist meine Zusammenfassung sind einige der Hauptprobleme, die das Buch skizziert. Es ist hilfreich, diese Probleme in zwei Kategorien zu betrachten: Probleme, die sich aus der schlechten Anwendung der technischen Aspekte der Algorithmen (schlechte Programmierung, falsche Anwendung statistischer oder maschineller Lernmethoden) und Probleme ergeben, die sich aus der Entwicklung und Verwendung der Algorithmen ergeben. wie sie versteckte Vorurteile oder Werturteile, schlecht durchdachte Ziele und andere „menschliche Faktoren“ beinhalten, die über schlechte Mathematik hinausgehen:

Einige der häufigsten Probleme waren:

 Mangelnde Transparenz bei der Funktionsweise der Modelle und bei der Entscheidungsfindung, was häufig dazu führt, dass gegen ein eindeutig ungerechtes Ergebnis keine Berufung eingelegt werden kann. Zu den damit verbundenen Problemen gehört die übermäßige Abhängigkeit von Modellen angesichts widersprüchlicher Daten oder, wenn die Menschen die Modelle verstehen, aber von ihnen profitieren, mangelnde Integrität bei der Anwendung. Ein führendes Beispiel sind Modelle zur Bewertung von hypothekenbesicherten Wertpapieren während der Finanzkrise.

 Die Verwendung von „Proxy-Daten“ für die Modelleingabe oder -ausgabe, da die gewünschten realen Daten nicht verfügbar, zu teuer sind oder nicht objektiv gemessen werden können. Bedeutet das Versenden von mehr E-Mails mit „kreativen Phrasen“, dass Sie wirklich eine kreativere und innovativere Person sind? FICO-Scores sind ein relativ gutes Modell für die Vorhersage des Kreditrisikos, jedoch nicht als Proxy, wenn sie für eine ganze Reihe anderer Dinge verwendet werden, die nichts miteinander zu tun haben, z. B. für die Vorhersage der zukünftigen Arbeitsleistung bei der Einstellung.

 Rückkopplungsschleifen, bei denen ein Modell zunehmend nicht optimale Ergebnisse fördert, indem bestimmte Verhaltensweisen auf Kosten des beabsichtigten Nutzens belohnt werden. Als Beispiel werden US-College-Rankings genannt, die zunehmend eher "User Experience" und "Research Citations" als die tatsächlichen Bildungsergebnisse für Studenten belohnen.

 Algorithmen, die hauptsächlich aus Effizienzgründen Daten aus beliebig ausgewählten Gruppen verwenden, wenn einzelne Daten verfügbar sind. Warum sollte ein Algorithmus eine Preisversicherung für einen Fahrer abschließen, die auf den Erfahrungen anderer Fahrer basiert, die in seiner Nähe wohnen oder sich in einer ähnlichen wirtschaftlichen Lage befinden, anstatt auf seiner eigenen individuellen Fahraufnahme?

 Optimierung, die gut für die Eigentümer eines Algorithmus ist, aber nicht für die Gesellschaft insgesamt. Die Geldrendite ist die häufigste Priorität für einen im privaten Sektor verwendeten Algorithmus. Ist dies jedoch das, was die Gesellschaft wünscht, wenn sie dazu führt, dass die Armen mit der Vermarktung von gemeinnützigen Hochschulen, die eine unterdurchschnittliche Ausbildung zu hohen Kosten anbieten, gezielt angesprochen werden?

 Versteckte Vorurteile und Ungerechtigkeiten, wenn Annahmen in einen Algorithmus eingebaut werden, die eher soziale Faktoren als individuelle Erfahrungen widerspiegeln. Von der Polizei zur Vorhersage von Straftaten verwendete Algorithmen werden zunächst verwendet, um leicht zu identifizierende Belästigungsverbrechen vorherzusagen, die, was nicht überraschend ist, hauptsächlich in benachteiligten Stadtteilen vorkommen. Die Polizei hat noch keinen Algorithmus entwickelt, der vorhersagt, wo Wirtschaftskriminalität stattfindet, obwohl die Wall Street in diesem Fall sicherlich rot leuchten würde.

 Falsche Verwendung von Statistiken; Mangel an Rückmeldung der Modellergebnisse zur Vorhersage der Ergebnisse. Baseball ist ein gutes Feld für Vorhersagen, da die Ergebnisse - Heimrennen, Streiks, Schlagdurchschnitte - objektiv gemessen und Vorhersagen in das Modell zurückgeführt werden können, um es zu verbessern. Die Verwendung von FICO-Scores bei der Rekrutierung ist nicht das, was die Entwickler von FICO beabsichtigt haben. Es gibt keine Studie, die auf eine statistische Korrelation zwischen FICO und anschließend guter Arbeitsleistung hinweist. Gute oder schlechte Arbeitsleistung wird auch nie verwendet, um HR-Modelle zu bewerten oder ihre Zuverlässigkeit zu verbessern.

Das letzte Kapitel des Buches befasst sich mit der Mikrozielsetzung von Wählern mit politischen Botschaften über Facebook und ähnliche Social-Media-Sites. Dies wurde im September 2016 geschrieben, eine respektable Zeitspanne, bevor die Welt einen Blick in den schwindelerregenden Wirbel gefälschter Nachrichten, russischer Hacker- und Tweeting-Präsidenten erhaschte. Dies ist ein ausgezeichnetes Kapitel und kann durchaus als prophetisch angesehen werden, wenn wir auf unsere derzeitige Periode des politischen Chaos zurückblicken, falls es jemals enden sollte.



Ich beschloss, Notizen zu den Büchern zu schreiben, die ich las, da ich sonst so viel mehr aus ihnen herausholen kann. Diese Entschließung wird ungefähr anderthalb Bücher dauern, da bin ich mir sicher, aber wenn jemand hier interessiert ist, sind sie:

Einführung: Mathematische Modelle werden zunehmend verwendet, um Entscheidungen zu treffen, die Auswirkungen auf die reale Welt haben. Die von ihnen verwendeten Algorithmen sind jedoch bis auf eine begrenzte Anzahl von Mathematikern oder Informatikern undurchsichtig und können manchmal unwissentlich menschliche Vorurteile, Missverständnisse und Vorurteile verschlüsseln.

Annahmen können durch die Mathematik getarnt und ungetestet bleiben und können von den Personen, auf die sie angewendet werden, nicht in Frage gestellt werden. Diese Algorithmen werden häufig in unangemessenen Kontexten verwendet, in denen nicht genügend objektive Daten vorhanden sind, um die zugrunde liegende statistische Theorie richtig anzuwenden. Algorithmen können für Baseball mit vielen zehn, wenn nicht hunderttausenden objektiven, ständig aktualisierten Datenpunkten funktionieren, aber nicht, um einen Lehrer mit einer Klasse von dreißig zu bewerten.

Die Algorithmen erzeugen "Rückkopplungsschleifen", unter denen sie eine Ausgabe erzeugen, die bestimmte Ergebnisklassen basierend auf falschen Annahmen eliminiert, aber infolgedessen die Gewichtung unter der Annahme im Modell verstärkt. Die Ungerechtigkeit wird verstärkt, da diese Algorithmen auf immer mehr Menschen angewendet werden, obwohl die Reichen und Privilegierten immer noch auf individueller Basis und nicht als eine der maschinell bewerteten Massen bewertet werden können. Menschen, denen aufgrund dieser Software zu Unrecht Chancen verweigert wurden, sind „Kollateralschäden“.

Die Algorithmen optimieren eine von den Entwicklern des Modells entworfene Auszahlung - bei vielen Modellen des privaten Sektors den monetären Gewinn - aber wer soll sagen, dass dies die optimale Auszahlung für die gesamte Gesellschaft ist?

Kapitel 1, Bombenteile - Was ist ein Modell? Die Autorin erklärt, wie ihre Verwaltung des Familienkochens eine Form des „Datenmodells“ ist: Eingaben sind Familienpräferenzen, Appetit an diesem Tag; verfügbares Essen, Sonderfälle wie das Kochen an einem Geburtstag, die Ausgabe ist „Familienzufriedenheit“ und das Modell bestimmt das Menü für diesen Tag. Das Modell könnte mit einer Reihe von Regeln vorprogrammiert werden, um sein Menü zu bestimmen, oder durch Beobachtung vieler trainiert werden Beispiele. In beiden Fällen können Fehler gemacht werden, möglicherweise durch Vergessen einer Regel oder durch Nichteinbeziehung eines seltenen Falls in die Trainingsdaten. Der entscheidende Punkt ist, dass das Modell persönliche Vorurteile enthalten kann, die nicht sichtbar sind, im Fall des Menümodells in Richtung gesunder Lebensmittel und weg von Eiscreme.

Modelle müssen nicht kompliziert sein, um effektiv zu sein. Ein Rauchmelder ist ein Modell zur Identifizierung von Bränden, die nur mit einem einzigen Eingang, der Konzentration von Rauchpartikeln, betrieben werden.

Zur Bewertung von Modellen werden drei Fragen gestellt: Erstens: Ist das Modell für die Personen, auf die es angewendet wird, verständlich oder sogar sichtbar? Zweitens funktioniert das Modell im Interesse der Probanden? Ist es fair oder kann es ungerechten Schaden anrichten? Drittens skaliert das Modell? Darf es unter immer größeren Umständen eingesetzt werden und gleichzeitig seine verborgenen Vorurteile verstärken, wie es unter immer größeren Umständen angewendet wird?

Ein Beispiel ist das Modell zur Bestimmung der Straflänge vor US-Gerichten auf der Grundlage eines Modells zum Rückfallrisiko. Das Modell berücksichtigt Faktoren wie das frühere Strafregister oder das Alter des ersten Kontakts mit der Polizei, die als Beweismittel vor Gericht nicht zulässig wären und bestimmte Bevölkerungsgruppen in unfairer Weise diskriminieren könnten.

Kapitel 2 spricht über die Rolle von Algorithmen in der Finanzkrise und stellt zwei Hauptprobleme fest, die zum Zusammenbruch des Marktes für hypothekarisch besicherte Wertpapiere führen. Erstens die Annahme, dass Modelle einer ordnungsgemäßen mathematischen Überprüfung unterzogen wurden; In Wirklichkeit verstanden nur wenige Menschen die mathematischen und statistischen Probleme und viele, denen es an Integrität mangelte, sich zu äußern, zumal der anfängliche Erfolg eine eigene Rückkopplungsschleife geschaffen hatte, die das Wachstum des Marktes förderte. Zweitens hatte die moderne Rechenleistung eine massive sekundäre Infrastruktur auf dem Markt wachsen lassen - Credit Default Swaps, CDOs usw. -, anstatt das Risiko zu diversifizieren, zu maskieren, zu vergrößern und zu konzentrieren.

Ein sehr interessanter Punkt wurde aufgrund der Erfahrung des Autors in einer Risikobewertungsfirma gemacht, dass viele Händler auf der Grundlage ihrer Sharpe-Kennzahlen, des Verhältnisses von Umsatz zu eingegangenen Risiken vergütet werden und dementsprechend motiviert sind, „... aktiv zu versuchen, zu unterschätzen… Risiko, um die Sharpe Ratio und damit ihre Boni effektiv zu manipulieren. Dies steht im Gegensatz zum Ansatz von Hedge-Fonds, die sich wirklich um Risiken kümmern (da ihr eigenes Geld gefährdet ist), und Händlern großer Finanzinstitute, die kein eigenes Finanzkapital auf dem Spiel haben.

Kapitel 3 untersucht die Auswirkungen des von US News entwickelten Algorithmus zur Einstufung von Colleges in den USA. 75% des Rankings basierten auf Proxy-Elementen, die den College-Erfolg messen sollten, und 25% auf subjektiven Bewertungen. Die ausgewählten Proxies, zum Beispiel Zulassungsverhältnisse, SAT-Ergebnisse, luden zu Spielen ein, die die Bewerbung verzerrten. Hochschulen würden in Sport investieren, um Anträge zu fördern, die abgelehnt werden könnten; Im Extremfall benötigte ein neues saudisches College Teilzeitprofessoren mit einer großen Anzahl von Zitaten, um ihren Standortverweis auf das College zu ändern und die Rangliste zu verbessern. Das System misst nicht den Schlüsselerfolg der Bildung - was die Schüler an jeder Schule gelernt haben. Das Ranking generiert eine eigene Rückkopplungsschleife. Hochschulen mit hohem Rang ziehen mehr Bewerber an, was zu mehr Ablehnungen führt und sie weiter nach oben bringt. Wohlhabende Bewerber bezahlen Berater, um das System zu spielen.

Entscheidend war, dass der ursprüngliche Algorithmus die Studiengebühren nicht berücksichtigte. Dies garantierte, dass die frühen Rankings im Einklang mit dem bestehenden „gesunden Menschenverstand“ von Yale, Harvard und anderen wohlhabenden Colleges standen, schloss jedoch ein für Studenten kritisches Problem aus, das Preis-Leistungs-Verhältnis einer Ausbildung, und ermutigte die Colleges, übermäßig viel auszugeben, um sich zu verbessern Schülererfahrung und damit Ranking ohne Rücksicht auf die Kosten, was letztendlich zu einer höheren Verschuldung der Schüler führt.

Die US-Regierung hat jetzt Daten zu Schulen zur Verfügung gestellt, die es den Schülern ermöglichen, diese direkt zu überprüfen.

Kapitel 4 befasst sich mit gezielter Online-Werbung, wobei Profit-Colleges, die sich an arme und schutzbedürftige Menschen richten, als besonders schändlicher Fall betrachtet werden. Das Internet gibt sofortiges Feedback für gezielte Marketingkampagnen über Facebook oder Google, insbesondere wenn erfolgreiche oder fehlgeschlagene Anzeigen in Echtzeit ausgewertet werden können. Die Bayes'sche Analyse wird verwendet, um den Erfolg zu bewerten.

20 bis 30% des Budgets eines gewinnorientierten Colleges können für die Lead-Generierung verwendet werden, wobei mehr für die Einstellung als für die Bildung selbst ausgegeben wird. Es gibt spezialisierte Lead-Generierungsfirmen, die auf bestimmte Communities abzielen, gefälschte Stellenanzeigen veröffentlichen oder eine vielversprechende Krankenversicherung versprechen.

Kapitel 5 befasst sich mit „Predpol“, einem Algorithmus zur Vorhersage von Straftaten, der eine Schlüsseleingabe für den geografischen Ort der Straftaten enthält, jedoch Daten zur Rasse ausschließt. Der Algorithmus ist erfolgreich bei der Vorhersage, wo Verbrechen auftreten können, aber hauptsächlich, weil er Verbrechen auf niedriger Ebene - öffentliche Trunkenheit, Jaywalking - umfasst, die besser mit dem geografischen Standort korrelieren. Diese Verbrechen sind jedoch häufig auch mit Armut und indirekt mit Rasse verbunden. Schwerwiegendere Straftaten sind schwieriger aufzudecken, während das System einige Straftaten wie Wirtschaftsbetrug insgesamt ignoriert. Oberflächlich betrachtet ist der Algorithmus objektiv, aber unter der Haube spiegelt er Werturteile wider, auf die die Polizei ihre Aufmerksamkeit richtet.

Fragen der wahrscheinlichen Ursache werden auch durch die Verwendung von Algorithmen aufgeworfen, die vorhersagen, ob eine Person eine Straftat begeht, basierend auf Proxy-Daten wie dem Wohnort, ob beschäftigt oder nicht. Diese Algorithmen werfen Fragen auf, inwieweit die Öffentlichkeit bereit ist, die Effizienz der Polizeiarbeit gegen Fairness abzuwägen, jedoch ohne öffentliche Debatte.

Kapitel 6 befasst sich mit der Verwendung von Algorithmen bei Einstellungsentscheidungen von Mitarbeitern. Persönlichkeitstests werden häufig für das Screening von Bewerbern verwendet. Dies können jedoch Umgehungsgesetze sein, die die Diskriminierung von Menschen mit Behinderungen verhindern, und eine wichtige Überlegung für die korrekte Verwendung von Algorithmen sind selten aktualisiert durch Überwachung ihres tatsächlichen Erfolgs bei der Vorhersage einer guten Arbeitsleistung. Dies ist möglicherweise kein Problem für ein System zur Bewertung von Baseballstars, dessen Leistung objektiv statistisch gemessen werden kann und bei dem die Personen möglicherweise Millionen von Dollar erhalten, sondern die Belastung des schlecht bezahlten Personals durch den Kollateralschaden von Personen, die herausgefiltert werden durch die Algorithmen, sind aber in der Lage, die Arbeit zu erledigen.

Diese Algorithmen beinhalten negatives Feedback - diejenigen, die diskriminiert werden, bekommen keine guten Jobs, was die Diskriminierung rechtfertigt - und können auf Daten basieren, die historisch diskriminierte Einstellungspraktiken widerspiegeln. Ein Beispiel ist ein in einem britischen Krankenhaus verwendetes System, das nach langjähriger Nutzung zur Diskriminierung von Frauen und Einwanderern eingesetzt wurde und die Diskriminierung wiederholt, die sich in den ursprünglichen Daten widerspiegelt, auf denen das System basiert.

Kapitel 7 untersucht die Auswirkungen von Algorithmen am Arbeitsplatz.

Die Job Scheduling-Software verwendet Daten, um Spitzen- und Tiefststände des Personals zu planen und dabei Mitarbeiter zu entmenschlichen, die sich ihres Arbeitsplans erst ein oder zwei Tage vor ihrer Inanspruchnahme nicht sicher sind.

Ein anderer Algorithmus - 'Cataphora' - versuchte, die kreativsten und innovativsten Mitarbeiter zu identifizieren, indem er den E-Mail-Fluss einschließlich bestimmter Schlüsselbegriffe über das E-Mail-System verfolgte. Es gibt kaum Anhaltspunkte dafür, dass dieser Ansatz funktioniert hat, aber Mitarbeiter, die nicht zu den kreativsten gehörten, stehen möglicherweise an erster Stelle. Dieser Algorithmus leidet unter den beiden klassischen Problemen, die zu Beginn des Buches identifiziert wurden, der Schwierigkeit, messbare Proxy-Daten für die Elemente (Soft Skills wie Kreativität) zu finden, die Sie messen möchten, und dem Fehlen jeglicher Rückmeldung über Erfolg und Misserfolg der gemessenen Elemente helfen Sie dem Algorithmus zu lernen.

In diesem Kapitel wurde ein schwerwiegender Fehler bei der Bewertung der Lehrerleistung anhand von SAT-Ergebnissen erläutert. Der von der Reagan-Administration herausgegebene Bericht „Nation at Risk“ sollte sich mit dem Rückgang der Unterrichtsstandards befassen, gemessen an einem allmählichen Rückgang der SAT-Werte von Absolventen im Laufe der Jahre. Tatsächlich veranschaulichten die Daten ein Beispiel für "Simpsons Paradoxon", bei dem der gesamte Datenbestand einen Trend zeigte, aber bei Betrachtung eines segmentierten Trends war der entgegengesetzte Trend erkennbar. In diesem speziellen Fall hatte sich der Umfang der Personen, die an SAT-Tests teilnahmen, im Laufe der Zeit erweitert, einschließlich genügend Personen am unteren Ende des Bewertungsbereichs, um den Gesamtdurchschnitt zu senken (dh Elite-Studenten hatten den Test noch viele Jahre lang absolviert, sodass nur wenig Platz vorhanden war um den Spielraum am oberen Ende des Bewertungsbereichs zu vergrößern). Wenn die Daten in enge SAT-Bereiche segmentiert wurden, waren die SAT-Werte in allen Segmenten im Laufe der Zeit gestiegen. Die ganze Prämisse des Berichts war falsch.

Kapitel 8 schaute auf FICO Scores. FICO-Scores selbst haben einige gute Eigenschaften als Daten; Sie basieren auf der Vorgeschichte einer Person (im Gegensatz zu aggregierten Daten, die von Personen abgeleitet wurden, die der Person ähneln). Der Ausfall eines Kredits wird relativ objektiv gemessen und Feedback wird zur Verbesserung der Bewertung verwendet.

Probleme treten auf, wenn FICO-Scores als Proxys für andere Daten verwendet werden, die nicht so einfach oder objektiv identifiziert werden können, z. B. zukünftiger Arbeitserfolg, wenn sie als Screening im Einstellungsprozess verwendet werden, oder wenn sie mit anderen Daten bei der Entwicklung proprietärer „E-Nummern“ kombiniert werden von Firmen für Zwecke wie Marketing. Diese Kennzahlen sind für Verbraucher nicht transparent und können eine Hintertür für Diskriminierung sein, da sie Faktoren verwenden können, die indirekt mit Armut oder Rasse zusammenhängen, wie z. B. Wohnsitz.

Kapitel 9 Überlegt, wie das gesamte Versicherungsgeschäftsmodell durch Datenalgorithmen untergraben werden kann. Die Versicherung beruht auf der Bündelung einer Vielzahl von guten und schlechten Risiken, um die Preisgestaltung des Risikos insgesamt zu ermöglichen. Mithilfe von Algorithmen können solche Risiken auf nicht transparente Weise segmentiert werden, was nicht nur das Versicherungsmodell selbst untergräbt, indem hohe Risiken ausgepreist werden, sondern auch die Preissenkung anderer Segmente ermöglicht. Die Verwendung nicht risikobezogener Indikatoren, z. B. Kredit-Scores oder Wohnort, bei der Preisgestaltung für Kfz-Versicherungen ermöglicht auch Preisabschläge. Warum sollte sich eine Verschlechterung der Bonität eines Fahrers auf seine Prämie auswirken, wenn das Risiko eines Unfalls unverändert bleibt? Fahrer werden eher nach dem Verbrauchermuster ihrer Freunde und Nachbarn als nach ihrer Unfallakte beurteilt.

Kapitel 10 befasst sich mit der Anwendung von Algorithmen auf das bürgerliche Leben, insbesondere mit der Verwendung von Micro Targeting politischer Botschaften über Facebook. Facebook hat mit der Manipulation emotionaler Reaktionen von Nutzern durch Manipulation ihrer Newsfeeds experimentiert.

Der Ansatz von Facebook zur Verbreitung von Nachrichten steht im Gegensatz zu einer herkömmlichen Zeitung, in der der Herausgeber eine Entscheidung darüber trifft, was auf die Titelseite gesetzt werden soll. Diese Entscheidung wird jedoch von allen gesehen und ist öffentlich zugänglich, während die Kriterien für die Auswahl von Artikeln für einen Newsfeed von Facebook gelten sind undurchsichtig und einzigartig für den Betrachter. Facebook Micro Targeting kann einer der Gründe sein, warum viele republikanische Wähler immer noch glauben, Obama sei "geboren" und andere Verschwörungen.

Micro Targeting von Wählern birgt das Risiko, dass alle zum Vorteil derjenigen entrechtet werden, die dafür bezahlen. Wähler in Swing-Staaten sind gezielteren und intensiveren Kampagnen ausgesetzt, die nur für sich selbst zum Nachteil des demokratischen Prozesses für alle relevant sind.

WMD ist größtenteils ein Scherz mit nur unpraktischen Aussagen als Lösungen.

Der Autor steht auf etwas kritisch Wichtiges, wenn man den Titel des Buches liest und die ersten Seiten durchgeht. Es ist jedoch eine Tragödie zu sehen, wie sich die Autorin in ihre eigene Phrase WMD verliebt und die Handlung völlig verliert. Die verwendeten Beispiele sind am Anfang gut, werden aber bald lächerlich (sie wären lächerlich, wenn sie für die beteiligten Personen nicht so beklagenswert wären). Dabei verliert die Autorin ihre Glaubwürdigkeit als Verfechterin des Themas.

Betrachten Sie das folgende Beispiel: Eine Person kann keinen Job finden, da sie behauptet, alle Persönlichkeitstests vor dem Vorstellungsgespräch nicht bestanden zu haben. Der Autor entlarvt die Objektivität von Tests zugunsten der Subjektivität von Interviewern mit der Behauptung, dass in einer anderen Welt der eine oder andere Interviewer dieser Person den Job gegeben hätte. Der Autor denkt nie an die nicht transparenten und schwieriger zu ergründenden Vorurteile der Interviewer, die in dieser Welt größeren Schaden anrichten, als an die derzeitige, in der die Vorurteile bei Modellen, die weitaus einfacher zu überprüfen und zu ändern sind, am schlimmsten sind. Der Autor erkennt nicht, dass jede Welt mit weniger wünschenswerten Jobs im Vergleich zu Bewerbern unglücklich sein wird - die Fairness ist vielleicht weitaus besser, wenn das Auswahlverfahren für alle gleich ist.

In gewisser Weise möchte der Autor, dass "wir" aufstehen und dazu beitragen, den Einsatz von Mathematik zu reduzieren. Dem Autor ist das Ziel "Reduktion" klar, ohne jemals zu realisieren, wie "wir" jemals entscheiden würden, in welchem ​​Umfang die Reduktion stattfinden soll und ob sich die Bestandteile von "wir" jemals auf den Ersatz einigen könnten. Die wiederholte Forderung nach subjektiven Vorurteilen setzt voraus, dass die Vorurteile nur in einer Form vorliegen und für alle akzeptabel sind. Die Absurditäten erreichen einen Höhepunkt, wenn der Autor erklärt, dass sich zumindest subjektive Verzerrungen im Laufe der Zeit entwickeln und daher bevorzugt werden sollten, während die mathematischen Modelle statisch sind!

Der Hass des Autors auf alles, was Modelle betrifft, führt nicht nur zu einem sehr einseitigen Diskurs, sondern führt auch zu einer unzureichenden Behandlung wichtiger Punkte. Das einzige mathematische Konzept, das etwas diskutiert wird, ist das der Zirkularität, die durch die selbstverstärkende Rückkopplung in Gleichgewichtsgleichungen verursacht wird und zu Lösungen führt, die lokal optimal, aber nicht global sind (alle meine Worte). Ansonsten konzentriert sich das Buch fast ausschließlich auf die Ungeeignetheit von Ergebnissen, die durch statistische Stichproben in jedem Einzelfall erzielt wurden.

Zusammenfassend scheint sich der Autor danach zu sehnen, dass Versicherungsunternehmen versicherungsmathematische Methoden aufgeben, Schulen sich von Testergebnissen für Zulassungen entfernen und Finanzinstitute / Technologieunternehmen / Regierungen ihre Verwendung von Zahlen reduzieren. Der Autor möchte, dass Menschen Entscheidungen treffen, die diese Modelle möglicherweise anhand ihrer Werturteile treffen. Oder die Welt, um diese Entscheidungen einfach nicht zu treffen.

Es gibt so viel Sinnvolles, das über den Schaden diskutiert werden muss, der durch den übermäßigen Einsatz von Mathematik in der modernen Welt entsteht, aber dieses Buch ist nicht der beste Ort, um es zu erforschen.

Bei Buchbesprechungen dreht sich alles um Erwartungen, und ehrlich gesagt habe ich als jemand, der Datenwissenschaft betreibt und sich mit Problemen auseinandersetzt, mehr erwartet. Wenn ein Datenwissenschaftler ein Buch in voller Länge schreibt, das sich mit Datenwissenschaft befasst, erwartet er einen tiefen Tauchgang, der echte Punkte enthüllt. Stattdessen handelt es sich um einen Aufsatz auf oberflächlicher Ebene ohne die tiefere Erforschung und Bedeutung, die man von einer Arbeit in voller Länge erwartet. Vielleicht noch besorgniserregender ist, dass ihre eigene Definition einer eingeführten Massenvernichtungswaffe oft umgangen wird, um Argumente einzubringen, die sie vorbringen möchte.

Ich stimme ihrem Hauptargument / ihrer Definition einer Waffe der mathematischen Zerstörung (WMD) zu, obwohl der Name für den wirklichen Gebrauch viel zu punny ist. Mehr oder weniger argumentiert der Autor, dass schlechte Algorithmen geheim sind und sich schnell erweitern, ohne die tatsächlichen Ergebnisse zu überprüfen. Dies ist kaum eine neuartige Problemstellung, aber es ist sicherlich ein echtes Problem. Bei der Bewertung vermuteter Massenvernichtungswaffen wendet sie jedoch mehrmals Verknüpfungen der angenommenen Ergebnisse auf die tatsächlichen Ergebnisse an. Dies ist genau das Problem, über das sie sich beschwert. Sie scheint auch ein unausgesprochenes viertes Kriterium hinzugefügt zu haben, das alles ist, was ihre liberalen (und sie ist sehr liberal und interventionistisch) Ideale verletzt. Dieses vierte Kriterium reicht anscheinend aus, um eindeutig schlechte Algorithmen zu bestehen, die ihre eigenen Tests nicht bestehen. Dies ist natürlich keine gute Möglichkeit, Probleme mit der unethischen Verwendung von Algorithmen zu vermeiden, es sei denn, Sie haben zufällig dieselben Ideale und Ziele wie Cathy O'Neil.

Etwas überraschend ist, dass dies ein datenwissenschaftliches Buch ohne Daten ist. Es gibt nicht einmal eine Fußnote im Text (zumindest in meiner Kindle-Ausgabe, obwohl sie das manchmal aktualisiert), und der Abschnitt mit den Notizen am Ende zeigt, dass die Zitate wirklich ziemlich schlecht und spärlich sind. Wir sprechen über Studienanfänger "Der Professor sagte 10 Zitate, also zitiere ich besser ein paar zufällige Webseiten". Um fair zu sein, ihre Argumente sind nur schwach datengetrieben, aber ich habe immer noch etwas mit einem tieferen akademischen Rückgrat erwartet.

Dies ist auch ein Data Science-Buch, in dem Sie nichts über Data Science lernen. Wenn Sie danach suchen, sollten Sie woanders suchen. Der Autor hat ein weiteres Buch mitgeschrieben Data Science machenund es zeigt, dass sie durchaus in der Lage ist, mit dem Thema umzugehen. Ich wünschte, sie hätte mehr davon in dieses Buch eingebracht, das das erste Buch vieler Menschen in der Datenwissenschaft sein wird.

Die Struktur des Buches spielt sich eher als eine Reihe verwandter Blog-Beiträge ab als als ein Buch, das auf Themen aufbaut und Fortschritte macht. Teilweise mag dies ein unglückliches Ergebnis sein, wenn der Autor ein Blogger ist, aber es lässt einen nach mehr verlangen.

* Ich habe eine Kopie dieses Buches über Netgalley erhalten. Alle Gedanken sind meine eigenen. *

Dieses Buch stellte sich nicht als das heraus, was ich erwartet hatte. Ich erwartete, dass O'Neil die Mathematik hinter den Daten, über die sie diskutierte, genauer untersuchen würde, um die Algorithmen genauer zu untersuchen. Das habe ich aber nicht bekommen. Dieses Buch stellte sich nach Ansicht des Autors eher als oberflächlicher Blick auf einige der Möglichkeiten heraus, wie Big Data die Gesellschaft beeinflussen kann / hat. Und obwohl ich einige der präsentierten Materialien interessant und informativ fand, war ich insgesamt nicht beeindruckt von den Argumenten des Autors. Sie schien keine klare Idee für eine Lösung zu haben.

Weitere Gedanken werden auf meinem Blog auftauchen: www.courtneysreads.blogspot.com

Ich habe mich sehr gefreut, dieses Buch auf der Liste der Nominierungen für den National Book Award zu sehen - O'Neil war Mathematikprofessor, dann Hedgefonds-Analyst, dann Occupy-Aktivist und jetzt ein ausgezeichneter Sachbuch-Erklärer der Macht, die wir haben gegebene Algorithmen im täglichen Leben. Sicherlich spiegelte die alte Art und Weise, in der ein menschlicher Bankmanager oder College-Zulassungsbeauftragter Personen für Kredite oder Harvard auswählte, erhebliche Vorurteile wider - aber sind wir zu weit in die andere Richtung gegangen und haben gedacht, dass harte Daten Vorurteile beseitigen werden? O'Neil bietet anschauliche Beispiele: Mikrotarget-Anzeigen, Bewertungen von Lehrern, Polizeistatistiken für vorausschauende Patrouillen, Versicherungen, Kredit-Scores und die Verzerrung von Hochschulabsolventen in den US-amerikanischen College-Rankings für Nachrichten und Weltberichte, um das Potenzial für toxische Griffe von Big Data als undurchsichtig zu demonstrieren , ungeklärt, unangefochten und diktatorisch, sowie die Möglichkeiten, seine Macht zu nutzen, um zu helfen, anstatt auszuschließen.

Ich kann nicht betonen, wie wichtig dieses Buch ist. Ich glaube nicht, dass die Leute wirklich wissen, wie die Besessenheit von Big Data und Algorithmen unser Leben kontrollieren / beeinflussen wird. Ich denke, ich klinge paranoid, aber ich glaube wirklich nicht, dass ich es bin. Es gibt zu viele Bastler, die ein gewisses Maß an Mathematikkompetenz haben und glauben, dass sie alle Probleme der Welt mit der nächstgrößeren Optimierungsformel lösen werden, und dennoch fehlt ihnen selbst die grundlegendste Erfahrung darin, richtige Forschungsfragen zu stellen und das zu verstehen Hauptbeschränkungen der Daten. Meine eigenen Erfahrungen in der theoretischen Ökologie haben mich mit Empirikern konfrontiert, die in die Modellierungsaktion einsteigen wollten, und nur Müllpapiere produziert. Vorsicht, Leute. In acht nehmen.

Ein Großteil unseres Lebens wird heute von Algorithmen beeinflusst. Diese werden als neutral angesehen, aber tatsächlich basieren viele auf Modellen, die offensichtlich diskriminierend sind. Postleitzahlen stehen zum Beispiel für Rennen. Die Armen sind besonders auf Zahltagdarlehen ausgerichtet. Lehrer werden an undurchsichtigen Proxys gemessen, die ihre Fähigkeiten überhaupt nicht widerspiegeln. Ihre Kreditwürdigkeit ist sowohl ein Ergebnis der Gruppe von Personen, mit denen Sie in Kontakt gebracht werden, als auch Ihres eigenen Verhaltens. Diese Algorithmen nennt der Autor "Waffen der mathematischen Zerstörung".

Jede Online-Entscheidung, die Sie treffen, jeder Klick, den Sie treffen, wird überwacht. Ihre Anzeigen sind maßgeschneidert, ebenso wie Ihr Facebook-Newsfeed. "Großer Bruder sieht dich" hat eine ganz neue Bedeutung, seit "1984" vor 50 Jahren geschrieben wurde. Wir hinterlassen gerne eine Spur von Informationen über eine Reihe von Websites. Wir machen dumme Tests mit FB, die Informationen über uns und unsere Freunde an den Meistbietenden verkaufen. Manchmal scheint es so, als müssten Sie nur eine Investition in die Anzeigen tätigen, um Ihren Feed und Ihre Online-Existenz zu verfolgen.

Es stellt sich heraus, dass bei Einstellungsentscheidungen Intelligenztests verboten sind - deshalb gedeihen Persönlichkeitstests. Die Persönlichkeit wird als Stellvertreter für Intelligenz verwendet. Dies trotz der Tatsache, dass es kaum einen Zusammenhang zwischen Persönlichkeit und Arbeitsleistung gibt und dass nur ein Merkmal - Gewissenhaftigkeit - überhaupt einen Zusammenhang mit der Arbeitsleistung aufweist. Arbeitssuchende werden nicht informiert, wenn ihr Persönlichkeitstest sie selbst für Mindestlohnjobs auf die Probe stellt.

Dieses Buch bekräftigt meine Vorstellung, dass wir alle durcheinander sind. Dennoch wäre das Bewusstsein, dass die Internetblase, in der wir alle leben, nicht die ultimative Wahrheit darstellt, von Vorteil.

Es ist gut zu kritisieren, was der Autor WMDs nennt, aber für mich hat dieses Buch die Marke verfehlt.

Zum Beispiel ist das gesamte Beispiel für die Lehrerbewertung in DC ein roter Hering. Die eigentliche Frage ist: Was ist nachweislich erfolgreich in einem städtischen US-Schulsystem? (Antworten: Hoffnung und Verzweiflung in der amerikanischen Stadt: Warum es in Raleigh keine schlechten Schulen gibt) Es ist also gültig, auf die Albernheit eines albernen GIGO-Lehrerbewertungsalgorithmus hinzuweisen, aber es ist eine Ablenkung, den Strudel herunterzufallen, diese Albernheit im Detail zu zerlegen. Wir müssen uns stattdessen auf Fakten über relevante Ergebnisse konzentrieren. Dies ist ein bisschen vage das Thema, das der Autor zu entwickeln scheint, aber nie vollständig formuliert: Das Nachwort liefert eine ziemlich verwaschene Schlussfolgerung über die Natur der objektiven Wahrheit.

Der Versuch, etwas Nettes zu sagen ... Die Kehrseite der Oberflächlichkeit dieses Buches ist, dass es sich beim Überfliegen auf zahlreiche interessante Faktoide stützt. Auch ist es klar geschrieben.

Mein Vater beschwerte sich in einem seiner mürrischeren Momente bei mir über Computer am Arbeitsplatz. Insbesondere störte es ihn, dass die Leute der Software so vertrauten, dass sie nicht bereit waren, die Ausgaben zu überprüfen. Dieses Gespräch fand vor vielleicht zwanzig Jahren statt, aber es blieb mir erhalten, und ein Teil des Grundes ist, dass er absolut Recht hatte. Wir haben alle den Ausdruck "Müll rein, Müll raus" gehört, um dieses Phänomen zu beschreiben.

O'Neil nimmt die Idee von "Müll rein, Müll raus" und setzt sie zusammen. Dieses Buch ist eine Untersuchung der realen und potenziellen Fallstricke, die damit verbunden sind, dass Algorithmen unser Leben bestimmen, von der Lehrerbindung über den Rückfall im Gefängnis bis hin zum Rückfall Workplace-Wellness-Programme. Ich bin ein großer Fan von O'Neils Beiträgen zum Slate Money-Podcast. So habe ich von diesem Buch erfahren. Und wenn Sie überhaupt an der Big Data-Wirtschaft interessiert sind, sollten Sie sie jetzt lesen. Selbst wenn Sie Angst vor Mathematik haben - in der Tat, besonders wenn Sie Angst vor Mathematik haben. O'Neils Schreiben ist nicht übermäßig technisch. Dieses Buch ist sehr einfach zu lesen und voller Ideen.

Viele dieser Ideen fanden in dem Moment Resonanz, in dem sie mein Gehirn trafen, und ließen mich Dinge erkennen, die seit Monaten oder Jahren um mich herum waren. Zum Beispiel hat O'Neil ein Kapitel über Versicherungen und beschreibt, wie immer mehr Versicherer E-Scores verwenden, die auf der Logik der Federvögel und demografischen Informationen basieren. Sie weist darauf hin, inwieweit diese Dinge lächerlich werden können, wenn eine betrunkene Fahrüberzeugung zu niedrigeren Autoversicherungsprämien führen kann als zu einer schlechten Bonität. Während ich dies las, erinnerte ich mich an die kommerzielle Esurance "Sorta Marge" und dachte: "Oh, darum ging es."

Dieses Buch enthält eine große Komponente der sozialen Gerechtigkeit, die von der Tatsache abhängt, dass Algorithmen Einzelpersonen zugunsten von Trends opfern und dabei Feedback-Effekte erzeugen. Ein weiteres Beispiel: Einige Staaten geben die Postleitzahl des Angeklagten in Verurteilungsmodelle an. Dies wäre in einem Gerichtsverfahren unzulässig, da es ein Stellvertreter für Rasse und / oder Einkommen ist und für die Schuld oder Unschuld des Einzelnen irrelevant ist. Aber verurteilende Modellierer argumentieren, dass es genau vorhersagt, wie wahrscheinlich es ist, dass sie ein Wiederholungstäter sind. Eine Person mit der "falschen" Postleitzahl bekommt also eine längere Strafe, dann ist es für sie / ihn schwieriger, nach der Freilassung einen Platz in der Gesellschaft zu finden, und sie kehren schließlich ins Gefängnis zurück. Das Modell sagt nicht nur voraus, es verstärkt sich, und dies ist ein Problem. Weil diesen Modellen eine Idee innewohnt, auf die O'Neil immer wieder zurückgreift: Da wir diese Modelle verwenden, um die Zukunft mitzugestalten, müssen sie die Art von Zukunft widerspiegeln, in der wir leben wollen, anstatt nur die Vergangenheit zu kodifizieren.

Es ist ein weiteres Buch, das ich unbedingt möchte, dass jeder, den ich kenne, ausgeht und liest, damit wir in Bars lange Diskussionen darüber führen können. Hier ist mein einziger wirklicher Kritikpunkt: Ich hasse den Satz "Weapons of Math Destruction". Es ist ein ausgezeichneter Titel und ein Schlüsselkonzept im Buch, aber O'Neil verwendet "WMD" durchweg als Abkürzung. Jedes Mal, wenn ich es sah, musste ich mich daran erinnern, dass es "Mathe" Zerstörung statt "Massen" Zerstörung bedeutete, und bis ungefähr Kapitel 5 hatte der Witz aufgehört, lustig für mich zu sein. Ende schimpfen.

Ich habe dieses Buch geliebt und werde es ohne Zweifel wieder lesen. Ich könnte lange darüber reden, also werde ich einfach aufhören. Aber, wie O'Neil betont, befinden wir uns in den Anfängen von Big Data. Diese mathematischen Modelle beeinflussen Ihr Leben, ob Sie es realisieren oder nicht, und sie müssen nicht schädlich sein. Jetzt ist es an der Zeit, sich zu informieren, wenn Sie das Gespräch morgen mitgestalten möchten.

Solider Überblick über die verschiedenen mathematischen Modelle, die unsere Bildung, Arbeit, Wohlstand und Handel bestimmen. O'Neil packt in vielen Beispielen ein und packt aus, wie simpel, unfair und schädlich diese Modelle für bereits benachteiligte Menschen sein können. Als jemand, der an vorderster Front an der Entwicklung von Modellen für das vorausschauende Einkaufen im Internet arbeitete, war ich mit vielen der in diesem Buch erwähnten Taktiken und ihren ethischen Mängeln vertraut (die schließlich dazu führten, dass ich das Geschäft verließ). Was sie sagt, ist völlig wahr, und es bringt einer kleinen Menge Menschen viel Geld ein. Mehr Leute sollte sich empören. Dieses Buch könnte helfen.

Es gibt jedoch zwei Mängel, beide möglicherweise aufgrund seiner kurzen Länge. Erstens gibt es überhaupt keine Diskussion über den Missbrauch der gesamten auf ihren Seiten beschriebenen Datenerfassung durch die Regierung. Vielleicht wird dies im Zeitalter von Snowden nur angenommen, aber ich denke, es ist ein wichtiges Ergebnis der Big-Data-Revolution, das zumindest im Vorbeigehen angegangen werden sollte. Zweitens hoffte ich auf einfallsreichere Lösungen. Das "Hippokratischer Eid" für Datenwissenschaftler, auf die sie sich bezieht ist eine schöne Idee ... von vor zwanzig Jahren und zwei großen wirtschaftlichen Rezessionen. Für eine stärkere Regulierung einzutreten, ist sicherlich umsichtig. Ich hatte jedoch auf etwas Neues gehofft.

Waffen der Mathezerstörung ist eine gut dokumentierte Tour durch die Standardbeispiele für den Missbrauch von Mathematik und Big Data und schließt mit den Standardlösungen. Ein gutes Buch, das Sie Freunden empfehlen können, die eine Einführung in diese Themen benötigen, mit denen wir in den letzten zehn Jahren konfrontiert waren.

Cathy O'Neil war meine Professorin für Zahlentheorie am College, glaube ich im Jahr 2006. Ich dachte, sie sei eine großartige Lehrerin, blieb aber nach dem Unterricht überhaupt nicht in Kontakt. Ich war mir einigermaßen bewusst, dass sie in die Finanzpolitik von Occupy Wall Street involviert war, und nachdem ich von diesem Buch gehört hatte, erfuhr ich auch, dass sie einen Podcast auf Slate mit moderiert hatte (den sie jetzt verlassen wird! - aber ich habe noch viele Back-Episoden zu hören).

Ich bin im Großen und Ganzen mit der Ausrichtung ihrer Argumentation in diesem Buch einverstanden und habe nur Streit darüber, wie ich denke, dass es die Dinge notwendigerweise vereinfacht, ein Sachbuch mit populärem Konsum zu sein. Der Hauptschwerpunkt des Buches ist, dass Menschen häufig "algorithmische Entscheidungsfindung" mit "neutraler Entscheidungsfindung" in Verbindung bringen und dass dies ein Irrtum ist (einer, den Algorithmusanbieter zum größten Teil gerne aufrechterhalten). Da "Big Data" und quantitative Modelle auf immer mehr Aspekte des Alltags angewendet werden, ist es unsere Aufgabe, dies zu verstehen und Möglichkeiten zu prüfen, wie algorithmische Entscheidungen problematisch, voreingenommen oder gefährlich sein können.

O'Neil beschreibt drei Merkmale, die eine "Waffe der mathematischen Zerstörung" auszeichnen: Skalierung, Geheimhaltung und Destruktivität. Wir müssen uns meist nur auf Algorithmen konzentrieren, die alle drei dieser Merkmale zumindest teilweise aufweisen - ein Modell, das nur begrenzt verwendet, transparent oder harmlos ist, gibt keinen Anlass zur Sorge. Sie gibt Beispiele für Algorithmen in vielen Bereichen, die ihrer Ansicht nach alle drei Kriterien erfüllen. Ein Beispiel ist die Modellierung des Rückfallrisikos, die heute in vielen Staaten verwendet wird, um zumindest teilweise strafrechtliche Verurteilungen zu ermitteln. Fehler oder Verzerrungen in diesen Algorithmen können dazu führen, dass die Personen, für die sie sich bewerben, zusätzliche Jahre hinter Gittern verbringen. Beide sind weit verbreitet und werden nicht öffentlich bekannt gegeben. Es gibt viele andere interessante (/ beunruhigende) Beispiele in dem Buch, wie zum Beispiel Modelle mit Mehrwert für Lehrer.

Eine aufkommende Eigenschaft vieler solcher Algorithmen ist, dass sie unerwünschte Rückkopplungsschleifen erzeugen können. Zum Beispiel wird ein Rückfallrisikomodell gegen Schwarze voreingenommen sein, wenn es auf historischen Daten basiert, die ein Umfeld abdecken, das durch Voreingenommenheit gegen Schwarze gekennzeichnet ist. (Wenn schwarze Menschen im Allgemeinen stärker strafrechtlich verfolgt werden, treten sie wahrscheinlich als höhere Rückfallrisiken auf, und selbst wenn der Algorithmus die Rasse nicht direkt verwendet, greift er korrelierte Faktoren auf und beläuft sich auf dasselbe.) Dies ist der Fall weitgehend eine Funktion des Opazitätsmerkmals - wenn ein Algorithmus öffentlich bekannt gegeben wird, können die Leute ihn überprüfen und Fehler hervorheben.

Das Thema Modellopazität ist für mich als jemanden, der an regulatorischen Finanzmodellen arbeitet, die absichtlich nicht offengelegt werden, besonders interessant. Es gibt gute Gründe, keine Modelle für Entscheidungen mit hohen Einsätzen offenzulegen (in meinem Fall die Festlegung von Mindestkapital für Banken). Ein Hauptanliegen ist, dass ein transparenter Algorithmus in dem Sinne "gespielt" wird, dass diejenigen, die ihm unterliegen, Wege finden, sich für den Algorithmus "gut aussehen" zu lassen, die eher von den Details und Einschränkungen des Modells als von den Details und Einschränkungen des Modells abhängen durch die zugrunde liegende Substanz. Ein zweites Problem ist, dass ein transparentes Regulierungsmodell eine "Monokultur" fördern kann, in der die Betroffenen das Modell einfach für sich selbst übernehmen, anstatt ihre eigenen Modelle zu entwickeln, die zwar immer noch fehlerhaft sind, aber andere Mängel aufweisen als das Regulierungsmodell.

Ich glaube nicht, dass es eine offensichtliche Lösung für dieses Transparenzproblem gibt. Eine Lösung, der ich definitiv nicht zustimme, besteht darin, quantitative Entscheidungen insgesamt zu vermeiden. Wie O'Neil in dem Buch klar feststellt, sollten wir auch nicht davon ausgehen, dass die voralgorithmische Entscheidungsfindung unvoreingenommen war - es scheint ziemlich offensichtlich, dass zum Beispiel die Urteilsverzerrung voreingenommen ist, vielleicht mehr als die algorithmische Verurteilung. O'Neil selbst hat einen Lösungsvorschlag dafür (über den sie meines Erachtens in dem Buch nicht wirklich spricht): Sie hat ein Beratungsunternehmen gegründet, dessen Absicht es ist, vorhandene Algorithmen auf mögliche Verzerrungen oder andere schädliche Auswirkungen zu prüfen. Dies würde ein gewisses Maß an unabhängiger Bewertung ermöglichen, ohne das Modell allgemein offenzulegen. Ich denke, das ist eine interessante Idee und ich hoffe, dass sie sich durchsetzt, aber es gibt Einschränkungen. Insbesondere im privaten Sektor ist nicht klar, warum ein Unternehmen freiwillig eine solche Prüfung beantragen würde, insbesondere wenn ein Algorithmus ihnen viel Geld einbringt. Die Angst vor regulatorischen Strafen könnte eine Motivation sein, aber wir treten eindeutig in eine Ära der Deregulierung ein. Die Aufsichtsbehörden selbst könnten Audits erzwingen, aber auch dies erfordert eine starke Aufsichtsbehörde (auch wer beobachtet die Beobachter?).

Ein Ansatz, der meiner Meinung nach zumindest in einigen Kontexten sinnvoll sein könnte, ist ein hybrider algorithmisch-wertender Prozess. (Zumindest im Moment können hybride Prozesse in vielen Bereichen am effektivsten sein - zum Beispiel ist der beste Schachspieler weder ein Computer noch ein Mensch, sondern ein Mensch, der von einem Computer unterstützt wird.) Um das Beispiel eines Rückfallrisikos zu nennen, wir Möglicherweise gibt es einen öffentlich bekannt gegebenen Algorithmus, der dem Richter ein öffentlich bekannt gegebenes Ergebnis liefert (möglicherweise einen empfohlenen Bereich). Die Richterin kann sich dann dafür entscheiden, von der Empfehlung abzuweichen, muss jedoch eine schriftliche Beschreibung ihrer Gründe dafür abgeben. Auf diese Weise kann der Algorithmus von jeder externen Partei auf mögliche Verzerrungen überprüft werden. Der letzte Beurteilungsschritt dient jedoch als Versicherung gegen offensichtliche Fälle des Spielens des Systems oder gegen Fälle mit signifikanten Faktoren, die vom Algorithmus nicht berücksichtigt werden.

Wie ich bereits sagte, sind meine einzigen wirklichen Probleme mit dem Buch Vereinfachungen, von denen ich denke, dass sie die Realität sind, ein Sachbuch für den populären Konsum zu veröffentlichen. Zum Beispiel ermutigt uns die Terminologie von "WMD", binär zu denken (ist es oder ist es nicht so?), Anstatt ein Kontinuum von OK bis beunruhigend zu sehen, was meiner Meinung nach eine bessere Widerspiegelung der Realität ist.

Abschließend möchte ich hinzufügen, dass sich dieses im September 2016 veröffentlichte Buch als recht vorausschauend erwiesen hat. Die öffentliche Kontroverse über "gefälschte Nachrichten" und den Facebook-Newsfeed-Algorithmus entstand kurz nach seiner Veröffentlichung. Interessanterweise, denke ich, bevor dies geschah, hätten nur wenige den Newsfeed-Algorithmus als potenzielle Massenvernichtungswaffe identifiziert, da der Vektor für "Destruktivität" nicht offensichtlich war. O'Neil hat seit der Veröffentlichung des Buches einige Artikel zu diesem Thema geschrieben, die es wert sind, nachgeschlagen zu werden.

Dieses Buch zeigt die verborgenen Möglichkeiten, wie die Verwendung von "Big Data" weitreichender und schädlicher ist als erwartet. Big Data bezieht sich auf die enorme Menge an Informationen, die jetzt aufgrund von Computern verfügbar sind, die gesammelt, analysiert und an Dritte verkauft werden.

Insbesondere, wie der Autor überzeugend demonstriert, bestrafen Anwendungen von Big Data „die Armen und Unterdrückten in unserer Gesellschaft und machen die Reichen reicher“. Sie malt ein ernüchterndes Bild.

Der Autor nennt die mathematischen Modelle, die Big Data verwenden und zu solchen schädlichen Effekten verwendet werden, "Weapons of Math Destruction" oder "WMDs".

In Massenvernichtungswaffen erklärt sie: „Giftige Annahmen. . . Von Mathe getarnt bleiben weitgehend ungetestet und unbestritten. “ Sie erstellen ihre eigenen toxischen Rückkopplungsschleifen und leiten in einem Ausmaß, das mich schockierte, Entscheidungen in einer Vielzahl von Bereichen, die von Werbung über Gefängnisse und Gesundheitswesen bis hin zu Einstellungs- und Entlassungsentscheidungen reichen. Am wichtigsten ist, dass sie sich auf esoterische mathematische Modelle stützen, unabhängig davon, ob sie häufig auf voreingenommenen und / oder fehlerhaften Prämissen beruhen:

"Sie sind undurchsichtig, unbestritten und nicht rechenschaftspflichtig und arbeiten in einer Größenordnung, um Millionen von Menschen zu sortieren, anzuvisieren oder zu" optimieren "."

Das Ziel ist immer Profit, aber was verloren geht, ist Fairness, das Erkennen individueller Ausnahmen und einfaches Mitgefühl und Menschlichkeit, was die Ungleichheitslücke vergrößert, ganz zu schweigen von Abwärtsspiralen für einige unglückliche Opfer, denen es fast unmöglich ist, zu entkommen.

Ich bin überhaupt nicht mit Mathematik vertraut, aber der Autor schafft es zu erklären, wie das alles funktioniert, ohne dass man bestimmte Algorithmen verstehen muss. Sie liefert Beispiele aus den Bereichen Lehrerbewertungen, Einstellungsentscheidungen im Allgemeinen, Werbung, Versicherungen, Polizeiprogramme, Hochschulzulassungen, Kredit- und Kreditbewertung sowie politisches Targeting.

In einem der traurigsten Kapitel (und sie sind leider alle traurig) geht es um die vielen gemeinnützigen Universitäten (die Trump University kommen in den Sinn), die sich speziell an Menschen in großer Not richten und ihnen überteuerte Erfolgsversprechen verkaufen. Ihre Zitate aus den Marketingmaterialien dieser Orte sind schrecklich. Sie suchen nach Personen, die „isoliert“ sind, ein „geringes Selbstwertgefühl“ haben, „nur wenige Menschen in ihrem Leben haben, die sich um sie kümmern“ und sich „festgefahren“ fühlen. Sie zeigt, wie sie Google-Suchanfragen, Wohndaten und Facebook-Beiträge verwenden. ua "die verzweifeltsten unter uns in enormem Ausmaß" zu finden:

„In der Bildung versprechen sie, was normalerweise ein falscher Weg zum Wohlstand ist, und berechnen gleichzeitig, wie sie die Dollars maximieren können, die sie aus jedem potenziellen Kunden ziehen. Ihre Operationen verursachen immense und schändliche Rückkopplungsschleifen und lassen ihre Kunden unter Schuldenbergen begraben. “

Das Kapitel über die Funktionsweise der „Stop and Frisk“ -Polizei ist ebenfalls sehr deprimierend. und in Wahrheit haben wir die tragischen Folgen in Stadt für Stadt gesehen.

Tatsache ist, dass das ganze Buch eher ein Wermutstropfen ist, wenn auch ein wichtiger. Obwohl O'Neil einige Programme zitiert, die Big Data verwendet haben, um Menschen zu helfen, anstatt einige zu bereichern und den Rest zu unterdrücken, kann man wirklich denken, dass „moralische Vorstellungskraft“ Vorrang vor Vorurteilen und Gier haben kann? Persönlich bin ich mir nicht so sicher. Die Autorin liefert Ideen, wie die Nutzung von Big Data geändert (und vor allem reguliert) werden kann. Sie ist jedoch optimistischer als ich und endet mit einer positiven Bemerkung:

„Wir müssen zusammenkommen, um diese Massenvernichtungswaffen zu überwachen, zu zähmen und zu entwaffnen. Ich hoffe, dass sie wie die tödlichen Kohlengruben vor einem Jahrhundert als Relikte der frühen Tage dieser neuen Revolution in Erinnerung bleiben, bevor wir gelernt haben, wie man Fairness und Rechenschaftspflicht in das Zeitalter der Daten bringt. Mathematik verdient viel mehr als Massenvernichtungswaffen, und Demokratie auch. “

Begutachtung: Ich hoffe, dass dieses wichtige Buch viel Aufmerksamkeit erhält. Mein Mann macht immer das Argument über Datenschutzbedenken, was zu tun ist we Interessiert es uns, wenn wir nichts falsch gemacht haben? Dieses Buch zeigt, dass es erstaunlicherweise nicht ausreicht, Big Data daran zu hindern, uns in vielen Aspekten unseres Lebens zu verletzen. Es ist eine wichtige Lektion für die heutige Welt und die Welt unserer Kinder.

"Big-Data-Prozesse kodifizieren die Vergangenheit. Sie erfinden die Zukunft nicht. Dies erfordert moralische Vorstellungskraft, und das können nur Menschen bieten."

Für die Arbeit habe ich viel über Big Data gelesen. Viel. Und es ist alles im Grunde * Jackoff Motion * uhhnnnggg big dataaaa unnnnnnngggghhh yeah. Und das bringt mich dazu zu sterben.

Dieses Buch steht Big Data und Algorithmen erfrischend kritisch gegenüber, und zwar aus einem gesegneten menschlichen Ansatz. Sie können eine Menge Statistiken und Trockenheit erwarten, aber es sind viele Geschichten aus dem wirklichen Leben, um O'Neils Argumente zu veranschaulichen, was das Lesen und die Pflege erleichtert. Es ist auch eine ziemlich schnelle Lektüre und verschwendet nicht viel Zeit damit, das Konzept zu definieren. O'Neil macht es richtig und ihre Argumente sind mächtig. Wenn ich mich jemals frage, warum ich meinen Kreditkarten-APR nicht auf ein vernünftiges Niveau senken kann, obwohl meine Kreditwürdigkeit ausgezeichnet ist, muss ich denken - vielleicht ist es meine Postleitzahl! So viele Daten werden für so viele Dinge berücksichtigt, die arme und farbige Menschen auf unverhältnismäßige Weise betreffen. Sie zahlen möglicherweise 5x mehr für die Autoversicherung, weil Sie zu bestimmten Tageszeiten durch "schlechte" Postleitzahlen fahren.

Dieses Buch ist ziemlich erstaunlich und ich bin so froh, dass ich es gelesen habe.

Gutes Zeug. Gruseliges Zeug. Ein Buch darüber, wie schlecht erstellte Algorithmen die Menschen auf vielfältige Weise durcheinander bringen, um Prozesse zu "vereinfachen" - auch ein Buch über einen Teil dessen, was mit den USA nicht stimmt, weil es nicht immer offensichtlich ist, wenn Sie es sind in Europa leben und bemerken, dass die Leute dort verrückt nach ihren Kredit-Scores und Postleitzahlen sind.

Ich habe einige Probleme mit ihrer Interpretation von Dingen (wie überall "Rassismus" zu schreien und widersprüchliche Punkte zu machen, die so ziemlich "Dinge sollten gut sein, weil sie jetzt schlecht sind und das nicht gut"), aber Die Informationen sind interessant und aufschlussreich in einer Weise, die sie vielleicht nicht beabsichtigt hat.

Wir haben alle die Big Data-Bücher gesehen: Die Zukunft ist jetzt! A / B-Tests für immer! AlphaGo hat es zerquetscht! OkCupid sagt, du solltest kein hemdloses Fischbild haben, du entzückend langweiliger Redneck!

Aber Big Data hat eine Schattenseite, und O'Neil geht jeden Abschnitt unseres Lebens durch, um zu zeigen, wie diese "Modelle" gegen uns eingesetzt werden können, um Waren aus uns herauszuholen und uns arm zu halten. Leider verliert sie auch ihre Argumentationskraft, die mit Nuancen einhergehen könnte, und sie muss Nuancen ignorieren, um sie für den Laien verständlich zu machen (mit anderen Worten, ich denke nicht, dass sie für den Laien sehr wohltätig ist).

Das erste große Problem, das sie anspricht und für das es viele Beweise gibt, ist: Transparenz. Viele Big-Data-Modelle, die wir täglich verwenden (und in die wir eingespeist werden), sind nicht transparent. Es sind undurchsichtige Gleichungen, die auf einer Serverfarm sitzen. Ein Lehrer, der nach einem Mehrwertmodell bewertet wird, weiß nicht, woher seine Punktzahl stammt. Ein potenzieller Mitarbeiter weiß nicht, warum er seine Psyche-Bewertung nicht bestanden hat. Ein Verbrecher, der vor dem Richter steht, weiß nicht, warum die Punktzahl besagt, dass er eher ins Gefängnis zurückkehren würde.

Dies ist ehrlich gesagt einer meiner größten Imbissbuden, und es trifft in der Nähe von zu Hause. Wenn Sie eine Kreditkarte beantragen, erfahren Sie, warum Sie keine erhalten haben. Sie können auf Ihren "Datenpunkt" zugreifen und wissen, warum Sie den FICO-Score haben, den Sie machen. Google und Facebook teilen Ihnen die Metriken mit, mit denen sie Ihre Anzeigen in ihren Einstellungen schalten. Ich weiß, dass Amazon versucht, mich dazu zu bringen, eine andere Brieftasche zu kaufen, obwohl ich gerade eine Brieftasche gekauft habe, weil sie mir fünfhundert Anzeigen für eine andere Brieftasche gezeigt haben. Aber was ist mit den Anzeigen, die Forbes versucht, mir zu liefern? Die Kekse auf meinem Computer, die mich beobachten? Ich habe keine Ahnung, was sie tun, und weiß nicht genau, wie ich es herausfinden kann. Was ist mit nicht regulierten Kreditsystemen, die es im Web 2.0-Land gibt? Die Bank of America kontrolliert das Rennen und versucht, das Redlining zu stoppen, wenn sie eine neue Politik machen. Aber wird Peter Thiel versuchen, dies zu tun, wenn er in E-Corp investiert? Wahrscheinlich nicht.

Das zweite große Problem bei einigen Big Data-Systemen besteht darin, dass sie Rückkopplungsschleifen erzeugen, die die Ungleichheit erhöhen. Hier ist O'Neil super schwach, außer wenn sie das Beispiel der Strafjustiz anspricht - wir könnten Big Data verwenden, um Menschen aus dem Gefängnis herauszuhalten und Programme zu entwickeln, die Rückfälle verringern, aber stattdessen verwenden wir es als Mittel, um zu bleiben Weiße aus dem Gefängnis ... aber soll ich wirklich glauben, dass Anzeigen dazu beitragen, arme Menschen ärmer zu machen? Sie bringt gemeinnützige Schulen mit gezielten Anzeigen auf den Markt, um Einwanderer und arme Menschen in massive Studentenschulden zu locken, um Gewinne zu erzielen, und obwohl ich zugebe, dass das super zwielichtig ist, ist es nicht die Schuld der gezielten Anzeigen, oder?

Das dritte Problem bei diesen "Weapons of Math Destruction" ist, dass sie häufig verzerrte Daten haben. Dies ist die alte Zeile "Müll rein, Müll raus", außer jetzt ist es "rassistischer / sexistischer Müll rein, rassistischer / sexistischer Müll raus". Wenn Sie beispielsweise ein Beschäftigungssystem erstellen, das Lebensläufe herausfiltert, anstatt es in einer Reihe älterer Lebensläufe zu unterrichten, geben Sie die Tendenz dieser älteren Lebensläufe ein. Wenn der Typ, der diese Lebensläufe las, rassistisch war, könnten Sie ein rassistisches Modell unterrichten.

Technisch gesehen hat O'Neil zwei andere "schlechte Punkte" in Bezug auf "Massenvernichtungswaffen", aber sie sind nur maßstabsgetreu.

Nun, es gibt viele Probleme in diesem Buch und O'Neil geht auf Tangenten. Zum einen sind die von ihr vorgebrachten Massenvernichtungswaffen weniger "Waffen" als Symptome eines größeren gesellschaftlichen Problems. Nehmen wir "Demokratie": Unser derzeitiges politisches System ermöglicht es einigen Menschen - im Grunde genommen denen, die in Orlando, Florida und Pennsylvania leben - zu entscheiden, wer der Präsident sein wird. Dies ist durcheinander, aber es bedeutet, dass die Demokratische Partei ein leistungsfähiges maschinelles Lernsystem aufbauen könnte, das am effizientesten Geld an Orten ausgibt, um Herz und Verstand zu verändern und zu gewinnen. Sie mag dieses Big-Data-System wirklich nicht und sagt, es sei eine Bedrohung für die Demokratie ...

... aber das Wahlsystem selbst ist ein riesiges Problem und eine Bedrohung für die Demokratie (siehe: Wahl von 2000)! Big Data hat nichts damit zu tun!

Das Buch hätte länger sein müssen und mehr Gegenbeispiele für positive Datenmodelle enthalten müssen (ich kann mich nur an zwei erinnern, FICO und einige Wohnungsmodelle). Ich denke, sie hätte, wenn sie keine handgeschriebenen Gleichungen oder Schritt-für-Schritt-Anleitungen gehabt hätte, zumindest einige Hintergrundinformationen zur tatsächlichen Datenwissenschaft erhalten sollen. Die Art und Weise, wie es geschrieben steht, lässt es scheinen, als wäre sie eine Magier-Mathematikerin, die vom Elfenbeinturm herabgewandert ist und erkannt hat, dass Banker Magie für das Böse einsetzen, und jetzt will sie die Hölle erwecken.

Aber ich denke, wenn ich wollte, dass Autoren aufhören, populäre Sachbücher zu schreiben, die sie A / B in ihren Blogs getestet und in TED-Vorträge umgewandelt haben, sollte ich aufhören, populäre Sachbücher zu lesen.

Dies ist kein Mathematikbuch, sondern ein Buch darüber, wie Mathematik verwendet und missbraucht wird. Jeder, der sich für öffentliche Ordnung, Management-Theorien oder Bewertungssysteme interessiert, sollte dies lesen.

Mathe ist wunderbar, aber es macht nur das, was Sie ihm sagen. Die These dieses Buches ist, dass Algorithmen, die in vielen Facetten unseres Lebens verwendet werden, schlecht entworfen werden können, die falschen Dinge messen oder einfach falsch angewendet werden. Nur weil ein Computer eine Zahl oder ausgefallene Statistiken ausspuckt, heißt das nicht, dass es fair ist oder blind vertraut werden sollte. Als jemand, der Vorhersagemodelle aus Daten erstellt, verstehe ich das, aber ich habe ehrlich gesagt nie darüber nachgedacht, wie Modelle destruktiv sein können.

Spoiler - hier sind einige Kriterien, die einen Algorithmus oder ein Modell zu einer Waffe der mathematischen Zerstörung machen:

1) Es ist weit verbreitet
2) Es ist undurchsichtig - diejenigen, die gemessen oder bewertet werden, wissen nicht, wie Algorithmen angewendet werden oder welche Kriterien verwendet werden, um Entscheidungen zu treffen, und in einigen Fällen wissen sie möglicherweise nicht einmal, welche Metriken verwendet werden, um den Algorithmus zu speisen
3) Sie können das Leben der Menschen zerstören - Arbeitsplätze können verloren gehen, Verhaftungen können vorgenommen, Kredite verweigert werden usw.
4) Sie haben oft keine Rückkopplungsschleife, um zu überprüfen, ob sie funktionieren

Ich werde sagen, dass sich der Autor ohne Zweifel politisch nach links lehnt. Wenn Sie dafür sensibel sind, können Sie entscheiden, dass Ihnen dieses Buch nicht gefällt. Die Regulierung von Algorithmen ist eine gute Idee, aber keine, die im aktuellen politischen Klima 2016 viel Anklang finden wird. Vielleicht können andere Nationen in diesem Bereich eine Führungsrolle übernehmen.


2016 Lese-Herausforderung aktiviert das Kontrollkästchen für 12. Ein Buch, das von jemandem empfohlen wurde, den Sie gerade kennengelernt haben . Dies wurde mir von einem Kollegen empfohlen, mit dem ich mehrere Artikel gemeinsam verfasst habe, aber ich hatte ihn bis vor einigen Monaten noch nie persönlich getroffen.

Es tut mir ziemlich leid, dass ich dieses Buch erst im Dezember gelesen habe, sonst hätte ich bei den Goodreads Choice Awards dafür gestimmt. Ein prägnantes, klar geschriebenes und augenöffnendes Buch, das noch schrecklicher ist, denn es ist tatsächlich Science-Fiction der erschütternden Art, die Realität wird, während wir sprechen. Ich gehöre zu dem glücklichen (?) Teil der Welt, in dem die Technologie immer noch hinter der heutigen Norm in Amerika zurückbleibt, aber leider ist es unvermeidlich, dass wir sie früher oder später alle einholen. Und dann fallen immer mehr Aspekte unseres Lebens in den Bereich der automatisierten Datenanalyse. Entgegen der weit verbreiteten Meinung, dass Algorithmen rein objektiv sind, zeigt uns dieses Buch, dass Modelle Meinungen sind, die in die Mathematik eingebettet sind. Der Autor identifiziert, wie Algorithmen, die sowohl für die Datenerfassung als auch für die Dateninterpretation von wesentlicher Bedeutung sind, manipuliert werden können, auch wenn sie zunächst das Konzept der Verwendung von "Best Practices" beanspruchen. Dank der Rückkopplungsschleife können mathematische Modelle praktisch alles beweisen, was ihre Entwickler von ihnen erwarten, abhängig von ihren Zielen und finanziellen Interessen. Ein Algorithmus ist nicht weniger rassistisch als ein Mensch, und letztendlich verstärken Algorithmen laut O'Neil die Diskriminierung und vergrößern die Ungleichheit, „indem sie die Angst und das Vertrauen der Menschen vor der Mathematik nutzen, um sie daran zu hindern, Fragen zu stellen“. Das System ist so manipuliert, dass es den Status quo aufrechterhält - arme Menschen bleiben arm oder werden noch ärmer, und die Reichen - nun, sie kaufen sich einfach den Weg aus dem mathematischen Profil und bleiben reich. Oder wird wahrscheinlich reicher. Wir leben in einer traurigen, traurigen Welt ...

Ein kurzer und prägnanter Überblick über die Probleme, die durch die Algorithmen verursacht werden, die jetzt unsere Gesellschaft stillschweigend regieren. Obwohl die Übersicht nützlich ist, war ich etwas überrascht, wie wenig neue Informationen hier enthalten waren. Die Themen, die sie aufwirft, sollten jedem bekannt sein, der die Auswirkungen von Big Data auch nur flüchtig verfolgt hat. Facebook-Nachrichtenblasen, Versicherungsprofile und andere häufige Phänomene sind die wichtigsten Beispiele, die sie verwendet. Ich habe den Fokus des Buches auf soziale Gerechtigkeit geschätzt, was angesichts der Tatsache, dass die Autorin eine ehemalige Hedge-Fonds-Analystin ist, die von dem bösartigen Verhalten, das sie an der Wall Street gesehen hat, enttäuscht ist, Sinn macht.

Eine wichtige Erkenntnis ist, dass arme und mittelständische Menschen bestrebt sind, ihr Leben durch Algorithmen zu verarbeiten, während die Reichen weiterhin von realen persönlichen Verbindungen abhängen, um durchzukommen. Tatsächlich werden die Massen in rohe Zahlen mit angehängten Punktzahlen umgewandelt, während eine kleine Elite weiterhin authentische "Persönlichkeiten" sein wird, die nuancierter leben.

Dieses Buch beschreibt einige Möglichkeiten, um sich gegen undurchsichtige algorithmische Leistung zu wehren und diese Algorithmen fairer zu gestalten. Eine solide Übersicht, aber nichts bahnbrechendes.

Ich habe dieses Buch mit einem ambivalenten Ausblick auf seine Prämisse begonnen, aber am Ende war ich ein Gläubiger und meine Skepsis gegenüber Algorithmen nahm zu.

Fürchte dich nicht, Mathophobe! Trotz seines beruflichen Hintergrunds im akademischen Bereich, im Finanzbereich als Hedge-Fonds-Quant und im Online-Marketing als Algorithmus-Designer vermeidet O'Neil mathematische Theorien und Formeln in diesem gut lesbaren Überblick über die Erweiterung von Big Data-Anwendungen. Die Beispiele, die sie verwendet, befinden sich in vertrauten Bereichen: Lehrerbewertungen, Hochschulrankings, Strafverfolgung, Einstellung von Unternehmen und mikroorientiertes Marketing. Aufgrund ihrer Vertrautheit rechtfertigen sie eine genaue Prüfung.

Ihre erste Beobachtung ist, dass Big Data manchmal nicht so groß ist. Sollten Unterrichtseffektivität, Bezahlung und Arbeitsplatzsicherheit durch eine Metrik bestimmt werden, die auf einem Klassenzimmer mit 30 Schülern basiert? Sie zielt mit dieser Kritik sowohl auf die zugrunde liegende Annahme der Wertschöpfungsmodellierung als auch auf deren Auswirkungen auf Lehrer in Washington DC ab

Ihre Diskussion über „Proxies“ regt besonders zum Nachdenken an. Effektivität eines Lehrers, hervorragende College-Leistungen, Wahrscheinlichkeit eines Rückfalls - all dies sind komplexe, mehrdimensionale und höchst subjektive Bereiche. Wir alle wissen das. Die Einfachheit eines Algorithmus, der ein absolutes Ranking erzeugt, ist jedoch verlockend. O'Neil weist darauf hin, dass diese Proxy-Variablen nicht nur unzuverlässig sind, sondern auch leicht gespielt werden können, sobald die grundlegenden Datenpunkte verstanden sind. Hohe Investitionen in Einrichtungen und Sportteams, die Werbung machen, können und werden verwendet, um ein Ranking zu verbessern. Darüber hinaus wird die zentrale Berücksichtigung der Kosten in den Algorithmen weggelassen. (Kapitel 3: „Wettrüsten; aufs College gehen“)

Ein weiterer Bereich, den sie effektiv untersucht, ist die zunehmende Verwendung von Persönlichkeitstests bei der Einstellung (Kapitel 6: „Nicht dienstberechtigt; Arbeit finden). Ein allgemeines Thema, das sie hier zitiert, ist, dass solche Tests niemals für ihre Vorhersagen verantwortlich sind. Niemand weiß jemals, ob ein Kandidat, der durch ein Testergebnis eliminiert wurde, gut zu diesem Job passt. (Eine Ironie, die O'Neil nicht erwähnt, ist, dass eine Studie aus dem Jahr 2010 ergab, dass 3% einer Stichprobe von 203 Kandidaten für Führungsqualitäten in ihren Bewertungen psychopathische Merkmale aufwiesen (https://www.forbes.com/sites/victorli...). Das gesamte Kapitel unterstützt ihre einleitende Behauptung: „Sie [Big-Data-Modelle] sind auf Massenware spezialisiert und billig. Das ist ein Teil ihrer Anziehungskraft ... Die Privilegierten werden, wie wir immer wieder sehen werden, mehr von Menschen verarbeitet, die Massen von Maschinen. “ (P.8)

For Profit Colleges sind Gegenstand der aktuellen Debatte über die öffentliche Ordnung. O'Neil macht erneut äußerst beunruhigende Angaben. Sie beschreibt den aggressiven Einsatz personalisierter Marktsegmentierung. (Kapitel 4: „Propagandamaschine; Online-Werbung“). Eine Reihe von Online-Techniken zur Lead-Generierung schränkt die Ziele für das Personal ein, das mit überzeugenden Skripten und einer Liste von Druckpunkten ausgestattet ist. Ihre Ziele sind nicht nur die Unachtsamen, sondern auch die Verletzlichsten. "Laut dem ProPublica-Bericht fließen zwischen 20 und 30 Prozent der Werbebudgets an gemeinnützigen Hochschulen in die Lead-Generierung."

Big Data hat sich einen guten Ruf erarbeitet, teilweise aus dem Buch und dem nachfolgenden Film MONEYBALL. O'Neil kontrastiert die Beispiele in ihrem Buch mit der Verwendung von Algorithmen im Baseball. Sie hebt krasse Unterschiede hervor. Sie fordert auch, dass wir als Bürger das Thema Fairness gegen das Versprechen der Effizienz abwägen. Fairness ist die übersehene Seite der Gleichung. Angesichts des Ausmaßes seiner Auswirkungen müssen wir uns als Gesellschaft fragen, wer und wie sich diese Big-Data-Modelle auswirken, und wir müssen fortlaufende Prüfungen der Rechenschaftspflicht fordern. Es ist eine ernüchternde Erklärung.

Waffen der Mathezerstörung macht einige gute Punkte über die Verwendung und den Missbrauch von mathematischen Modellen und Big Data. Die überzeugendsten Argumente konzentrieren sich auf die Verwendung von Vorhersagemodellen und deren Verwendung bei strafrechtlichen Verurteilungen, die Überwachung der Fahrgewohnheiten zur Bestimmung der Autoversicherungssätze und die Überwachung der körperlichen Fitness als Teil des Krankenversicherungsschutzes.

Das Buch geht jedoch schief, da es sich auf Ungleichheit entlang der Rassen- und Klassengrenzen konzentriert. Das Ungleichheitsproblem mit Big Data sollte sich auf die Kluft zwischen der Bevölkerung im Allgemeinen und der geringen Anzahl von Personen konzentrieren, die die Mathematik verstehen, die in die Modelle einfließt.

Als Lösung für das Problem der Big-Data-Modellierung lobt O'Neil die Arbeit des Web Transparency and Accountability Project in Princeton. In diesem Projekt werden gefälschte Webprofile erstellt, um die "Behandlung, die diese Roboter erhalten" in Bezug auf Rasse, Geschlecht, Einkommen und Behinderung zu bestimmen. So gut gemeint das Projekt auch klingt, es klingt eher wie ein dystopischer Roman mit einer wohlwollenden Elite-Gruppe, die als Web-Bias-Monitore fungiert.