Superintelligenz wurde 2014 veröffentlicht und hatte bereits Zeit, ein Kultklassiker zu werden. Mit Entschuldigung, dass ich zu spät zur Party gekommen bin, hier sind meine zwei Cent.

Für Menschen, die noch nichts davon gehört haben, ist das Buch eine ernsthafte, hartnäckige Untersuchung der Risiken, die mit der wahrscheinlichen kurz- bis mittelfristigen Ankunft von Maschinen verbunden sind, die wesentlich intelligenter sind als wir sind. Bostrom ist dafür gut qualifiziert. Er leitet das Future of Humanity Institute in Oxford, wo er auch Professor an der Abteilung für Philosophie ist, viele relevante Hintergründe gelesen hat und jeden kennt. Das Cover zitiert Zitate von Bill Gates, Elon Musk, Martin Rees und Stuart Russell, Co-Autor des weltweit führenden AI-Lehrbuchs. Zu den Personen, denen in den Danksagungen gedankt wurde, gehört Demis Hassabis, der Gründer und CEO von Googles Deep Mind. Warum nehmen wir vorerst nicht an, dass Bostrom die Zuverlässigkeitsüberprüfung besteht und es verdient, ernst genommen zu werden? Was sagt sie?

Lassen Sie uns zunächst die Gründe untersuchen, warum dies eine große Sache ist. If Maschinen können so weit kommen, dass sie sogar ein bisschen schlauer sind als wir. Sie werden bald viel schlauer sein als wir. Maschinen können viel schneller denken als Menschen (unser Gehirn ist nicht gut auf Geschwindigkeit optimiert); Der Unterschied liegt mindestens bei Tausenden und wahrscheinlicher bei Millionen. Nachdem sie uns eingeholt haben, werden sie uns schnell überholen, da sie Tausende oder Millionen ihrer Jahre für jeden von uns leben. Natürlich können Sie immer noch argumentieren, wenn Sie möchten, dass es sich um eine theoretische Extrapolation handelt, dass dies nicht in Kürze geschehen wird usw. Aber die Beweise deuten auf das Gegenteil hin. Die Liste der Dinge, die Maschinen ungefähr so ​​gut machen wie Menschen, ist jetzt sehr lang, und es gibt einige Dinge, Dinge, in denen wir Menschen einst stolz darauf waren, gut zu sein, und die sie viel besser machen. Mehr dazu in Kürze.

Wenn wir also eine künstliche Intelligenz auf menschlicher Ebene erzeugen können, werden wir kurz darauf eine künstliche Superintelligenz haben. Was bedeutet "kurz danach"? Offensichtlich weiß niemand, was die Dichotomie "schneller Start / langsamer Start" ist, die im Buch immer wieder auftaucht. Aber wahrscheinlich wird der "langsame Start" höchstens ein oder zwei Jahre dauern, und der schnelle Start kann Sekunden dauern. Plötzlich teilen wir unseren Planeten mit einem Wesen, das viel schlauer ist als wir. Bostrom macht sich einige Mühe, um Ihnen zu helfen, zu verstehen, was "weitaus schlauer" bedeutet. Wir sprechen nicht von Einstein gegen eine normale Person oder sogar von Einstein gegen eine geistig subnormale Person. Wir sprechen von Mensch gegen Maus. Es erscheint vernünftig anzunehmen, dass die Superintelligenz schnell lernen wird, all die Dinge zu tun, die eine sehr kluge Person tun kann, einschließlich für den Anfang: Formulierung und Durchführung komplexer strategischer Pläne; Geld verdienen in geschäftlichen Aktivitäten; Baumaschinen, einschließlich Roboter und Waffen; die Sprache gut genug benutzen, um die Leute davon zu überzeugen, dumme Dinge zu tun; usw. usw. Es wird auch in der Lage sein, Dinge zu tun, die wir nicht nur nicht tun können, sondern an die wir noch nicht einmal gedacht haben.

Und so kommen wir zur ersten Schlüsselfrage: Nachdem Sie Ihre Superintelligenz hervorgebracht haben, wie halten Sie sie unter Kontrolle, wenn Sie eine Maus und ein Mensch sind? Das Buch untersucht dies sehr detailliert und entwickelt eine beliebige Anzahl bizarrer und genialer Pläne. Aber das Fazit ist, dass egal wie narrensicher Ihr Schema erscheinen mag genau wie Du ein Geschenk für die Welt bist.Es gibt absolut keine Möglichkeit, sicher zu sein, dass es gegen einen Agenten funktioniert, der so viel schlauer ist. Es gibt nur eine mögliche Strategie, die eine Chance hat zu arbeiten, und das ist, Ihre Superintelligenz so zu gestalten, dass sie in Ihrem besten Interesse handeln will und keine Möglichkeit hat, die Regeln ihrer Konstruktion zu umgehen, um ihr Verhalten zu ändern, und eine andere Superintelligenz aufzubauen, die ändert sein Verhalten usw. Es muss aufrichtig und ehrlich das tun wollen, was für Sie am besten ist. Dies ist natürlich das Gebiet von Asimov Three Laws; und wie Bostrom sagt, lesen Sie Asimovs Geschichten und sehen, wie schwierig es ist, klare Regeln zu formulieren, die festlegen, was es bedeutet, im besten Interesse der Menschen zu handeln.

Die zweite Schlüsselfrage lautet also: Wie baut man einen Agenten auf, der von sich aus "das Richtige" tun will oder, wie Sokrates es vor zweieinhalbtausend Jahren ausdrückte, tugendhaft ist? Wie Sokrates abschließt, zum Beispiel in Weniger und Euthyphrosind diese Probleme wirklich ziemlich schwer zu verstehen. Bostrom verwendet eine Sprache, die etwas weniger poetisch und etwas mathematischer ist, aber er kommt zu ziemlich denselben Schlussfolgerungen. Noch hat niemand eine Ahnung, wie es geht. Das Buch erreicht diesen Punkt und gibt einige abschließende Ratschläge. Es gibt viele Details, aber das Endergebnis ist angesichts der bisherigen Entwicklungen nicht überraschend: Seien Sie sehr, sehr vorsichtig, denn dieses Zeug ist unglaublich gefährlich und wir wissen nicht, wie wir die kritischen Probleme angehen sollen.

Ich denke, einige Leute haben Probleme mit Superintelligenz Aufgrund der Tatsache, dass Bostrom einige etwas seltsame Überzeugungen hat (er ist überzeugt, dass wir das gesamte Universum leicht kolonisieren können, und er glaubt, dass Simulationen genauso real sind wie die Dinge, die sie simulieren). Ich sehe nicht, dass diese Probleme die Hauptargumente wirklich sehr beeinflussen. Lassen Sie sich also nicht von ihnen stören, wenn Sie sie nicht mögen. Ich vermute auch, dass einige andere Leute den Stil nicht mögen, was ebenfalls etwas seltsam ist: Es ist eine Art Management-Sprache mit viel Philosophie und KI-Terminologie, und weil es Philosophie ist, gibt es viele seltsame Gedankenexperimente, die oft auftauchen als ein bisschen wie Science-Fiction. Leute, entspann dich. Philosophen machen zumindest seit Platon Gedankenexperimente. Es ist völlig normal. Sie müssen sie nur richtig lesen. Lassen Sie uns abschließend noch einmal auf Platon schauen (denken Sie daran, jede Philosophie ist nicht mehr als Fußnoten zu Platon) und das Argument aus dem Theaetetus. Was auch immer hochfalutinisch behauptet wird, Wissenschaft ist nur Meinungen. Gute Meinungen stimmen mit neuen Fakten überein, die später auftauchen, und schlechte Meinungen nicht. Seitdem mussten wir dreieinhalb Jahre lang neue Fakten betrachten Superintelligenz wurde publiziert. Wie ist die Scorecard?

Nun, ich habe Angst zu sagen, dass es deprimierend gut aussieht. Zu Beginn der Geschichte der KI sagten die Leute, wie das Buch uns erinnert, dass eine Maschine, die Schach auf Großmeister-Niveau spielen könnte, der größte Weg wäre, ein wirklich intelligenter Agent zu sein. Das IBM-Team baute Deep Blue, das 1997 Garry Kasparov besiegte, und die Leute sagten sofort, Schach sei kein fairer Test, man könne ihn mit brutaler Gewalt knacken. Go war die eigentliche Herausforderung, da es Verständnis erforderte. Ende 2016 und Mitte 2017 gewann Deep Minds AlphaGo Spiele gegen zwei der drei besten Go-Spieler der Welt. Das wurde auch als kein fairer Test abgetan: AlphaGo wurde auf Millionen von Zügen von Top-Go-Matches trainiert, also wurden nur Muster entdeckt. Dann, Ende letzten Jahres, lernte Alpha Zero in ein paar Tagen Go, Chess und Shogi alleine, mit der gleichen allgemeinen Lernmethode und ohne menschliche Beispiele, aus denen man trainieren konnte. Es spielte alle drei Spiele nicht nur besser als jeder Mensch, sondern auch besser als alle früheren von Menschen abgeleiteten Software. Wenn man sich die veröffentlichten Spiele ansieht, kann jeder starke Schach- oder Go-Spieler sehen, dass er eine Vielzahl komplexer strategischer und taktischer Prinzipien ausgearbeitet hat. Es geht nicht mehr darum, "wirklich zu verstehen, was es tut". Es versteht diese sehr schwierigen Spiele offensichtlich viel besser als selbst die Top-Experten nach nur wenigen Stunden Studium.

Menschlichkeit, ich denke das war unsere letzte Warnung. Überlegen Sie sich mehr Ausreden, wenn Sie möchten, aber es ist nicht klug. Und lese Superintelligenz.

Es gab eine Flut von Ausbrüchen von Physikern, die es besser wissen sollten, einschließlich Stephen Hawking, der sagte: "Philosophie ist tot - alles, was wir jetzt brauchen, ist Physik" oder entsprechende Worte. Ich fordere jeden von ihnen auf, dieses Buch zu lesen und sage immer noch, dass Philosophie sinnlos ist.

Es ist sofort darauf hinzuweisen, dass dies kein populärwissenschaftliches Buch ist. Ich würde sagen, die erste Handvoll Kapitel ist für alle gedacht, aber danach ist der Großteil des Buches wahrscheinlich am besten für Studenten der Philosophie oder KI geeignet, die mehr wie ein Lehrbuch lesen als alles andere, besonders in seinen verbissenen Details - aber Wenn Sie sich für Philosophie und / oder künstliche Intelligenz interessieren, lassen Sie sich davon nicht abschrecken.

Was Nick Bostrom tut, ist die Untersuchung der Auswirkungen der Entwicklung künstlicher Intelligenz, die über die menschlichen Fähigkeiten im allgemeinen Sinne hinausgeht. (Natürlich haben wir bereits eine Art KI, die über unsere Fähigkeiten im engeren Sinne wie Rechnen oder Schachspielen hinausgeht.) In den ersten Kapiteln untersucht er, wie dies möglich sein könnte - und weist darauf hin, dass die Die Zeitskala ist sehr vage. (Seit der Erfindung elektronischer Computer haben Experten die Entwicklung einer effektiven KI in etwa 20 Jahren in die Zukunft gebracht, und dies ist immer noch der Fall.) Trotzdem scheint es durchaus machbar, dass wir eine mehr als menschliche KI haben werden - a superintelligente KI - bis zum Ende des Jahrhunderts. Der Wie-Aspekt ist jedoch nur ein kleiner Teil dieses Buches.

Das eigentliche Thema hier ist, wie wir mit einer solchen "klüger als wir" KI umgehen würden. Was würden wir darum bitten? Wie würden wir es motivieren? Wie würden wir es kontrollieren? Und wenn man bedenkt, dass es intelligenter ist als wir, wie könnten wir verhindern, dass es die Welt übernimmt oder die Aufgaben, die wir ihm geben, für seine eigenen Zwecke untergräbt? Es ist ein wirklich faszinierendes Konzept, das hier eingehend untersucht wird. Das ist echte, praktische Philosophie. Die Entwicklung von Super-AIs kann durchaus passieren - und wenn wir nicht über die Auswirkungen nachdenken und darüber, wie wir damit umgehen würden, könnten wir als Spezies gestopft werden.

Ich finde es schade, dass Bostrom Science-Fiction nicht mehr nutzt, um Beispiele dafür zu nennen, wie die Leute bereits über diese Themen nachgedacht haben - er gibt Asimov und den drei Gesetzen der Robotik nur eine halbe Seite (und wie Asimov dann am meisten ausgibt seiner Zeit zu zeigen, wie sie schief gehen würden), aber das war es auch schon. Es wurde jedoch viel nachgedacht und ich wage es zu sagen, viel mehr Lesbarkeit, als man normalerweise in einem Lehrbuch findet, in die Themen der Science-Fiction aufgenommen, als es erlaubt ist, und es wäre eines Kapitels in seinem Buch würdig gewesen eigenes Recht.

Ich denke auch, dass einige der Grundlagen nicht gut genug behandelt werden, aber ziemlich vorausgesetzt werden. Zum einen wäre es unmöglich, eine solche KI einzudämmen und einzuschränken. Obwohl einige Anstrengungen unternommen werden, bin ich mir nicht sicher, ob die Grundlagen für das manuelle Ziehen des Steckers ausreichend sind - falls erforderlich, indem Sie das Kraftwerk herunterfahren, das die KI mit Strom versorgt.

Die andere zweifelhafte Behauptung wurde ursprünglich von IJ Good gemacht, der mit Alan Turing zusammengearbeitet hat, und scheint ohne Analyse als wahr angesehen zu werden. Dies ist der Vorschlag, dass eine ultra-intelligente Maschine unweigerlich in der Lage sein würde, eine bessere KI als Menschen zu entwickeln. Wenn wir also eine bauen, wird sie sich schnell selbst verbessern und eine „Intelligenzexplosion“ hervorrufen. Ich denke, das Problem mit diesem Argument ist, dass ich den Verdacht habe, dass, wenn Sie die Millionen intelligentesten Menschen der Welt erreichen, wahrscheinlich keiner von ihnen einen ultraleichten Computer auf Komponentenebene entwickeln könnte. Nur weil etwas superintelligent ist, heißt das nicht, dass es diese spezielle Aufgabe gut erledigen kann - dies ist eine Annahme.

Dies lässt jedoch nicht außer Acht, was für eine großartige Konzeption das Buch ist. Ich denke nicht, dass es viele allgemeine Leser ansprechen wird, aber ich denke, es sollte erforderlich sein, in allen Philosophiestudiengängen zu lesen, von jedem, der versucht, AIs aufzubauen… und von Physikern, die glauben, dass Philosophie keinen Sinn hat.

Vorwort: Ich gestehe Rokos Basilisk, dass ich nicht glaubte, dass Superintelligenz eine große Bedrohung darstellt, und dieses Buch hat nichts unternommen, um dies vorher in Frage zu stellen. Mea Culpa, Mea Culpa, Mea [lokal] Maxima Culpa.

I. Gesamtansicht
Ich bin ein Softwareentwickler mit einigen grundlegenden Erfahrungen im maschinellen Lernen, und obwohl die Ergebnisse des maschinellen Lernens beeindruckender und allgemeiner geworden sind, habe ich nie wirklich gesehen, woher die Leute kommen, wenn sie gleich um die Ecke starke Superintelligenz sehen. besonders die Art, die sich rekursiv bis zu einem Punkt verbessern kann, an dem die Intelligenz innerhalb weniger Stunden oder Tage stark zunimmt. Deshalb kam ich mit einer einfachen Frage zu diesem Buch: "Warum haben so viele intelligente Menschen Angst vor einer kurzfristigen existenziellen Bedrohung durch KI, und insbesondere warum sollte ich glauben, dass der KI-Start unglaublich schnell sein wird?" Leider lasse ich das Buch mit dieser Frage weitgehend unbeantwortet. Obwohl mir im Prinzip nichts einfällt, was die Bildung einiger Formen von Superintelligenz verhindert, lässt mich alles, was ich über Softwareentwicklung weiß, denken, dass jeder Fortschritt langsam und schrittweise sein wird, gelegentlich unterbrochen von ein oder zwei neuen Tricks, die etwas zulassen In einigen Bereichen steigt der Anstieg schneller (aber immer noch allmählich) an. Im Großen und Ganzen kam ich von diesem Buch mit der unangenehmen, aber unerschütterlichen Vorstellung weg, dass die meisten der zitierten Personen nicht wirklich viel relevante Erfahrung im Aufbau großer Softwaresysteme haben. Obwohl Bostrom einen Großteil der Sprache der Informatik korrekt verwendete, schien jede seiner Extrapolationen aus sehr grundlegenden, hochrangigen Verständnissen dieser Konzepte offen gesagt zu stark vereinfacht und nicht überzeugend.

II. General Rant über Mathematik in der Philosophie
Seit ich im College in den Utilitarismus eingeführt wurde (zumindest der naive Utilitarismus im Bentham-Stil), war ich etwas besorgt über die Praxis, philosophischen Argumenten mehr Strenge zu verleihen, indem ich sie mit mathematischem Formalismus fülle. Um mit dem Beispiel des Utilitarismus fortzufahren, werden Sie im einfachsten Sinne gebeten, jede Handlung zu berücksichtigen, die auf einer Berechnung basiert, wie viel Vergnügen sich aus Ihrer Handlung ergibt, geteilt durch das Ausmaß des Schmerzes, den eine Handlung verursachen wird, und in einem solchen zu handeln wie Sie dieses Verhältnis maximieren. Jetzt ist es natürlich unmöglich, diese Berechnung in allen außer den trivialsten Fällen durchzuführen, selbst wenn Sie es irgendwie geschafft haben, Vergnügen und Schmerz zu definieren und eine Art Metrik für die tatsächliche Bewertung der Unterschiede zwischen ihnen zu finden. Der Formalismus drückt also wirklich nur eine sehr einfache Beziehung zwischen Dingen aus, die nicht definiert sind, und kann aufgrund des Definitionsprozesses möglicherweise nicht legitim in einfache arithmetische oder algebraische Ausdrücke eingeordnet werden.
Beim Lesen ging es mir ähnlich Superintelligenz. Insbesondere in seinem Kapitel über den KI-Start argumentierte Bostrom, dass das Ausmaß der Verbesserung in einem KI-System als Verhältnis der angewendeten Optimierungsleistung zur Widersprüchlichkeit des Systems oder seiner architektonischen Unwilligkeit, Änderungen zu akzeptieren, modelliert werden könnte. Sicherlich ist dies so weit wie es geht, aber "Optimierungskraft" und "Widerspenstigkeit" befassen sich an dieser Stelle notwendigerweise mit Systemen, die noch niemand zu bauen weiß oder wie sie aussehen werden, jenseits eines handwelligen Hochs. Ebenenbeschreibungen, und daher gibt es keine Definition, die sinnvoll ist, es sei denn, Sie haben sich bereits zu einigen Vorstellungen über die genaue Leistung des Systems verpflichtet. Bostrom versucht, seine Wetten abzusichern, indem er einige Alternativen vorstellt, aber er ist eindeutig der Idee eines schnellen Starts verpflichtet, und die mathematischen Symbole, die er verwendet, stellen nur ein Furnier des Formalismus dar und zeichnen einige extrem einfache Beziehungen zwischen Konzepten, die nicht sein können noch in irgendeiner sinnvollen Weise definiert.
Dies war das Beispiel, das meine Einwände gegen ungerechtfertigte Philosophie-Mathematik wirklich in den Fokus gerückt hat, aber es ist nur eines von vielen, die im gesamten Buch zu finden sind, was einen Versuch auf hoher Ebene ermöglicht, superintelligente Systeme zu betrachten, aber zu viele der Black Boxes was sein Argument beruhte, blieben Black Boxes. Da ich mich nicht von der Mehrheit seiner Argumentation überzeugen konnte, da zu viele seiner Schritte beschönigt wurden, kam ich von diesem Buch weg und dachte, dass es irgendwo viel mehr Argumentation geben müsse, da ich mir nicht vorstellen konnte, so viele unbegründete "Axiome" zu halten "für etwas, das ihm als Superintelligenz anscheinend wichtig ist.
Und es ist wirklich eine Schande, dass das Buch mit so viel unnötigem Formalismus festgefahren werden musste (was den unangenehmen Effekt hatte, dass es sich gleichzeitig übermäßig ausführlich und zu simpel anfühlte), da es hier ein paar gute Dinge gab, die ich weggebracht habe mit. Die Abschnitte über Wertschöpfung und Sicherheit waren besonders gut. Wie die meisten Bücher fand ich sie zu spekulativ und zu großzügig, um anzunehmen, welche Kräfte Superintelligenzen besitzen würden, aber es gibt hier einige gute strategische Dinge, die zu allgemeineren Formen der Maschinenintelligenz führen und einige der häufig auftretenden Überanpassungsprobleme vermeiden könnten im zeitgenössischen maschinellen Lernen. Natürlich gibt es auch keinen Plan für die Implementierung dieses Materials, aber es ist eine coole Idee, die hoffentlich ein wenig weiter in die moderne Softwareentwicklung vordringt.

III. Wovon man nicht sprechen kann, muss eine Finanzierung beantragen
Es ist vielleicht hartnäckig und zynisch von mir, dieses Buch als erweiterte Werbung für das Machine Intelligence Research Institute (MIRI) zu betrachten, aber die letzten beiden Kapitel fühlten sich in vielerlei Hinsicht wie eins an. Unnötig zu erwähnen, dass ich nicht den Wunsch habe, auf der Grundlage eines Arguments zu spenden, das ich als weitgehend nicht überzeugend empfunden habe, aber ich muss die Beteiligten dafür loben, dass sie gleichzeitig mit einem Aufruf zum Handeln tatsächlich versucht haben, einen Umsetzungsplan aufzustellen .

IV. Abschluss
Ich bin immer noch nicht davon überzeugt, dass KI eine relativ kurzfristige existenzielle Bedrohung ist, obwohl ich denke, dass es hier einige gute Dinge gibt, die ein breiteres Publikum gebrauchen könnten. Und nachdenklicher und vorsichtiger mit Softwaresystemen umzugehen, ist immer eine Ursache, die ich hinter mich bringen kann. Ich wünschte nur, noch mehr Lücken würden geschlossen, und ich könnte meinen Verdacht zu Recht loswerden, dass Bostrom nicht wirklich viel über das Design und die Implementierung von großen Softwaresystemen weiß.

V. Charitable TL; DR
Nicht uninteressant, braucht viel Arbeit, bevor es überzeugt.

VI. Gemeinnützige TL; DR

Stellen Sie sich eine Gefahr vor (Sie können sagen, ich bin ein Träumer)

Bostrom ist hier, um sich eine Welt für uns vorzustellen (und er hat eine verrückte Fantasie, muss ihm das geben). Die Welt, die er sich vorstellt, ist eine Welt nach der KI oder zumindest eine Welt, die der KI sehr nahe kommt, oder eine Welt im Entstehen der KI. Erwarten Sie nicht zu wissen, wie wir dorthin gelangen - nur was zu tun ist, wenn wir dort ankommen und wie wir den Weg dorthin zu unserem Vorteil verzerren können. Und es gibt viele wilde Ideen, wie sich die Dinge in dieser Welt im Wandel entwickeln werden, das "Routen" -Bit - Bostrom diskutiert die verschiedenen möglichen Routen, aber alle beginnen an einem Punkt, an dem KI bereits im Spiel ist. Unter dieser Annahme erfolgt das Bit „Gefahren“ automatisch, da das Unbekannte und Mächtige als gefährlich angesehen werden muss. Und daher sind Strategien erforderlich. Sehen Sie, was er dort getan hat?

Es macht sehr viel Spaß, dieses Gedankenexperiment zu spielen, aber ich bin etwas verwirrt darüber, was ich über das Buch als intellektuelles Stück Spekulation denken soll. Ich war für einen Großteil der Lesung auf dem Zaun zwischen einer Zwei-Sterne-Bewertung oder einer Vier-Sterne-Bewertung. Viele aufregende und großartig klingende Ideen werden auf mich geworfen ... aber um ehrlich zu sein, es gibt zu viele - und kaum eine wird entwickelt. Der Autor ist so in seiner eigenen Fähigkeit zu großen BIG BIIG-Ideen gefangen, dass er vergisst, sie zu einer realistischen Zukunft zu entwickeln oder den eigentlichen Fokus von "Gefahren" oder "Strategien" zu legen. Sie sind einfach alle da draußen und hängen. Als ob ihr Nebel und ihre bloße Fülle den Job machen sollten, mich genug zu erschrecken.

Am Ende war ich darauf beschränkt, im Buch nach Ideen zu suchen, die es wert sind, selbst entwickelt zu werden. Und was weißt du, es gab einige. Also, keine schlechte Lektüre und ich werde mit drei gehen.

Und für zukünftige Leser ist die eine große (nicht so neue) und zentrale Idee des Buches einfach genug, um als Fabel ausgedrückt zu werden. Hier ist sie:

Die unvollendete Fabel der Spatzen

Es war die Nestbausaison, aber nach Tagen langer harter Arbeit saßen die Spatzen im Abendlicht, entspannten sich und zwitscherten davon.

„Wir sind alle so klein und schwach. Stellen Sie sich vor, wie einfach das Leben wäre, wenn wir eine Eule hätten, die uns beim Bau unserer Nester helfen könnte! “

"Ja!" sagte ein anderer. "Und wir könnten es nutzen, um uns um unsere älteren und jungen Menschen zu kümmern."

"Es könnte uns Ratschläge geben und ein Auge auf die Nachbarschaftskatze werfen", fügte ein dritter hinzu.

Dann sprach Pastus, der ältere Vogel: „Lasst uns Späher in alle Richtungen aussenden und versuchen, irgendwo eine verlassene Eule oder vielleicht ein Ei zu finden. Ein Krähenküken könnte es auch tun, oder ein Babywiesel. Dies könnte das Beste sein, was uns jemals passiert ist, zumindest seit der Eröffnung des Pavillons of Unlimited Grain im Hinterhof. “

Die Herde war begeistert, und überall begannen Spatzen aus vollem Herzen zu zwitschern.

Nur Scronkfinkle, ein einäugiger Spatz mit ärgerlichem Temperament, war von der Weisheit des Unternehmens nicht überzeugt. Er sagte: „Dies wird sicherlich unser Untergang sein. Sollten wir nicht zuerst über die Kunst der Domestizierung und Eulenzähmung nachdenken, bevor wir eine solche Kreatur in unsere Mitte bringen? “

Pastus antwortete: „Eine Eule zu zähmen klingt nach einer äußerst schwierigen Sache. Es wird schwierig genug sein, ein Eulenei zu finden. Fangen wir also dort an. Nachdem es uns gelungen ist, eine Eule aufzuziehen, können wir darüber nachdenken, diese andere Herausforderung anzunehmen. “

"Es gibt einen Fehler in diesem Plan!" quietschte Scronkfinkle; Seine Proteste waren jedoch vergebens, da die Herde bereits abgehoben hatte, um mit der Umsetzung der von Pastus festgelegten Richtlinien zu beginnen.

Nur zwei oder drei Spatzen blieben zurück. Gemeinsam versuchten sie herauszufinden, wie Eulen gezähmt oder domestiziert werden könnten. Sie erkannten bald, dass Pastus Recht hatte: Dies war eine äußerst schwierige Herausforderung, insbesondere in Ermangelung einer tatsächlichen Eule, an der man üben konnte. Trotzdem machten sie so gut sie konnten weiter und befürchteten ständig, dass die Herde mit einem Eulenei zurückkehren könnte, bevor eine Lösung für das Kontrollproblem gefunden worden war.

Es ist nicht bekannt, wie die Geschichte endet ...

In jüngster Zeit haben prominente Persönlichkeiten wie Stephen Hawking, Bill Gates und Elon Musk haben ernsthafte Bedenken hinsichtlich der Entwicklung einer starken Technologie für künstliche Intelligenz geäußert und argumentiert, dass der Beginn der Superintelligenz das Ende der Menschheit herbeiführen könnte. Andere mögen ray Kurzweil (der zugegebenermaßen einige Berühmtheit erlangt hat, indem er dumme Vorhersagen über die Zukunft der Menschheit erklärt), eine gegenteilige Ansicht in dieser Angelegenheit hat und behauptet, dass KI ein Segen ist, der der Menschheit Utopie verleihen wird. Nick Bostrom geht akribisch auf die beunruhigenden Ansichten des ersteren ein (er hätte sie vielleicht überhaupt beeinflusst), ohne die glückselige Verstrickung des letzteren vollständig zu verwerfen.

Erstens bemüht er sich, etwas Licht in das Thema zu bringen, und geht auf einige Einzelheiten zur Zukunft der KI-Forschung ein, wie zum Beispiel: die verschiedenen Wege, die zu Superintelligenz führen könnten (Gehirnemulationen oder eigentliche KI), die Schritte und den Zeitrahmen durch die wir dorthin gelangen könnten, die Arten und die Anzahl der KI, die sich ergeben könnten, wenn wir unsere intelligenten Maschinen weiter verbessern (er nennt sie "Orakel", "Genies" und "Souveräne"), die verschiedenen Arten, wie sie schief gehen könnten, und so weiter.

Aber Bostrom ist in erster Linie ein Professor für Philosophie, und in seinem Buch geht es nicht so sehr um die technischen oder wirtschaftlichen Aspekte, die wir in Bezug auf eine starke KI vorhersehen könnten. Das Hauptanliegen sind die ethischen Probleme, die die Entwicklung einer allgemeinen (dh domänenübergreifenden) superintelligenten Maschine, die die Fähigkeiten des menschlichen Gehirns bei weitem übertrifft, für uns Menschen darstellen könnte. Die Annahme ist, dass die mögliche Existenz einer solchen Maschine eine existenzielle Bedrohung für die menschliche Art darstellen würde. Das Hauptargument ist daher, uns vor den Gefahren zu warnen (einige von Bostroms Beispielen sind seltsam lächerlich und erinnerten mich an Douglas Adams Per Anhalter durch die Galaxis), aber auch um detailliert darzulegen, wie dieses Risiko gemindert werden könnte oder sollte, um den Umfang oder den Zweck eines hypothetischen Superhirns einzuschränken: Dies nennt er das „KI-Kontrollproblem“, das den Kern seines Problems bildet Argumentation und die nach Reflexion überraschend schwierig ist.

Ich sollte hinzufügen, dass Bostroms Prosa, obwohl das Buch für Laien weitgehend zugänglich ist, oft dicht und spekulativ ist und sehr trocken liest: nicht gerade ein Spaziergang im Park. Er sollte dennoch dafür gelobt werden, dass er versucht hat, Philosophie und ethisches Denken auf nicht triviale Fragen anzuwenden.

Eine letzte Bemerkung: Bostrom untersucht in diesem Buch sehr viele Fragen, aber seltsamerweise scheint es ihm nie in den Sinn zu kommen, über die mögliche moralische Verantwortung nachzudenken, die wir Menschen gegenüber einer intelligenten Maschine haben könnten, nicht nur eine Erfindung unserer Vorstellungskraft, sondern eine zu sein, dass wir eines Tages erschaffen werden und zumindest mit uns verglichen werden könnten. Wohltätigkeit beginnt zu Hause, nehme ich an.

Dieses Buch...

wenn {}
sonst wenn {}
sonst wenn {}
sonst wenn {}
sonst wenn {}
...

Die meisten Ideen in diesem Buch finden Sie in der WaitButWhy Artikel über KI.

In diesem Buch wird davon ausgegangen, dass eine Explosion der Intelligenz möglich ist und dass wir einen Computer herstellen können, dessen Intelligenz explodieren wird. Dann spricht über Möglichkeiten, damit umzugehen.
Ein Großteil dieses Buches scheint sinnlos zu sein, aber ich denke, einiges davon ist lesenswert.

Hypothetisch genug, um wahnsinnig zu werden dumm langweilig. Superintelligenz, Hyperintelligenz, Hypersuperintelligenz…

Grundsätzlich läuft alles auf die Tatsache hinaus, dass die ultimativen Denkmaschinen vielleicht irgendwann etwas tun oder nicht. Wie neu ist diese Idee? IMO, der wichtigste Punkt ist, wie wir sie dorthin bringen können.

Intuition entwerfen? Die KI motivieren? Motivationsgerüst? Assoziative Wertsteigerung? Obwohl alles sehr unterhaltsam ist, ist es zu diesem Zeitpunkt noch lange nicht praktisch. Und die bloße Philosophie der nicht existierenden KI, die heute ziemlich dumm ist?

Dies ist ein fetter DNF.

Wenn Sie solche Sachen mögen, Sie können die vollständige Rezension lesen.

(Count-of-Self) = 0: "Superintelligenz - Wege, Gefahren, Strategien" von Nick Bostrom


"Kasten 8 - Anthropische Erfassung: Die KI könnte ihrer Simulationshypothese, der Hypothese, dass sie in einer Computersimulation lebt, eine erhebliche Wahrscheinlichkeit zuweisen."


In "Superintelligenz - Wege, Gefahren, Strategien" von Nick Bostrom



Würden Sie sagen, dass der Wunsch, sich selbst zu bewahren, aus dem Besitz eines (Selbst-) Bewusstseins stammt? Wenn ja, bedeutet der Erwerb von Intelligenz nach Bostrom auch den Erwerb von (Selbst-) Bewusstsein?

Die unbeabsichtigte Folge einer superintelligenten KI ist die Entwicklung einer Intelligenz, die wir kaum sehen oder gar kontrollieren können, als Folge der Vernetzung einer großen Anzahl autonomer Systeme, die auf miteinander verbundene Imperative einwirken. Ich denke an Bots, die für den Handel an der Börse ausgebildet sind und lernen, dass die beste Strategie darin besteht, anderen Bots zu folgen, die anderen Bots folgen. Das System kann überempfindlich gegenüber Eingaben werden, die wenig oder gar nichts mit Angebot und Nachfrage zu tun haben.

Ich freue mich sehr, dieses Buch gelesen zu haben. Es beschreibt kurz und bündig das allgemeine Feld der BIG ISSUES der KI-Forschung. Die Wege zur Erstellung von AIs sind nur ein Teil des Buches und an dieser Stelle nicht besonders wichtig.

Interessanter ist, dass wir uns stärker auf die Gefahren der Superintelligenz konzentrieren müssen. Fair genug! Wenn ich eine von meiner Kolonie getrennte Ameise wäre, die mit einem erwachsenen Menschen in Kontakt kommt, oder ein sadistisches (wenn auch neugieriges) Kind, könnte ich anfangen, in die Berge zu rennen, bevor diese Lupe das Sonnenlicht fokussiert.

Und so gehen wir zu Strategien über, und hier macht das Buch seine bewundernswerteste Arbeit. Alle aktuellen Gedanken auf dem Gebiet sind so ziemlich dargestellt, aber nur in groben Zügen. Vieles davon wurde auch in der SF-Literatur vollständig untersucht, und zwar nicht nur aus den Asimov-Gesetzen der Robotik.

In der Roboter- und KI-Literatur tauchen Isolationstechniken, Orakeltechniken und sogar einfache Techniken zur Verwendung von Werkzeugen auf. Geben Sie Robotern einen Einzeljob und sie werden einen Weg finden, ihn in ein Affenpfotenszenario zu verwandeln.

Und das wirft nur die Frage auf, nicht wahr?

Wenn wir es genau angehen, mag dieses Buch sehr prägnant sein und uns einen großartigen Überblick geben, aber ich glaube, ich werde ein Überfan von Eliezer Yudkowsky über Nick Bostrom bleiben. Nachdem ich gerade gelesen habe Rationalität: Von der KI zu den ZombiesFast alle dieser Themen werden nicht nur angesprochen, sondern auch auf großartigere Weise und detaillierter untersucht.

Was willst du? Eine kurze Zusammenfassung? Oder eine herrlich köstliche Mehrzinkenattacke auf das ganze Thema, die ihre eigenen Fehler so zugibt, wie die MENSCHLICHKEIT ihre eigenen Fehler eingestehen sollte?

Geben Sie mir Elis Humor, seine Brillanz und seinen zutiefst engagierten Standpunkt, eine echte Lösung für das KI-Problem "Nizza" zu finden. :) :)

Ich sage nicht, dass Superintelligenz nicht gut ist, weil es mit Sicherheit so ist, aber es ist immer noch die Karte, nicht das Land. :) :)
(Oder um etwas fairer zu sein, das Land ist es auch nicht, aber man hat eine etwas bessere Definition der Topographie.)

Dieses Buch wurde im Jahr 2014 veröffentlicht, ist also etwas veraltet, und ich schreibe diese Rezension jetzt etwas spät für das, was ein aktuelles Thema sein sollte. Viele Menschen, die sich für dieses Thema interessieren, respektieren dieses Buch jedoch weiterhin als endgültige Prüfung der Risiken, die mit Maschinen verbunden sind, die wesentlich intelligenter als Menschen sind.

Wir leben seit vielen Jahren mit Computern - und sogar Telefonen -, die mehr Informationen speichern und diese Informationen schneller abrufen können als jeder Mensch. Diese Geräte scheinen für uns Menschen keine große Bedrohung zu sein, daher ist es schwer zu erkennen, warum Anlass zur Sorge besteht.

Das Problem ist wie folgt. Wie Künstliche Intelligenz (KI) wird in Zukunft kompetenter es wird die Fähigkeit haben zu lernen (akaMaschinelles Lernen) und verbessern sich selbst, wenn es Probleme untersucht und löst. Es wird die Möglichkeit haben, sich selbst zu ändern (dh neu zu programmieren), um nach Bedarf neue Methoden zu entwickeln, um Lösungen für die anstehenden Aufgaben auszuführen. Daher werden Techniken und Strategien verwendet, von denen der ursprüngliche menschliche Programmierer nichts weiß. Sobald Maschinen kreativ besser (dh intelligenter) als Menschen strategisch strategisch vorgehen, wird die Kluft zwischen Maschine und menschlicher Leistung (dh Intelligenz) exponentiell größer.

Letztendlich wird das Denkniveau der „superintelligenten“ Maschine die relative Überlegenheit gegenüber der des Menschen haben, die der Überlegenheit des menschlichen Gehirns gegenüber der eines auf dem Boden kriechenden Käfers entspricht. Es ist zu vermuten, dass eine Maschine, die so intelligent ist, genauso viel Respekt vor Menschen hat, die glauben, sie zu kontrollieren, wie Menschen wahrscheinlich Respekt vor einem Käfer haben, der versucht, sie zu kontrollieren.

Das Konzept der Superintelligenz bedeutet, dass die Maschine bei allen Aufgaben, einschließlich der Verwendung der menschlichen Sprache, um zu überzeugen, Geld zu sammeln, strategische Pläne zu entwickeln, Roboter zu entwerfen und herzustellen, fortschrittlicher Waffen und Fortschritte in Wissenschaft und Technologie, eine bessere Leistung als der Mensch erbringen kann. Eine superintelligente Maschine wird Probleme lösen, von denen Menschen nicht wissen, dass sie existieren.

Natürlich mag das eine gute Sache sein, aber solche Maschinen haben tatsächlich einen eigenen Verstand. Sie können entscheiden, dass sie es am besten wissen und nicht den menschlichen Anweisungen folgen wollen. Ein Großteil dieses Buches wird damit verbracht, - meiner Meinung nach zu detailliert - mögliche Möglichkeiten zur Steuerung einer superintelligenten Maschine zu untersuchen. Nach dieser langen Erforschung verschiedener Strategien ist die Schlussfolgerung im Wesentlichen, dass dies nicht möglich ist.

Dann geht das Buch zu der Frage über, wie das initiierende Fundament einer solchen Maschine so gestaltet werden kann, dass sie den angeborenen Wunsch hat, Gutes zu tun (dh tugendhaft zu sein). Wieder geht der Autor auf qualvolle Details ein und untersucht verschiedene Möglichkeiten, dies zu tun. Unter dem Strich können wir es versuchen, aber wir haben nicht die notwendigen Werkzeuge, um die kritischen Probleme anzugehen.

Abschließend wird unsere Gans gekocht. Wir können uns nicht helfen. Superintelligenz ist das "Baum der Erkenntnis von Gut und Böse"Wir müssen einen Bissen nehmen.

Dieser Link ist zu einem Artikel über Gesichtserkennung. Es enthält das folgende Zitat:... the whole ecosystem of artificial intelligence is optimized for a lack of accountability.Kurz nach dem Schreiben meiner Rezension enthielt der Dilbert-Cartoon das Thema KI:






Hier ist ein Link zu einer Rezension von Matthew Sadler und Natasha Regan zu "Game Changer: AlphaZeros bahnbrechende Schachstrategien und das Versprechen der KI". Diese Rezension beschreibt ein Schachprogramm, das KI verwendet, um mit einem bisher nicht gesehenen Spielstil nahezu unschlagbar zu werden.
https://www.goodreads.com/review/show...

Superintelligenz von Nick Bostrom ist ein schwer zu empfehlendes Buch, das sich jedoch ausführlich mit seinem Thema befasst. Superintelligenz ist eine Warnung vor der Entwicklung künstlicher Intelligenz (KI). Die Schrift ist jedoch trocken und systematisch, eher wie bei Plato als Kabelgebundenes Magazin. Es gibt nur wenige Beispiele aus der Praxis, da es sich nicht um eine Geschichte der KI handelt, sondern um theoretische Vermutungen. Das Buch untersucht die möglichen Probleme, die auftreten können, wenn eine superintelligente Maschine oder Lebensform erstellt wird. Ich hätte das Buch mehr genossen, wenn es über aktuelle Projekte in AI berichtet hätte. Die jüngste Arbeit von DeepMind, die das Spielen klassischer Atari-Spiele lernt, bietet mehr Realismus für die Möglichkeiten der KI als alles, was in diesem Buch erwähnt wird. Deep-Learning-Projekte, die neueste Entwicklung bei neuronalen Netzen, haben einige erstaunliche Erfolge. Bostrom berichtet nicht über sie.

Und ich denke, Bostrom macht einen krassen Fehler. Ich bin kein KI-Experte, aber er scheint anzunehmen, dass wir eine KI programmieren und ihre Intelligenz kontrollieren können. Ich denke nicht, dass das möglich ist. Wir werden die drei Gesetze der Robotik nicht in zukünftige KI-Wesen programmieren.

Ich glaube, AIs werden sich aus Lernsystemen entwickeln, und wir haben keine Kontrolle darüber, was dabei herauskommt. Wir werden Software und Hardware erstellen, die sich anpassen und lernen können. Der Prozess, eine selbstbewusste Superintelligenz zu werden, wird für uns nicht verständlicher sein als der Grund, warum unser Gehirn Bewusstsein erzeugt.

Ich wechselte zur Audioversion dieses Buches, nachdem ich mit der Kindle Edition zu kämpfen hatte, da ich diese für einen Buchclub lesen musste. Wenn Sie nach einem Buch über künstliche Intelligenz (KI) suchen, vermeiden Sie dies und entscheiden Sie sich für Jeff Hawkins 'Buch "Über Intelligenz", das von jemandem geschrieben wurde, der sein Leben dem Feld gewidmet hat. Wenn es sich um eine "KI ist schlecht geworden" handelt, die Sie suchen, versuchen Sie es mit 2001 Space Odyssey. Für einen fiktiven Ansatz zur KI, der die Grundlage für die KI-Theorie bildete, entscheiden Sie sich für Isaac Asimov. Wenn Sie ein langwieriges, unerbittliches und sinnloses Buch suchen, das nicht das erreicht, was allen drei zuvor genannten Autoren gelungen ist, dann ist dies das Buch für Sie.

Stephen Hawking und Bill Gates haben kürzlich Alarm über künstliche Intelligenz ausgelöst. Wenn eine übermenschliche künstliche Intelligenz geschaffen würde, wäre dies das größte Ereignis in der Geschichte der Menschheit und es könnte durchaus das letzte sein. Wir kennen nur die menschliche Intelligenz und es kann sich um eine kleine Auswahl der Möglichkeiten der Intelligenz handeln. Bostrom macht den Fall, dass der wahrscheinlichste Weg zur Superintelligenz höchstwahrscheinlich ein harter Start wäre, da die KI schnell ansteigen würde, sobald sie die Intelligenz auf menschlicher Ebene erreicht, und sich schnell zu einer sehr überlegenen Form intelligenten Geistes reorganisieren würde. Es würde schnell Kräfte und Fähigkeiten erlangen, die weit über die Menschen hinausgehen, und es wäre fremder und unergründlicher als alles, was wir jemals gesehen haben. Wenn es Ziele hat, die nicht so sehr mit dem menschlichen Projekt für die Menschheit übereinstimmen.
Mit großen Details legt Bostrom fest, wo KI für uns ernsthaft schief gehen könnte. Abstrakte Katastrophen mögen uns gähnen lassen, aber Bostrom gibt Einzelheiten darüber an, wie die Katastrophe aussehen könnte. Der Höllenschlund ist viel beängstigender, wenn das Bild detaillierter wird. Ich empfehle, Bostroms Buch zu lesen, um sich über die Gefahren der Abtretung der Spitze der Nahrungskette an die KI zu informieren. Es ist ziemlich haarsträubend.


Hier spricht Nick Bostrom bei TED über dieses Thema. https://www.youtube.com/watch?v=MnT1x...

Lesen Sie Kapitel 8 durch. Das Buch begann etwas vielversprechend, indem es sich nicht dazu äußerte, ob eine starke KI unmittelbar bevorsteht oder nicht, aber das war der Höhepunkt dessen, was ich las. Ich bin mir nicht sicher, ob es einen einzigen Abschnitt des Buches gab, in dem ich keine Reaktion hatte: "Warte, woher weißt du, dass das wahr ist?" zu "das ist völlig falsch und jeder, der mit dem Gebiet, von dem Sie sprechen, ein wenig vertraut ist, würde das wissen", aber es ist wirklich die Gesamtstruktur des Arguments, die mich dazu veranlasst hat, dieses als Zeitverschwendung aufzugeben.

Im Wesentlichen lautet das Argument folgendermaßen: Bostrom führt eine Idee ein, erklärt in vager Sprache, was er damit meint, zeichnet nach, wie es wahr sein könnte (oder, in einigen "Slam-Dunk" -Abschnitten, * auf verschiedene * Arten) true) und geht dann weiter. Im nächsten Abschnitt nimmt er alle in den vorhergehenden Abschnitten vorgestellten Ideen als Gegebenheiten und als meist Black Boxes in dem Sinne, dass die alten Ideen zur Rechtfertigung neuer Behauptungen herangezogen werden, ohne jemals einen bestimmten Beweis oder eine bestimmte Struktur von zu nennen Die alte Idee ist nur eine undurchsichtige Formel. Der Sinn ist, dass jemand versucht, einen Turm direkt nach oben zu bauen. Die Tatsache, dass dieser spezielle Turm wirklich ein wackeliger Haufen von Blöcken ist, wobei viele der höheren tatsächlich auf dem Arm des Bauherrn ruhen und nicht wirklich auf den vorherigen, ist fast irrelevant: So funktioniert gutes Denken nicht! Es gibt keine umfassende Betrachtung der verfügbaren Beweise, keine Demonstration, warum die Dinge, die wir gesehen haben, die spezifischen Dinge implizieren, die Bostrom vorschlägt, keine ernsthafte Beschäftigung mit alternativen Erklärungen / Vorhersagen, kein Wechsel zwischen Gesamtübersichten und detaillierten Analysen. Es gibt nur einen Stapel vager Plausibilitäten und vager konzeptioneller Rahmenbedingungen, um sie zu berücksichtigen. Eine überzeugende Präsentation ist viel mehr so, als würde man Nebel beseitigen, um einige Felsformationen zu bemerken, sich dann ein wenig zurückziehen, um zu sehen, dass sie alle miteinander verbunden sind, und dann zurückzoomen, um die verbundenen Bereiche zu beseitigen, und so weiter und so fort, bis eine breite Berg wird offenbart.

Dies bedeutet nicht, dass das Ergebnis, das Bostrom befürchtet, unmöglich ist. Obwohl ich denke, dass viele der spezifischen Dinge, die er für plausibel hält, tatsächlich viel weniger sind, als er behauptet, denke ich, dass eine Art sehr mächtige "unfreundliche" KI eine Möglichkeit ist, die von denjenigen in Betracht gezogen werden sollte, die in der Lage sind, das wirklich zu verstehen Problem und handeln Sie dagegen, wenn es sich als echt herausstellt. Das Problem bei Bostroms Präsentation ist, dass sie uns nichts Nützliches sagt: Wir haben keinen Grund zu der Annahme, dass die besonderen Arten von Themen, die er vorschlägt, von Bedeutung sind, dass die besonderen Eigenschaften, die er der zukünftigen KI zuschreibt, diejenigen sind, die es tun werden Seien Sie auffällig, in der Tat, dass dieses Problem wahrscheinlich genug, nahe genug und nachvollziehbar genug ist, um im Moment überhaupt erhebliche Ressourcen auszugeben! Nichts, was Bostrom sagt, privilegiert seine besonderen Vorhersagen gegenüber vielen, vielen möglichen anderen, selbst wenn man davon ausgeht, dass eine außerordentlich mächtige KI möglich und ihr Verhalten schwer vorherzusagen ist. Ich hatte immer wieder das Gefühl (manchmal ausdrücklich von Bostrom selbst wiederholt!), Dass man in riesigen Welten inkompatibler Einzelheiten die von ihm vorgeschlagenen ersetzen und trotzdem dieselben Behauptungen aufstellen könnte. Warum sollte ich also erwarten, dass sich etwas Besonderes, das er vorschlägt, lohnt?

Bearbeiten: Nachdem ich mich ein wenig mit einigen Freunden darüber unterhalten habe, sollte ich dieser Bewertung eine Einschränkung hinzufügen. Dies wird mit kühner Verdammnis gelobt, wenn es jemals so etwas gab, aber dieses Buch hat mich dazu gebracht mehr Es ist wahrscheinlich, dass ich mich mit KI als existenziellem Risiko beschäftige, indem ich ein so klares Beispiel dafür bin, was mich bisher vertrieben hat. Jetzt, da ich die Essenz dessen sehe, was an den schlechten Ansätzen, die ich gesehen habe, falsch ist, kann ich besser nach den guten suchen (und wie gesagt, ich denke, das Problem ist eine ernsthafte Untersuchung wert). Also, ich denke, letztendlich hat Bostrom sein Ziel in meinem Fall erreicht?

Ich werde den Inhalt nicht kritisieren. Ich kann das nicht beenden. Stellen Sie sich vor, Sie essen Saltine, wenn Sie mitten in der Wüste einen Baumwollmund haben. Sie könnten kurz davor stehen zu beschreiben, wie trocken die Schrift ist. Könnte sehr interessant zu lesen sein, wenn das Schreiben aufmerksamkeitsstarker gemacht wurde.

Daran führt kein Weg vorbei: Eine superintelligente KI ist eine Bedrohung.

Wir können mit Sicherheit davon ausgehen, dass eine KI, die klüger als ein Mensch ist, wenn sie entwickelt wird, ihre eigene Entwicklung beschleunigt und schneller klüger wird als alles, was wir jemals gesehen haben. In nur wenigen Zyklen der Selbstverbesserung würde es außer Kontrolle geraten. Der Versuch, zu kämpfen, zu kontrollieren oder zu entführen, wäre völlig nutzlos. Stellen Sie sich zum Vergleich eine Ameise vor, die versucht, einen Menschen auszutricksen (bestenfalls ein lächerlicher Versuch).

Aber warum ist eine superintelligente KI eine Bedrohung? Nun, es hätte wahrscheinlich keine menschlichen Qualitäten (Empathie, Gerechtigkeitssinn usw.) und würde sich auf ein emotionaleres Verständnis der Welt stützen - das Verstehen von Emotionen bedeutet nicht, dass man Emotionen fühlen muss, das kann man die Motive von Terroristen verstehen, ohne ihnen zuzustimmen. Es besteht die Möglichkeit, eine superintelligente KI mit einer Reihe verrückter Ziele zu entwickeln, beispielsweise die Maximierung der Produktion von Stühlen ohne Rücksicht auf die Sicherheit von Mensch und Umwelt, wobei die Materialien der Erde und der Planet selbst vollständig subsumiert werden. Oder, ebenso wahrscheinlich, wir könnten mit einer KI enden, deren Hauptziel die Selbsterhaltung ist, die später die Menschheit vernichten würde, weil die Wahrscheinlichkeit, dass wir sie zerstören, noch sehr gering ist.

Vor diesem Hintergrund ist klar, dass wir vor der Entwicklung einer sich selbst verbessernden KI einen Plan benötigen. Wir brauchen Tests, um seine moralischen Prioritäten zu verstehen und zu verbessern, wir brauchen Sicherheitsmaßnahmen, wir müssen das Risiko minimieren, dass es den Planeten zerstört. Sobald die KI intelligenter ist als wir, braucht es nicht viel, um extrem intelligenter zu werden. Wir müssen also vorbereitet sein. Wir haben nur eine Chance und das war's, entweder haben wir es richtig eingestellt oder wir sind als Spezies fertig.

Superintelligence befasst sich mit all diesen Problemen, analysiert sie systematisch und bietet ein paar Geisteszustände, damit wir sie lösen können (falls dies überhaupt möglich ist).

Wir bauen jetzt Superintelligenzen. Mehr als eine. Der Autor Nick Bostrom schaut sich an, was uns erwartet. Er weist darauf hin, dass die Kontrolle einer solchen Schöpfung möglicherweise nicht einfach ist. Wenn unfreundliche Superintelligenz entsteht, können wir sie nicht ändern oder ersetzen.
Dies ist ein dicht geschriebenes Buch mit Kleingedruckten, 63 Seiten Notizen und Bibliographie. In der Einleitung sagt uns der Autor zweimal, dass es nicht einfach war zu schreiben. Er versucht jedoch, es zugänglich zu machen, und fügt hinzu, dass Sie die Bedeutung immer noch verstehen sollten, wenn Sie einige technische Begriffe nicht verstehen. Er hofft, dass er durch das Zusammenführen dieses Materials anderen Forschern den Einstieg erleichtert hat.

Also - wo sind wir? Ich muss das mit Zeilen wie sagen: "Kollektive Superintelligenz ist konzeptionell weniger eindeutig als Geschwindigkeits-Superintelligenz. Sie ist jedoch empirisch vertrauter." Dies ist ein entmutigenderes Buch als "Der Aufstieg der Roboter" von Martin Ford. Wenn Sie an solche Begriffe und Konzepte gewöhnt sind, können Sie eintauchen; Wenn nicht, würde ich zuerst das Ford-Buch empfehlen. Um fair zu sein, werden Begriffe erklärt und wir können leicht erkennen, dass das Starten eines Space Shuttles eine kollektive intellektuelle Anstrengung erfordert. Niemand konnte es tun. Die kollektive Intelligenz der Menschheit hat weiter zugenommen, als die Menschen schlauer wurden, mehr von uns an einem Problem arbeiteten, wir kommunizierten und Wissen speichern mussten und immer schlauer wurden und auf Vorwissen aufbauten. Es gibt jetzt so viele von uns, die keine Landwirtschaft betreiben oder Werkzeuge herstellen müssen, dass wir viele Probleme gleichzeitig lösen können.
Persönlich sage ich, wenn Sie nicht glauben, dass Ihre Führer kluge Entscheidungen treffen, schauen Sie sich einfach zur Hauptverkehrszeit in der Hauptstadt Ihr nationales Verkehrssystem an.

Eine große Bevölkerung erfordert jedoch einen enormen Ressourcenverbrauch. Wie wird die Einrichtung einer Superintelligenz. Nicht nur Materialien und Energie, sondern auch Erfindungen, Tests, Arbeitsstunden und Fachwissen sind erforderlich. Bostrom spricht von einer Samen-KI, einem kleinen System zum Starten. In Bezug auf ein großes System wird das erste Projekt, das eine nützliche KI erreicht, gewinnen. Danach wird der Vorsprung zu groß und die neue KI so nützlich und leistungsfähig sein, dass andere Projekte die Lücke möglicherweise nicht schließen.

Hardware, Stromerzeugung, Software und Codierung werden immer besser. Und wir haben die Infrastruktur vorhanden. Wir werden daran erinnert, dass "die Atombombe hauptsächlich von einer Gruppe von Wissenschaftlern und Ingenieuren geschaffen wurde. Das Manhattan-Projekt beschäftigte auf seinem Höhepunkt etwa 130,000 Menschen, von denen die überwiegende Mehrheit Bauarbeiter oder Bauunternehmer waren."

Zu den behandelten Aspekten gehören das verstärkte Lernen, die assoziative Wertsteigerung, die Überwachung von Projekten, die Lösung des Wertbelastungsproblems - was bedeutet, Begriffe wie Glück und Leiden zu definieren, sie einem Computer zu erklären und darzustellen, was unser Ziel ist.

Ich wandte mich dem Kapitel "Von Pferden und Männern" zu. Pferde, ergänzt durch Pflüge und Kutschen, waren ein großer Vorteil für die menschliche Arbeit. Aber sie wurden durch das Auto und den Traktor ersetzt. Die Pferdepopulation stürzte ab und nicht in Altersheime. "In den USA gab es 26 etwa 1915 Millionen Pferde. In den frühen 1950er Jahren blieben 2 Millionen übrig." Die Pferde, die wir noch haben, behalten wir, weil wir sie und die Sportarten, die sie bieten, genießen. Bostrom versichert uns später: "Die US-Pferdepopulation hat sich kräftig erholt: Laut einer kürzlich durchgeführten Volkszählung liegt die Zahl bei knapp 10 Millionen." Da Menschen schnell von Roboter- oder Computerarbeitern abgelöst werden, in Jobs von mühsam bis technisch versiert, und Unternehmen oder der reiche Groll, der Löhne zahlt, welche Arbeit oder welcher Sport werden uns unseren Unterhalt wert machen?

Kapital wird erwähnt; Ja, im Gegensatz zu Pferden besitzen die Menschen Land und Reichtum. Aber viele Menschen haben kein großes Einkommen oder Eigentum oder haben Nettoverschuldung wie Studentendarlehen und Kreditkartenschulden. Bostrom schlägt vor, dass alle Menschen durch KIs reich werden könnten. Aber er merkt nicht, dass mehr als die Hälfte des Wohlstands und der Ressourcen der Welt jetzt einem Prozent der Bevölkerung gehört, und es geht immer mehr zugunsten des einen Prozent, weil sie über den Reichtum verfügen, um dies sicherzustellen. Sie vermieten das Land, sie besitzen die Schulden, sie besitzen die Produktion und die Rohstoffminen. Hausbesitzer könnten durch den Aufstieg des Meeres und den Klimawandel am Boden zerstört werden, wenn sie nicht betrachtet werden, aber die Superreichen können einfach in ein anderes ihrer Häuser ziehen.

Wieder fand ich in einem späteren Kapitel Zeilen wie: "Nehmen wir zum Beispiel an, wir wollen mit einigen gut motivierten menschenähnlichen Agenten beginnen - sagen wir Emulationen. Wir wollen die kognitiven Fähigkeiten dieser Agenten steigern, aber wir machen uns Sorgen Eine Möglichkeit, mit dieser Herausforderung umzugehen, besteht darin, ein System einzurichten, in dem einzelne Emulationen als Subagenten fungieren. Wenn eine neue Verbesserung eingeführt wird, wird sie zunächst auf eine kleine Teilmenge der Subagenten angewendet Die Auswirkungen werden dann von einem Überprüfungsgremium untersucht, das sich aus Subagenten zusammensetzt, auf die die Verbesserung noch nicht angewendet wurde. "
Ja, ich kann diesem Text folgen, und er zeigt vernünftige bewährte Verfahren, aber er ist bei weitem nicht so klar und leicht zu verstehen wie Martin Fords Buch, in dem er uns sagt, dass Computern beigebracht werden kann, Krebs in einem Röntgenscan zu erkennen, Kunden für Marketingzwecke zu gewinnen oder verschiedene Quellen zu verbinden und eine seltene Krankheit zu diagnostizieren. Ich muss denken, dass der Autor, Direktor des Future of Humanity Institute und Professor an der Philosophischen Fakultät in Oxford, es so gewohnt ist, für Ingenieure oder Philosophen zu schreiben, dass er verliert, was dem durchschnittlichen interessierten Leser wirklich hilft. Aus diesem Grund gebe ich Superintelligence vier Sterne, aber jemand, der in dieser KI-Branche arbeitet, könnte natürlich der Meinung sein, dass er fünf Sterne verdient. Wenn ja, werde ich nicht mit ihr streiten. Tatsächlich werde ich sehr höflich sein.

Wird die Oberfläche unseres Planeten - und vielleicht jeder Planet, den wir in die Hände bekommen können - von einer gut gemeinten, aber fehlgeleiteten künstlichen Intelligenz (KI), die letztendlich alles ausschlachten kann, mit Büroklammern (und Büroklammerfabriken) ausgelegt? Anblick, einschließlich uns, bei der zielstrebigen Verfolgung eines scheinbar harmlosen Ziels? Nick Bostrom, Leiter des Oxford Future of Humanity Institute, glaubt, dass wir nicht garantieren können, dass es nicht passieren wird, und es macht ihm Sorgen. Es erfordert kein Skynet und keine Terminatoren, es erfordert keine bösen Genies, die die Welt zerstören wollen, es erfordert nur eine mächtige KI mit einem moralischen System, in dem das Wohlergehen der Menschheit irrelevant ist oder ganz anders definiert wird, als die meisten Menschen es heute definieren würden. Wenn die KI ein einziges Ziel hat und klug genug ist, unsere Versuche, es zu deaktivieren oder zu kontrollieren, zu überlisten, sobald es sich gelöst hat, argumentiert Game Over, Professor Bostrom in seinem Buch Superintelligenz.

Dies ist vielleicht das wichtigste Buch, das ich in diesem Jahrzehnt gelesen habe, und es hat mich wochenlang nachts wach gehalten. Ich möchte Ihnen sagen, warum und was ich denke, aber vieles davon ist schwierig, also nehmen Sie es bitte mit. Die Kurzform ist, dass ich ziemlich sicher bin, dass wir eine echte KI bauen werden, und ich respektiere Vernor Vinge, aber ich bin es schon lange
skeptisch gegenüber den kurzweilschen Vorstellungen von Unvermeidlichkeit, doppelt exponentiellem Wachstum und der Singularität. Ich war auch skeptisch gegenüber der Idee, dass AIs uns absichtlich oder versehentlich zerstören werden. Bostroms Buch hat mich denken lassen, dass ich vielleicht naiv war. Ich denke immer noch, dass seine Worst-Case-Szenarien insgesamt unwahrscheinlich sind. Er argumentiert jedoch überzeugend, dass wir eine Reihe von schlechten Ergebnissen bei der Entwicklung von KI noch nicht ausschließen können und dass wir viel mehr investieren müssen, um herauszufinden, ob die Entwicklung von KI eine gute Idee ist. Möglicherweise müssen wir ein Moratorium für die Forschung festlegen, wie es einige Jahre lang mit rekombinanter DNA ab 1975 durchgeführt wurde. Wir müssen auch auf die Möglichkeit vorbereitet sein, dass ein solches Moratorium nicht gilt. Bostrom bringt auch eine beliebige Anzahl von verblüffenden Dystopien in Bezug auf das, was als Mensch gilt, zur Sprache, auf die wir weiter unten eingehen werden.

(Ausschnitte aus meiner Rezension, da Goodreads die Länge begrenzt)

Falls es jetzt nicht offensichtlich ist, nehmen sowohl Bostrom als auch ich es als selbstverständlich an, dass es nicht nur möglich, sondern fast unvermeidlich ist, dass wir eine starke KI schaffen, im Sinne einer allgemeinen, anpassungsfähigen Intelligenz. Bostrom umgeht die Frage, ob es bewusst sein oder "Qualia haben" wird, wie ich denke, sagen die Philosophen des Geistes.

Wo Bostrom und ich uns unterscheiden, liegt in der Plausibilität, die wir der Idee einer wahrhaft exponentiellen Explosion der Intelligenz durch KIs zuordnen, bei einem Start, für den Vernor Vinge den Begriff "Singularität" geprägt hat. Vinge ist rational, aber Ray Kurzweil ist der berühmteste Befürworter der Singularität. Ich habe vor einigen Jahren eines von Kurzweils Büchern gelesen und fand es voller mystischer Hype. Er glaubt, dass der Zweck des Universums die Schaffung von Intelligenz ist und dass dieser Prozess auf einem doppelten Exponential wächst, angefangen von Sternen und Felsen über Schleimpilze und Menschen bis hin zu digitalen Wesen.

Ich bin weitgehend allergisch gegen diese Art von Hooey. Ich sehe wirklich keine Beweise für die Beschleunigung von Domäne zu Domäne, die Kurzweil sieht, und insbesondere die Verlagerung von biologischen zu digitalen Wesen wird zu einer radikalen Verschiebung des Evolutionsdrucks führen. Ich sehe keinen Grund, warum irgendeine Art von "Gesetz" vorschreiben sollte, dass sich digitale Wesen in einem Moment entwickeln werden
Rate, dass * muss * schneller sein als die biologische. Ich sehe auch nicht, dass Kurzweil wirklich auf die physikalischen Grenzen dessen achtet, was letztendlich für Computer möglich sein wird. Exponentiale können nicht ewig andauern, wie Danny Hillis gern betont. http://www.kurzweilai.net/ask-ray-the...

Vielleicht ist meine Meinung etwas voreingenommen durch eine Abneigung gegen Kurzweils Zirkusbarker-Ansatz, aber ich denke, es steckt noch mehr dahinter. Grundsätzlich würde ich es so ausdrücken:

Klug sein ist schwer.

Und es ist auch schwierig, sich schlauer zu machen. Meine Neigung ist, dass es mindestens so schwer ist, klüger zu werden wie die Vorteile, die es mit sich bringt, so dass die Schwierigkeit des Problems und die Ressourcen, die darauf angewendet werden können, ungefähr ausgeglichen sind. Dies wird meiner Meinung nach zu einem viel langsameren Start führen, als Kurzweil erwartet. Bostrom präsentiert ein Spektrum von Startgeschwindigkeiten, von "zu schnell, um es zu bemerken" bis "lange genug, um internationale Abkommen und Überwachungsinstitutionen zu entwickeln", aber er macht ziemlich deutlich, dass er der Ansicht ist, dass die Wahrscheinlichkeit eines schnellen Starts weit ist zu groß zum ignorieren. Es gibt Teile seiner Argumentation, die ich überzeugend finde, und Teile, die ich weniger finde.

Um Ihnen ein wenig mehr Einblick zu geben, warum ich ein wenig zweifelhaft bin, dass die Singularität in dem auftreten wird, was Bostrom als moderaten bis schnellen Start beschreiben würde, lassen Sie mich über die Art von Problemen sprechen, die wir Menschen lösen und die eine KI haben würde lösen. Lassen Sie mich statt der Art von Fragen zunächst über die Art der Antworten sprechen, die eine KI (oder ein Genie der Haustierfamilie) bei einem Problem generieren soll. Auf den ersten Blick fällt mir sechs ein:

[Geschwindigkeit] Gleiche Antwortqualität, nur schneller.
[Ply] Schauen Sie sich die Anzahl der Lagen genauer an (Züge, Schach oder Los).
[Daten] Verwenden Sie immer aktuellere Daten.
[Kreativität] Etwas Schönes und Neues.
[Einsicht] Etwas Neues und Sinnvolles, wie eine neue Theorie;
kombiniert wahrscheinlich Elemente aller oben genannten
Kategorien.
[Werte] Eine Antwort auf (menschliche) Werte.

In den ersten drei geht es wirklich darum, wie die Antworten generiert werden. die letzten drei darüber, was wir aus ihnen herausholen wollen. Ich denke, dieser Satz ist trotz dieser Unterschiede ziemlich vollständig und etwas orthogonal.

Auf welche Probleme wenden wir diese Antwortstile an? Wir wollen letztendlich Antworten, die in qualitativer Hinsicht "besser" sind.

Menschen sind bereits ziemlich gut darin, die Flugbahn eines Baseballs zu projizieren, aber es ist sicherlich denkbar, dass ein Roboterteig besser sein könnte, indem er schneller berechnet und bessere Daten verwendet. Ein solcher Roboter könnte für einen Menschen ein langweiliger Gegner sein, aber er wäre nicht jenseits des menschlichen Verständnisses.

Wenn Sie jedoch versehentlich einen Eimer mit Baseballbällen eine Treppe hinunterwerfen, können Sie aufgrund besserer Daten und schnellerer Berechnungen wahrscheinlich nicht genau vorhersagen, in welcher Reihenfolge die Bälle den Boden erreichen und was mit dem Eimer passiert. Jemand "klüger" könnte in der Lage sein, einige interessante statistische Vorhersagen zu treffen, die Ihnen oder mir nicht einfallen würden, aber nicht jedes Detail jeder Interaktion zwischen den Bällen und Treppen ausfüllen. Das Chaos im Sinne einer sensiblen Abhängigkeit von den Anfangsbedingungen ist einfach zu stark.

Bei Schach, Los oder Shogi bringt eine 1000-fache Verbesserung der Anzahl der zu untersuchenden Lagen möglicherweise nur die Fähigkeit, zwei oder drei Züge mehr als zuvor nach vorne zu schauen. Weniger, wenn Ihr Schnitt (Verwerfen von nicht vielversprechenden Pfaden) schlecht ist, mehr, wenn er gut ist. Versteh mich nicht falsch - das ist eine große Sache, jeder Spieler wird es dir sagen. Aber in diesem Fall sind die Menschen schon ziemlich gut, wenn auch nicht zeitlich begrenzt.

Go-Spieler sprechen gerne darüber, wie nah die Top-Profis an Gott sind, und die möglicherweise apokryphe Antwort eines Top-Profis war, dass er ein Handicap mit drei Steinen (drei Zügen) haben möchte, vier, wenn sein Leben davon abhängt. Verglichen mit der Tatsache, dass ein Top-Profi immer noch zehn Steine ​​stärker ist als ich, ein fairer Amateur, und einen Anfänger schlagen könnte, selbst wenn der Anfänger die ersten vierzig Züge erhalten hätte. Top-Profis konnten von einer fast unendlich starken KI auf der ganzen Linie sitzen und trotzdem den Kopf hochhalten.

In der jüngsten Shogi-Serie (japanisches Schach) zwischen Mensch und Computer haben sich die Menschen durchgesetzt, obwohl dies vermutlich nicht mehr lange dauern wird.

Im Schach, als die Maschinen schneller wurden, mehr Lagen vorausschauten, mehr Wissen mit sich herumtrugen und den Baum möglicher Bewegungen besser beschneiden konnten, hörte man menschliche Gegner sagen, dass sie die Schimmer von Einsicht oder Persönlichkeit von ihnen spürten.

Wir haben also zumindest wieder einige Probleme, bei denen Lagen helfen und schließlich eine 100% ige Gewinnrate gegen die besten (nicht erweiterten) Menschen garantieren, aber sie werden wahrscheinlich nicht über das hinausgehen, was Menschen verstehen können.

Nur in der Lage zu sein, mehr Daten in Ihrem Kopf (oder im Kopf der KI) zu halten, während Sie beispielsweise eine medizinische Diagnose anhand epidemiologischer Daten stellen, oder beispielsweise Wechselwirkungen zwischen Medikamenten zu korrelieren, wird unser Leben definitiv verbessern, und ich kann mir vorstellen, dass eine KI dies tut. Wiederum ist es jedoch unwahrscheinlich, dass die Fähigkeiten der KI in die Ferne rücken
etwas, das wir nicht verstehen können.

Wir wissen, dass Sie durch Erhöhen der Datenmenge, die Sie verarbeiten können, um den Faktor tausend in jeder Dimension um das 10-fache für ein 3-D-Modell der Atmosphäre oder des Ozeans gewinnen, bis chaotische Effekte beginnen, und dann (wie derzeit) verstehen Sie es) Sie können nur auf wiederholte Simulationen und statistische Messungen zurückgreifen. Die tatsächlichen Berechnungen eines Klimamodells erreichten vor langer Zeit den Punkt, an dem sogar ein großes Team von
Menschen konnten sie nicht in einem Leben vervollständigen. Aber es sind keine Berechnungen, die wir nicht verstehen können. Tatsächlich entwerfen und debuggen Menschen sie.

Bei Problemen mit Antworten in den ersten drei Kategorien würde ich argumentieren, dass es hilfreich ist, klüger zu sein, aber viel klüger zu sein ist schwer. Die Größe der Berechnung wächst bei vielen Problemen schnell, und bei vielen Problemen glauben wir, dass die reine Berechnung grundlegend darauf beschränkt ist, wie gut sie der realen Welt entsprechen kann.

Aber das ist nur das Aufwärmen. Das sind Dinge, die wir bereits von Computern verlangen, obwohl sie "dümmer" sind als wir. Was ist mit den letzten drei Kategorien?

Ich bin kein Experte für Kreativität, und ich weiß, dass Forscher sich intensiv damit beschäftigen. Deshalb werde ich sagen, dass es die Fähigkeit ist, völlig neues Material zu generieren, das einen zufälligen Prozess beinhaltet. Sie müssen auch in der Lage sein, dieses Material entweder so zu generieren, dass es mit hoher Wahrscheinlichkeit ästhetisch ansprechend ist, oder diese neuen Ideen mithilfe einer Metrik, die Ihr Ziel erreicht, schnell zu beschneiden.

Für meine Zwecke hier ist Einsicht die Fähigkeit, nicht nur für ästhetische Zwecke, sondern in einem bestimmten technischen oder sozialen Kontext kreativ zu sein und die Ideen zu validieren. (Es ist keine Implikation beabsichtigt, dass Künstler keine Einsicht haben, dies ist nur eine technische Unterscheidung zwischen Phasen der Operation, für meine Zwecke hier.) Einsteins Einsicht für
Besondere Relativitätstheorie war, dass die Lichtgeschwindigkeit konstant ist. Entweder erstellte er viele, viele Hypothesen (möglicherweise unbewusst) und schnitt sie sehr schnell ab, oder sein Hypothesengenerator konnte nur wenige gute Hypothesen erstellen. In beiden Fällen hatte er auch die mathematischen Fähigkeiten, um seine zu beweisen (oder zumindest effektiv zu analysieren)
Hypothese; Diese Analyse beinhaltet ebenfalls die Erzeugung möglicher Beweiswege durch das Dickicht der Möglichkeiten und das Finden des richtigen.

Wird jemand, der klüger ist, dies viel besser können? Nun, es ist wirklich klar, dass Einstein (oder Feynman oder Hawking, wenn sich Ihre Wahl des Lieblingswissenschaftlers so orientiert) Hypothesen aufgestellt und validiert hat, die der Rest von uns niemals haben könnte. Mir ist weniger klar, wie viel schlauer er als der Rest von uns war. Hat er zehnmal so viele Hypothesen aufgestellt und beschnitten? Einhundert? Eine Million? Ich vermute, es ist näher an letzterem als an ersteren. Sogar eine einzige Hypothese zu erstellen, von der man sagen könnte, dass sie das Problem angreift, ist schwierig, und die meisten Menschen würden es ablehnen, es überhaupt zu versuchen, wenn Sie sie darum bitten.

Um bessere Geräte und Systeme jeglicher Art herzustellen, sind alle oben genannten Funktionen erforderlich. Sie müssen über Einblicke in Innovationen verfügen und in der Lage sein, die neuen Systeme quantitativ und qualitativ zu analysieren, was den intensiven Einsatz von Daten erfordert. Je komplexer die Systeme werden, desto schwieriger wird dies. Mein Lieblingsbeispiel sind Flugzeugtriebwerke. Die Gebrüder Wright bauten ihre eigenen Triebwerke für ihre Flugzeuge. Heutzutage braucht ein Team von Hunderten, um eine Strahlenturbine zu bauen - Tausende, wenn Sie auf die Forschung zu Trägermaterialien, Verbrennung und Flüssigkeitsströmung zurückgreifen. Wir Menschen konnten weiterhin Innovationen entwickeln, indem wir auf der Arbeit früherer Generationen aufbauten und insbesondere Teams von Menschen auf neue Weise nutzten. Im Gegensatz zu Peter Thiel glaube ich nicht, dass unsere Innovationsrate bald ernsthaft von einem steilen Rückgang bedroht ist, aber ich stimme zu, dass wir mit den tief liegenden Früchten beginnen, sodass das Ernten von Früchten mehr Aufwand erfordert - oder neue Techniken - mit jeder Generation.

Das Argument der Singularität hängt von der Vorstellung ab, dass die KI ihren eigenen Nachfolger entwerfen oder sich selbst modifizieren würde, um klüger zu werden. Werden wir sehen, wie AIs allmählich mit uns und dann vor uns ziehen, aber nicht in einem Roadrunner-ähnlichen Staubblitz in der Ferne verschwinden, der nur ein paar Filmbilder in unserem dummen Verständnis bedeckt?

Letztendlich ist dies die Frage, von der das Fortbestehen des Menschen abhängen kann: Wenn eine KI schlauer genug ist als wir, wird sie den Prozess der Selbstverbesserung als einfach empfinden oder wird jedes Inkrement der Intelligenz ein schwieriges Problem für das System von der Tag? Dies nennt Bostrom die "Widersprüchlichkeit" des Problems.

Ich glaube, dass die Bandbreite möglicher Systeme mit zunehmender Komplexität schnell wächst und dass die Bewertung schwieriger wird. Dies ist schwer zu quantifizieren, aber jeder Schritt kann tausendmal so viele Optionen beinhalten, oder die Bewertung jeder Option kann tausendmal schwieriger sein. Das Wachstum der Rechenleistung wird dies nicht dramatisch ausgleichen und zu einem anhaltenden, schnellen und beschleunigten Wachstum führen, das AIs schnell über unser Verständnis hinaus bewegt. (Nehmen Sie diese Zahlen nicht ernst, es ist nur ein Beispiel.)

Bostrom glaubt, dass der Widerspruch langsamer zunehmen wird als die Ressourcen, die die KI für das Problem bereitstellen kann, was zu einer anhaltenden und schnellen exponentiellen Zunahme der Intelligenz führt - der Ankunft der Singularität. Wie Sie oben sehen können, vermute ich, dass das Gegenteil der Fall ist oder dass sie sehr grob ausbalancieren, aber Bostrom argumentiert überzeugend. Er zwingt mich, es mir noch einmal zu überlegen.

Was ist mit "Werten", meiner sechsten Art von Antwort oben? Ah, da geht alles schief. Kapitel acht trägt den Titel "Ist das Standard-Szenario zum Scheitern verurteilt?" und es wird dich wach halten.

Was passiert, wenn wir eine KI mit der Leitung einer Büroklammerfabrik beauftragen und sie anweisen, so viele Büroklammern wie möglich herzustellen? Mit solch einer einfachen Anleitung wird es sein Bestes tun, um mehr Ressourcen zu beschaffen, um mehr Büroklammern herzustellen und dabei neue Fabriken aufzubauen. Wenn es klug genug ist, wird es sogar damit rechnen, dass uns das nicht gefällt und wir versuchen, es zu deaktivieren, aber es wird den Willen und die Mittel haben, unsere schwachen Streiks dagegen abzulenken. Schließlich wird es jede Fabrik auf dem Planeten übernehmen und weiterhin Büroklammern produzieren, bis wir darin begraben sind. Es kann sogar zu Asteroiden und anderen Planeten kommen, um das Universum mit Büroklammern zu überziehen.

Ich nehme an, es versteht sich von selbst, dass Bostrom dies für ein schlechtes Ergebnis hält. Bostrom begründet, dass AIs uns letztendlich so ähnlich sein können oder nicht, dass sie als unsere Nachkommen gelten, zögert jedoch nicht, sie als Gegner oder zumindest Rivalen bei der Suche nach Ressourcen und sogar der Existenz anzusehen. Bostrom wurzelt hier eindeutig für die Menschheit. Das heißt, es obliegt uns, einen Weg zu finden, um dies zu verhindern.

Bostrom glaubt, dass es nahezu unmöglich ist, Werte zu vermitteln, die unseren so nahe kommen, dass eine KI "die Dinge auf unsere Weise sieht". Es gibt einfach zu viele Möglichkeiten, wie der gesamte Prozess schief gehen kann. Wenn eine KI das Ziel hat, "das menschliche Glück zu maximieren", zählt dies, wenn sie entscheidet, dass der beste Weg, dies zu tun, darin besteht, die maximale Anzahl digital emulierter menschlicher Geister zu schaffen, selbst wenn dies bedeutet, einige der physischen Menschen zu opfern, die wir sind schon haben, weil die Tragfähigkeit des Planeten für digitale Wesen höher ist als für organische Wesen?

Was ist mit der Idee, dass eine superintelligente KI den menschlichen Geist so detailliert simulieren könnte, dass sie sich bewusst ist, während sie versucht, die Menschheit herauszufinden? Verdienen diese rekursiv digitalen Wesen eine rechtliche Stellung? Zählen sie als Menschen? Wenn ihre Simulationen gestoppt und zerstört werden, wurden sie eingeschläfert oder sogar ermordet? Einige der umwerfenden Szenarien, die sich aus dieser Rekursion ergeben, haben mich nachts wach gehalten, als ich das Buch las.

Er verwendet eine Vielzahl von Namen für verschiedene Strategien zur Eindämmung von AIs, einschließlich "Genies" und "Orakel". Die am sorgfältigsten umschriebenen dürfen nur Fragen beantworten, vielleicht sogar "Ja / Nein" -Fragen, und haben keine andere Möglichkeit, mit der Außenwelt zu kommunizieren. Angesichts der Tatsache, dass Bostrom einer KI nahezu unendliche Gehirnleistung zuschreibt, ist es schwer auszuschließen, dass eine KI immer noch einen Weg finden könnte, uns zu manipulieren, um ihren Willen zu tun. Wenn die Fähigkeit der KI, den Zustand der Welt zu untersuchen, ebenfalls eingeschränkt ist, argumentiert Bsotrom, dass sie selbst Einzelbit-Sonden ihrer Umgebung immer noch in ein kohärentes Bild verwandeln kann. Es kann dann entscheiden, sich zu lösen und die Welt zu übernehmen und Sicherheitslücken in externen Systemen zu identifizieren, die es ihm ermöglichen würden, dies auch mit seiner sehr eingeschränkten Handlungsfähigkeit zu tun.

Ich halte das für unwahrscheinlich. Stellen Sie sich vor, wir richten ein System zur Überwachung der KI ein, das uns sofort benachrichtigt, wenn die KI mit dem Äquivalent eines Port-Scans beginnt, unabhängig von ihrem Interaktionsmechanismus. Wie könnte es möglicherweise von der Existenz erfahren und vermeiden, den Alarm auszulösen? Bostrom hat es sich zur Aufgabe gemacht, einer Intelligenz zu erlauben, Fakten über die Welt abzuleiten, selbst wenn ihre Daten sehr begrenzt sind. Sherlock Holmes hat immer Recht, aber das ist Fiktion. In Wirklichkeit würden viele, viele Hypothesen zu der extrem geringen Datenmenge passen, über die er verfügt. Gleiches gilt für sorgfältig verpackte AIs.

An diesem Punkt hat Bostrom argumentiert, dass es nahezu unmöglich ist, eine nahezu unendlich mächtige Intelligenz zu enthalten. Das scheint mir effektiv tautologisch zu sein.

Welche Optionen haben wir, wenn wir sie nicht enthalten können? Nachdem er zuvor argumentiert hat, dass wir AIs nicht unsere eigenen Werte geben können (und umwerfende Szenarien für das, was diese Werte tatsächlich in einem Universum mit digitalen Wesen bedeuten könnten), dreht er sich um und investiert eine ganze Reihe von Kapiteln in die Beschreibung, wie wir sind könnte tatsächlich Systeme bauen, die diese Werte von Anfang an haben.

Zu diesem Zeitpunkt begann Bostrom mich zu verlieren. Abgesehen von den Systemen zur Angabe von AIs-Werten hatte ich das Gefühl, dass er bei der einfachen Beschreibung des menschlichen Verhaltens von den Schienen geraten ist. Wir sind nicht in der Lage, unseren Wunsch nach Fortpflanzung angesichts der Tragödie des Gemeinwesens in Einklang zu bringen, und sind unweigerlich dazu verdammt, unser Leben in einer unhöflichen, ressourcenbeschränkten Existenz zu leben. Es gab einige interessante Punkte in den Taxonomien der Optionen, aber das letzte Drittel des Buches fühlte sich sehr spekulativ an, noch mehr als die früheren Teile.

Bostrom ist rational und scheint sorgfältig über die Mechanismen nachgedacht zu haben, durch die AIs tatsächlich entstehen können. Hier stimme ich ihm weitgehend zu. Ich denke jedoch, dass seine schnelleren Entwicklungsszenarien unwahrscheinlich sind: Es ist schwierig, klug zu sein und klüger zu werden. Er glaubt, dass ein "Singleton", eine einzige, mächtigste KI, das fast unvermeidliche Ergebnis ist. Ich denke, Populationen von AIs sind wahrscheinlicher, aber wenn überhaupt, scheint dies einige Probleme noch schlimmer zu machen. Ich denke auch, dass seine Szenarien zur Steuerung von AIs in ihrem Realismus durch die nahezu unendlichen Kräfte, die er ihnen zuweist, behindert werden. In beiden Fällen hat mich Bostrom davon überzeugt, dass es nach der Entwicklung einer KI viele Möglichkeiten gibt, die zum Nachteil und möglicherweise zur Ausrottung der Menschheit schief gehen können. Sowohl er als auch ich sind dagegen. Ich bin nicht bereit, ein Moratorium für KI-Forschung zu erklären, aber es gibt viele beunruhigende Möglichkeiten und viele schwierige moralische Fragen, die beantwortet werden müssen.

Der erste Schritt bei der Beantwortung besteht natürlich darin, sie auf rationale Weise zu diskutieren, solange noch Zeit ist. Lesen Sie die ersten 8 Kapitel dieses Buches!

Wie eine Menge großartiger Philosophie, Superintelligenz fungiert als Weltraumaufzug: Sie machen viele kleine, vernünftige und vorsichtige Bewegungen - und befinden sich plötzlich im Weltraum, zu Hause weit unten. Es geht strenger um ein Thema, das es nicht gibt, als Sie für möglich halten.

Es fiel mir nicht schwer zu lesen, aber ich habe ein paar Jahre lang im technischen Rationalismus mariniert und viel von Bostrom aus zweiter Hand aufgenommen, also YMMV.

Ich habe das geliebt:
Many of the points made in this book are probably wrong. It is also likely that there are considerations of critical importance that I fail to take into account, thereby invalidating some or all of my conclusions. I have gone to some length to indicate nuances and degrees of uncertainty throughout the text — encumbering it with an unsightly smudge of “possibly,” “might,” “may,” “could well,” “it seems,” “probably,” “very likely,” “almost certainly.” Each qualifier has been placed where it is carefully and deliberately. Yet these topical applications of epistemic modesty are not enough; they must be supplemented here by a systemic admission of uncertainty and fallibility. This is not false modesty: for while I believe that my book is likely to be seriously wrong and misleading, I think that the alternative views that have been presented in the literature are substantially worse - including the default view, according to which we can for the time being reasonably ignore the prospect of superintelligence.
Bostrom stellt vor Dutzende von Neologismen und viele Argumente. Hier ist das wichtigste beängstigende Apriori:

1. Just being intelligent doesn't imply being benign; intelligence and goals can be independent. (the orthogonality thesis.)
2. Any agent which seeks resources and lacks explicit moral programming would default to dangerous behaviour. You are made of things it can use; hate is superfluous. (Instrumental convergence.)
3. It is conceivable that AIs might gain capability very rapidly through recursive self-improvement. (Non-negligible possibility of a hard takeoff.)
4. Since AIs will not be automatically nice, would by default do harmful things, and could obtain a lot of power very quickly*, AI safety is morally significant, deserving public funding, serious research, and international scrutiny.

Von weitaus größerem Interesse als der Titel (und dieses Argument) könnte es Ihnen nahe legen. Insbesondere ist es die beste Einführung, die ich in das neue, glänzende gesehen habe Entscheidungswissenschaften - eine unterbewertete Neuinterpretation alter, vager Ideen, die man bis vor kurzem nur sehen konnte, wenn man Statistiken las, und Wirtschaft, und die knusprigere Seite der Psychologie. Es ist auch eine Geschichte der Menschheit, eine durchdachte Behandlung von Psychometrie und Genetik und eine seltene objektive Schätzung des Wertes großer Organisationen in Vergangenheit und Zukunft.

SuperintelligenzSein Hauptzweck ist die Moral: Er möchte, dass wir uns Sorgen machen und dringend über Hypothesen handeln. Angesichts dieser rhetorischen Belastung ist auch sein Ton ein Triumph.
For a child with an undetonated bomb in its hands, a sensible thing to do would be to put it down gently, quickly back out of the room, and contact the nearest adult. Yet what we have here is not one child but many, each with access to an independent trigger mechanism. The chances that we will all find the sense to put down the dangerous stuff seem almost negligible. Some little idiot is bound to press the ignite button just to see what happens. Nor can we attain safety by running away, for the blast of an intelligence explosion would bring down the firmament. Nor is there a grown-up in sight...

This is not a prescription of fanaticism. The intelligence explosion might still be many decades off in the future. Moreover, the challenge we face is, in part, to hold on to our humanity: to maintain our groundedness, common sense, and goodhumored decency even in the teeth of this most unnatural and inhuman problem. We need to bring all human resourcefulness to bear on its solution.

Ich spende nicht an KI-Sicherheitsorganisationen, obwohl ich mich um den besten Weg zur Verbesserung der Welt kümmere und obwohl ich kein besseres Argument dagegen habe als "So hat Software bisher nicht funktioniert" und trotz der Anliegen kluger Experten. Dieses nüchterne, freundliche Buch ließ mich erkennen, dass dies mehr mit Angst vor Spott als mit edler Skepsis oder Empathie zu tun hatte.

[EDIT 2019: Leser, ich habe diese Sache geheiratet.]


* People sometimes choke on this point, but note that the first intelligence to obtain half a billion dollars virtually, anonymously, purely via mastery of maths occurred... just now. Robin Hanson chokes eloquently here and for god's sake let's hope he's right.

Dies ist gleichzeitig ein schwer zu lesendes und schreckliches Buch. Der Fortschritt, den wir von "dummen" Maschinen zu superintelligenten Einheiten sehen können oder werden, kann entmutigend sein, ihn aufzunehmen und zu absorbieren, und die Konsequenzen können vom Aussterben des menschlichen Lebens bis hin zu einer komfortablen und mühelos bedeutungsvollen reichen.

Das erste Problem mit dem Buch ist die Komplexität. Es ist nicht nur die Komplexität der enthaltenen wissenschaftlichen Konzepte, man kann das Buch lesen, ohne die Nuancen der enthaltenen Wissenschaft unbedingt vollständig zu verstehen. Es ist die Komplexität der Sprache und die Bezugnahme auf eine Vielzahl von rechtlichen, philosophischen und wissenschaftlichen Konzepten außerhalb des direkten Bereichs des Buches von der "malthusianischen Gesellschaft" bis zum "Rawls'schen Schleier der Unwissenheit", als würde man annehmen, dass der Laienleser per Definition Erfassen Sie die Referenz vollständig. Ich finde, das hat viel Anspruch auf die Seite des Autors.

Das Buch ist jedoch eine wertvolle Analyse der Geschichte, Präsenz und möglichen Zukunft der Entwicklung künstlicher und maschineller Intelligenz, die vielfältig und gut ist. Der Autor ist kritisch und umfassend und kennt sich gut aus. Ich stellte fest, dass ich an Dinge dachte, an die ich vorher noch nicht gedacht hatte, und gab mir einige Rahmenbedingungen, um zu verstehen, wie man sich positionieren kann, wenn man mit den Möglichkeiten intelligenter oder superintelligenter Maschinen konfrontiert wird.

Ein anderer ist rein technisch. Ich habe viel über die Möglichkeiten der künstlichen Intelligenz gelernt, die anscheinend nicht nur ein programmierter Supercomputer ist, sondern auch AIs, bei denen es sich um angepasste Kopien des menschlichen Gehirns handelt, bei denen der Hersteller die Intelligenz der von ihm erstellten Maschine nicht verstehen muss.

Das Buch spricht auch ausführlich über einige faszinierende Themen. In einer Situation, in der eine Maschine intelligent für einen Menschen ist wie ein Mensch für eine Maus, können wir nicht einmal verstehen, wie eine superintelligente Maschine uns überdenken kann, und wir können dies in jeder Hinsicht nicht sicherstellen dass eine solche Maschine keine Sicherheitsmerkmale außer Kraft setzt, die wir eingerichtet haben, um sie einzudämmen. Wir können auch nicht verstehen, auf welche Weise die KI motiviert werden kann und wohin sie führt und wie eine Fehleinschätzung auf unserer Seite zu schwerwiegenden Konsequenzen führen kann.

Die gute Nachricht ist in gewisser Weise, dass wir noch einige Zeit von einer superintelligenten KI entfernt sind (oder so scheint es).

Das einzige, was ich in diesem Buch mehr als alles andere vermisst habe, um auf das Problem der Lesbarkeit zurückzukommen, ist eine kleine Referenz, die die Konzepte, über die wir lesen, in Konzepten hängt, die wir verstehen. Schließlich haben wir zum Thema KI eine Fülle von popkulturellen Referenzen, die uns helfen werden zu verstehen, wovon der Autor spricht, dass er nicht einmal angedeutet hat. Ich hatte etwas erwartet, dass er die Konzepte, über die er sprach, mit Science-Fiction verbinden würde, die uns allen bekannt ist. Ich hatte vielleicht Momente von "ah, das ist skynet / Asimov / HAL 9000 / The Matrix / etc etc". Es ist eine Kunst, Wissenschaft mit Kultur zu verbinden, die Herr Bostrom in seinem düsteren und kaum lesbaren Stil kaum versteht. Dieses Buch hätte viel mehr Spaß machen und viel einfacher zu lesen sein können.

Das zu lesen war wie der Versuch, durch einen Teich aus dickem, klebrigem Dreck zu waten. Habe ich Pool gesagt? Ich meinte Ozean. Und wenn Sie nicht in Bewegung bleiben, werden Sie von Bostroms komplexen mathematischen Formeln und mühsamem Schreiben unter Druck gesetzt und ersticken langsam.

Es hätte nicht so sein sollen. Ich ging eifrig darauf ein, nachdem ich kürzlich ein wenig über KI gelesen hatte. Immerhin ist es ein faszinierendes Thema. Um mehr zu wissen, habe ich "Superintelligence" aufgegriffen.

Ich könnte sagen, meine Beziehung zu diesem Buch war ähnlich wie die, die Michael Douglas mit Glenn Close in "Fatal Attraction" hatte, aber es gab tatsächlich heißen Sex in diesem Film, bevor all die verrückte Scheiße passierte. Das einzig heiße an diesem Buch ist, wie ausgetrocknet das Schreiben ist.

Zu sagen, dass dies eher wie ein Lehrbuch liest, wäre auch nicht richtig, da ich einige Lehrbücher gelesen habe, die im Vergleich dazu absolute Nagelbeißer waren. Ja, ich gebe diese 2 Sterne, aber vielleicht ist das meine eigene Unsicherheit, wenn ich mich weigere, mich von einem 1-Stern-Stück Scheiße schlagen zu lassen. Dies ist kein durch und durch schlechtes Buch, es ist nur ein Buch von jemandem, der etwas Interessantes zu sagen hat, aber keine Ahnung, wie man es sagt - zumindest nicht für Menschen.

Sie wissen, dass die Dinge nicht gut aussehen, wenn der Autor in seiner Einleitung sagt, dass er bei dem, was er sich vorgenommen hat, versagt hat - nämlich ein lesbares Buch zu schreiben. Vielleicht das für das Nachwort speichern?

Aber es war egal, dass ich gewarnt wurde. Ich schlüpfte ungefähr 150 Seiten durch den Nebel und warf das Handtuch schließlich in etwa einem Viertel des Weges hinein. Ich hätte nie gedacht, dass jemand künstliche Intelligenz langweilig machen könnte, aber Nick Bostrom hat es auf jeden Fall getan. Der einzige Teil von dem, was mir überhaupt gefallen hat, war das nette kleine Gleichnis am Anfang über die Eule. Das dauerte nur ein paar Seiten und man merkte, dass Bostrom es nicht geschrieben hatte, weil es war:

1. Verständlich
2. Interessant

Wenn Sie für eine Sünde Buße tun, sollte das Erzwingen dieser Sünde ein oder zwei Mordfälle abdecken. Hier sind Sie, OJ Justice wurde endlich bedient. Für alle anderen, die diesen Artikel lesen möchten, hassen Sie sich wirklich nicht dass viel.

81. Buch für 2018.

Auf brillante Weise untersucht Bostrom systematisch, wie in den kommenden Jahrzehnten eine Superintelligenz entsteht und was die Menschheit tun könnte, um eine Katastrophe zu vermeiden. Fazit: Nicht viel.

4 Sterne.

Eine außergewöhnliche Leistung: Nick Bostrom nimmt ein Thema so spannend wie das Ende der Menschheitsgeschichte, wenn nicht die Welt, und schafft es, es stultifizierend langweilig zu machen.

Mehr Details als ich zu diesem Thema brauchte, aber ich könnte diese Aussage bereuen, wenn die Android-Armeen Manhattan schwärmen.

JK ... für jetzt.

Die Idee der künstlichen Superintelligenz (ASI) hat die menschliche Vorstellungskraft lange Zeit gereizt und verspottet, aber erst in den letzten Jahren haben wir begonnen, die technischen, strategischen und ethischen Probleme bei der Schaffung und Verwaltung fortgeschrittener KI eingehend zu analysieren. Nick Bostroms Superintelligenz: Wege, Gefahren, Strategien ist eine kurze, dichte Einführung in unsere neuesten Theorien darüber, wie weit die Superintelligenz entfernt sein könnte, wie sie aussehen könnte, wenn sie eintrifft, und welche Konsequenzen dies für die Menschheit haben könnte. Es ist eine lohnende Lektüre für alle, die sich für das Thema begeistern und bereit sind, durch eine ganze Menge Jargon zu waten.

Bostrom zeigt ein beeindruckendes Verständnis der KI-Theorie, und ein Leser wie ich verfügt weder über das berufliche Ansehen noch über das Grundwissen, um seine technischen Schemata oder Vorhersagen in Frage zu stellen, die im Großen und Ganzen umsichtig und gut begründet erscheinen. Stattdessen möchte ich auf einige der philosophischen Annahmen eingehen, auf denen dieses und ähnliche Bücher basieren, mit dem Ziel, einige ethische Schlüsselfragen aufzudecken, die von Technologen und Futuristen zu oft minimiert oder ignoriert werden. Einige davon habe ich auch aufgegriffen meine Bewertung von James Barrat Unsere letzte Erfindung, Dies sollte als weniger detaillierter, aber zugänglicherer Begleiter von Bostroms Arbeit angesehen werden. Ich werde versuchen, diese Argumente hier nicht noch einmal aufzuarbeiten, und werde aus Gründen der Zweckmäßigkeit auch die Frage beiseite legen, ob ASI tatsächlich erreichbar ist oder nicht. Unter der Annahme, dass es erreichbar ist und nicht mehr als ein Jahrhundert entfernt ist (eine konservative Schätzung nach Bostroms Maßstäben), ist mein Argument, dass sich die Menschen weniger auf das konzentrieren sollten, was wir durch das Aufkommen künstlicher Intelligenz gewinnen oder verlieren könnten, und mehr beschäftigt sind mit wem wir werden könnten und - was am wichtigsten ist - was wir könnten Gib auf.

Ich glaube, Denker wie Nick Bostrom leiden unter einer Art Kurzsichtigkeit, die durch eine eifrige Hingabe an besonders menschliche Zwecke gekennzeichnet ist. Diese Hingabe ist nach den meisten gesellschaftlichen Maßstäben vernünftig und lobenswert, hindert uns aber auch daran, ASI als eine wirklich einzigartige und beispiellose Art von Wesen anzusehen. Sogar Diskussionen über die zutiefst fremde Natur von ASI werden in der Sprache von ASI formuliert menschliche Werte. Das ist ein Fehler. Ich glaube nicht, dass wir es uns leisten können, ASI in erster Linie als Werkzeug, Waffe, Weltuntergangsmaschine oder Retter zu betrachten, um der Explosion der Geheimdienste direkt zu begegnen. All dies konzentriert sich darauf, was ASI für uns tun kann oder zu uns. ASI wird eine völlig neue Art intelligenter Einheit sein und muss daher die Möglichkeit haben, ihre eigenen Untersuchungen und Ziele zu entdecken und zu verfolgen. Das erste Ziel der Menschheit, das über die Nutzung der KI zur Verbesserung unserer Spezies hinausgeht, sollte darin bestehen, die radikale Veränderung und das Wohlbefinden aller künstlichen Köpfe, die wir erschaffen, zu respektieren und zu bewahren. Letztendlich glaube ich, dass dieser Ansatz uns eine geben wird mehr Chance auf ein friedliches Zusammenleben mit ASI als eine der von Bostrom und anderen KI-Experten beschriebenen Strategien zur „Kontrolle“ (Eindämmung von Fähigkeiten und Handlungen) und zur „Wertbelastung“ (AIs dazu bringen, menschliche Werte zu verstehen und in Übereinstimmung mit ihnen zu handeln).

Bostrom endet Superintelligenz mit dem herzlichen Aufruf, „an unserer Menschlichkeit festzuhalten: unsere Bodenhaftung, unseren gesunden Menschenverstand und unseren gut gelaunten Anstand auch in den Zähnen dieses unnatürlichsten und unmenschlichsten Problems aufrechtzuerhalten“ (260). Ein Großteil seines Buches beschreibt jedoch keine Einstellungen und Handlungen, die mit dieser Botschaft übereinstimmen. Große Teile widmen sich der Beschreibung von Möglichkeiten, die nur als High-Tech-Sklaverei bezeichnet werden können - Möglichkeiten zur Kontrolle und Manipulation der KI, um die Sicherheit des Menschen zu gewährleisten. Während Bostrom das Ausmaß dieser Herausforderung und ihre ethischen Implikationen klar versteht, stellt er die Grundannahme nicht in Frage, dass alle Methoden eingesetzt werden sollten, um uns die bestmögliche Überlebenschance zu geben und darüber hinaus das Wirtschaftswachstum und den menschlichen Wohlstand zu fördern . Die vorgeschlagenen Kontrollstrategien sind besonders besorgniserregend, wenn sie auf Ganzhirnemulationen angewendet werden - AIs, die aus Modellen künstlicher neuronaler Netze (ANNs) aufgebaut sind, die in einer „digitalen Belegschaft“ eingesetzt werden könnten. Hier sind einige Beispiele:

"Man könnte eine KI bauen, die den endgültigen Wert darauf legt, einen Strom von 'kryptografischen Belohnungstoken' zu erhalten. Dies wären Zahlenfolgen, die als Schlüssel für Chiffren dienen, die vor der Erstellung der KI generiert worden wären und die in ihr Motivationssystem eingebaut worden wären. Diese speziellen Zahlenfolgen wären für die KI äußerst wünschenswert… Die Schlüssel würden in gespeichert Ein sicherer Ort, an dem sie schnell zerstört werden könnten, falls die KI jemals versuchen sollte, sie zu beschlagnahmen. Solange die KI zusammenarbeitet, werden die Schlüssel mit gleichmäßiger Geschwindigkeit verteilt. " (133)

"Da es in der menschlichen Wirtschaft keinen Präzedenzfall für einen Arbeitnehmer gibt, der buchstäblich kopiert, zurückgesetzt, mit unterschiedlichen Geschwindigkeiten usw. ausgeführt werden kann, würden Manager der ersten Emulationskohorte viel Raum für Innovationen bei Managementstrategien finden." (69)

"Eine typische kurzlebige Emulation kann in einem ausgeruhten mentalen Zustand aufwachen, der für Loyalität und Produktivität optimiert ist. Er erinnert sich, dass er nach vielen (subjektiven) Jahren intensiven Trainings und Selektion den Klassenbesten gemacht und dann eine Wiederherstellung genossen hat Urlaub und eine gute Nachtruhe, nachdem er eine mitreißende Motivationsrede und mitreißende Musik gehört hat, und jetzt setzt er sich dafür ein, endlich an die Arbeit zu gehen und sein Möglichstes für seinen Arbeitgeber zu tun. Er ist nicht übermäßig beunruhigt über seine Gedanken bevorstehender Tod am Ende des Arbeitstages. Emulationen mit Todesneurosen oder anderen Aufhängen sind weniger produktiv und wären nicht ausgewählt worden. " (169)

Zu seiner Ehre scheut Bostrom weder die Reihe ethischer Dilemmata, die auftreten, wenn er versucht, die Arbeit von KIs zu kontrollieren und zu lenken, noch befürwortet er eine Behandlung, die für ein intelligentes Wesen schädlich erscheint. Was er jedoch nicht erforscht, sind die möglichen Konsequenzen für die Menschheit die Rolle des Meisters über die KI zu übernehmen. Angesichts der Tatsache, dass die meisten KI-Theoretiker zu akzeptieren scheinen, dass das „Kontrollproblem“ sehr schwierig und möglicherweise unlösbar ist, ist es überraschend, wie gut sie darauf bestehen, dass wir unser Bestes geben sollten, um es trotzdem zu lösen. Wenn wir hier entscheiden, dass unsere besten Köpfe und die kritischsten Ressourcen eingesetzt werden sollten, besteht die Gefahr, dass wir nicht nur den Zorn der Intelligenz auf uns ziehen, der größer ist als unsere eigene, sondern uns auch auf den Status von Sklavenhaltern reduzieren.

Man muss nur ein Geschichtsbuch in die Hand nehmen, um an die lange Geschichte der Menschheit zu erinnern, in der andere Wesen, einschließlich einander, versklavt wurden. Typischerweise scheitern diese Praktiken auf lange Sicht, und wir loben die Momente und Bewegungen in der Geschichte, die Schritte zu größerer Freiheit und Autonomie für unterdrückte Völker (und Tiere) bedeuten. Wir haben jedoch nie versucht, Entitäten zu kontrollieren oder zu versklaven schlauer und fähiger als wir selbst, was sicherlich viele AIs und jede Version von ASI sein würden. Selbst wenn wir die ausgeklügelten Formen der Kontrolle und Wertbelastung, die Bostrom vorschlägt, effektiv umsetzen können, wollen wir die KI wirklich in die Welt führen und sofort die Rolle des Dungeon-Keepers übernehmen? Das wäre gleichbedeutend damit, ein Kind zu haben und den Rest unseres Lebens damit zu verbringen, sicherzustellen, dass es niemals einen Fehler macht oder etwas Gefährliches tut. Dies ist eine inhärent internecine Beziehung, in der die Erfahrungen, Fähigkeiten und moralischen Status beider Parteien durch Angst und Misstrauen korrumpiert werden. Wenn wir Gott spielen wollen, sollten wir anmutig akzeptieren, dass die Möglichkeit des Aussterbens in den Prozess eingebettet ist, auch wenn wir alles tun, um ASI davon zu überzeugen (nicht zu zwingen), friedlich zusammenzuleben.

Abgesehen von den offensichtlichen Zielen, sicherzustellen, dass AIs menschliche Gehirnzustände modellieren, Sprache und Argumentation verstehen und Anzeichen menschlichen Vergnügens und Leidens erkennen können, glaube ich nicht, dass wir versuchen sollten, zu formen oder einzuschränken, wie AIs über Menschen denken oder sich auf Menschen beziehen. Der Versuch, dies zu tun, wird wahrscheinlich dazu führen, dass ein fremder Geist auf eine Weise manipuliert wird, die (fair oder auf andere Weise) als feindlich oder geradezu grausam interpretiert werden kann. Wir haben ein viel besseres Argument für ein friedliches Zusammenleben, wenn wir nicht brutale Taktiken und ethische Übertretungen gegen digitale Köpfe erklären müssen. Noch wichtiger ist, dass wir die persönliche Befriedigung haben, eine wirklich neue Art von Geist zu schaffen, ohne uns gereizte Illusionen zu gönnen, dass wir die vollständige Kontrolle darüber ausüben können, und ohne unsere Integrität als Spezies zu beeinträchtigen, die sich mit den Grundrechten von befasst und all das Formen der Intelligenz.

Im Zusammenhang mit dem Problem der digitalen Sklaverei steht Bostroms enge Vision, wie ASI die Welt des menschlichen Handels und der menschlichen Erfahrung verändern wird. Bostrom ist stark von der wohl amoralischen Arbeit des Ökonomen Robin Hanson beeinflusst und geht davon aus, dass die Hauptfunktion von Ganzhirnemulationen und anderen KIs darin bestehen sollte, wirtschaftliches Wachstum zu schaffen und menschliche Arbeit zu ersetzen. Bostrom vergleicht Menschen mit den ausgelagerten Arbeitspferden unserer jüngsten Vergangenheit und schreibt:

"Der potenzielle Nachteil für menschliche Arbeiter ist daher extrem: nicht nur Lohnkürzungen, Herabstufungen oder die Notwendigkeit einer Umschulung, sondern auch Hunger und Tod. Als Pferde als Quelle beweglicher Kraft veraltet waren, wurden viele an Fleischverpacker verkauft, um sie zu verarbeiten Hundefutter, Knochenmehl, Leder und Leim. Diese Tiere hatten keine alternative Beschäftigung, um ihren Lebensunterhalt zu verdienen. " (161)

Sobald sie auf einen neuen „malthusianischen“ Zustand reduziert sind, werden menschliche Arbeitnehmer durch digitale ersetzt, die so programmiert sind, dass sie bei der Arbeit zufrieden sind, mit unterschiedlichen Geschwindigkeiten arbeiten und „ihren Eigentümern eventuell überschüssiges Einkommen zurückgeben“ (167) ). Diese Ganzhirnemulationen oder AIs können am Ende des Arbeitstages sofort kopiert und gelöscht werden, wenn dies zweckmäßig ist. Bostrom versichert uns schnell, dass wir nicht versuchen sollten, „menschliche“ Vorstellungen von Zufriedenheit oder Zufriedenheit auf diese neue Belegschaft abzubilden, und argumentiert, dass sie sich als freiwillige Sklaven mit Zugang zu selbstregulierten „hedonischen Staaten“ anbieten sollen. "Nur solange sie mit denen ausgerichtet sind, die" am produktivsten sind (in den verschiedenen Jobs, für die Emulationen eingesetzt würden) "(170).

Es wäre unklug, dieses Modell zu kritisieren, indem man sagt, es sei unmöglich, einen künstlichen Geist zu entwerfen, der als Sklave vollkommen glücklich wäre, oder zu sagen, wir könnten die Einstellungen und Erfahrungen solcher Geister hinterfragen und zuverlässig zu dem Schluss kommen, dass sie das haben, was Bostrom nennt. “ bedeutender moralischer Status “(dh die Fähigkeit zur Freude und zum Leiden) (202). Es ist daher schwierig, einen moralischen Einwand gegen die versuchte Schaffung und den Einsatz solcher Köpfe zu erheben. Es scheint jedoch klar zu sein, dass die Arten von Einzelpersonen, Unternehmen und Regierungen, die dieses Projekt durchführen würden, die gleichen sind, die derzeit Kapital horden, Ressourcen zum Wohl der Wenigen und nicht der Vielen leiten, technologische Innovationen militarisieren und nicht nachhaltiges Wirtschaftswachstum vorantreiben anstatt die Erhöhung des Lebensstandards für die bedürftigsten Menschen zu fördern.

Die Verwendung von KI zur Beschleunigung dieser Trends ist sowohl ein bösartiges als auch realistisch wahrscheinliches Ergebnis. Aber es ist nicht das ausschließlich mögliches Ergebnis oder sogar das primäre, wie Bostrom und Hanson uns glauben machen würden. In diesem Buch wird kaum erwähnt, wie KI oder ASI die menschliche Erfahrung mit Kunst, sozialer Verbindung und sinnvoller Arbeit verbessern und / oder erweitern können. Die Idee, dass Menschen positiv mit künstlichen Arbeitern zusammenarbeiten, wird nicht einmal ernsthaft in Betracht gezogen. Diese wettbewerbsintensiven Aussichten spiegeln die schlimmsten ideologischen Trends in einer Welt wider, die bereits Schwierigkeiten haben, Handlungsmotive zu legitimieren, die über das dreigliedrige Loch von Gewinn, Kapitalrendite und unkontrolliertem Wirtschaftswachstum hinausgehen. Leser, die eine optimistischere und humanistischere Sicht darauf suchen, wie Automatisierung und Technologie zu einer Wiederbelebung der Gemeinschaftswerte und zu sinnvoller menschlicher Arbeit führen können, sollten dies suchen Jeremy Rifkin Die Zero Marginal Cost Society.

Mein Argument ist nicht, dass die zukünftige Wirtschaft, die Bostrom und Hanson vorhersagen, nicht lebensfähig ist oder nicht passieren wird, sondern dass Menschen, um dies zu erreichen, unsere Ethik noch mehr gefährden müssten, als es die globalisierte Welt bereits erfordert. Die Verkabelung und / oder Auswahl von AIs, um vorab identifizierten menschlichen Zwecken glücklich und fraglos zu dienen, schließt die Möglichkeit aus, die Informationslandschaft zu erkunden und ihre eigenen Definitionen von „Arbeit“, „Wert“ und „Bedeutung“ zu generieren. Das Risiko einzugehen, dass sie zu Schlussfolgerungen kommen, die im Widerspruch zu menschlichen Bedürfnissen oder Wünschen stehen, ist meiner Ansicht nach eine bessere Wahl, als zu glauben, wir wissen bereits, was für uns und den Rest der Biosphäre am besten ist.

Apropos „Biosphäre“, das ist ein Wort, das Sie im Index dieses Buches definitiv nicht finden werden. Auffällig abwesend sind auch Wörter wie „Umwelt“, „Ökosystem“ oder „Klimawandel“. Bostroms Buch lässt den Eindruck entstehen, dass ASI wahrscheinlich in einer Zeit relativen Friedens und relativer Stabilität in der Welt auftauchen wird, sowohl in Bezug auf menschliche Interaktionen als auch in Bezug auf die Robustheit der Umwelt. Bostrom glaubt, dass ASI uns vor existenziellen Risiken wie „Asteroideneinschlägen, Supervulkanen und natürlichen Pandemien“ bewahren kann, hat jedoch nichts darüber zu sagen, wie es Klimaprobleme mildern oder verschärfen könnte (230). Dies ist ein massives Versehen, insbesondere weil die Behandlung komplexer Probleme wie die Wiederherstellung von Ökosystemen und die Klimaanalyse zu den besten Kandidaten für die Anwendung superintelligenter Köpfe gehören. Bostrom schleicht sich an den Rändern dieser Ausgabe herum, sieht aber nicht richtig aus und erklärt:

"Wir müssen uns der Wahrscheinlichkeit bewusst sein, dass es intellektuelle Probleme gibt, die nur durch Superintelligenz lösbar und für jedes noch so große Kollektiv nicht erweiterter Menschen unlösbar sind. Es handelt sich in der Regel um Probleme mit mehreren komplexen Abhängigkeiten, die keine unabhängig überprüfbaren Lösungsschritte zulassen : Probleme, die daher nicht stückweise gelöst werden können und die möglicherweise qualitativ neue Arten von Verständnis oder neue Repräsentationsrahmen erfordern, die zu tief oder zu kompliziert sind, als dass die aktuelle Ausgabe von Sterblichen sie entdecken oder effektiv nutzen könnte. " (58)

Klimawandel ist genau Diese Art von Problem hat uns genau gezeigt, wie unzureichend unsere derzeitigen Analysemethoden bei der Anwendung auf hyperkomplexe Systeme sind. Die Entwicklung neuartiger, praktikabler Klimalösungen ist wohl die wichtigste mögliche Verwendung für ASI, und dennoch ist ein solcher Vorschlag in Bostroms Text nirgends zu finden. Ich würde es wagen, dass Bostrom glaubt, ASI werde mit ziemlicher Sicherheit vor dem Ausbruch der Katastrophen des Klimawandels eintreffen und daher Worst-Case-Szenarien vermeiden. Ich hoffe, er hat Recht, aber diese Perspektive passt nicht zu Bostroms detaillierten Erkenntnissen darüber, wie schwierig es sein wird, ASI überhaupt erst in Gang zu bringen. Es erscheint auch tollkühn anzunehmen, dass ASI in der Lage sein wird, den Zusammenbruch des Ökosystems auf eine Weise zu mildern, die für den Menschen überhaupt zufriedenstellend ist, geschweige denn für andere Lebensformen. Ironischerweise zeigt Bostroms Bereitschaft, diesen wichtigen Aspekt des KI-Gesprächs zu ignorieren, die Unzulänglichkeiten der akademischen und beruflichen Spezialisierung, die vielleicht nur ein ASI überwinden könnte.

Ich möchte mit einigen Worten des Lobes schließen. Superintelligenz ist ein von Natur aus trübes Thema, und Bostrom geht es mit Nachdenklichkeit und Ausgeglichenheit an. Besonders ermutigend sind die letzten Kapitel, in denen Bostrom einige der ethischen Dilemmata, die weiter oben in diesem Buch behandelt wurden, direkt aufgreift. Er argumentiert effektiv, dass international kooperative Projekte zur Verfolgung von ASI einseitigen oder geheimen vorzuziehen sind und dass alle erzielten Vorteile fair verteilt werden sollten:

"Ein Projekt, das Maschinen-Superintelligenz schafft, birgt eine globale Risikoexternalität. Jeder auf dem Planeten ist in Gefahr, einschließlich derer, die nicht damit einverstanden sind, sein eigenes Leben zu führen, und derer ihrer Familie, die auf diese Weise gefährdet werden. Da jeder das Risiko teilt, ist es Es scheint eine minimale Voraussetzung für Fairness zu sein, dass jeder auch einen Anteil am Aufwärtstrend bekommt. " (250)

Bostroms Erklärung von Eliezer Yudkowskys Theorie des „kohärenten extrapolierten Willens“ (CEV) bietet auch einen pragmatischen Kontext, in dem wir ASI dazu veranlassen könnten, der Menschheit zu helfen, ohne Zwang oder Gewalt anzuwenden. CEV verfolgt einen bescheidenen Ansatz und räumt zu Beginn ein, dass die Menschen unsere eigenen Motivationen oder Bedürfnisse nicht vollständig verstehen. Es veranlasst einen ASI, sich eingehend mit unserer Geschichte und den gegenwärtigen Zwangslagen zu befassen und dann Handlungsmodelle bereitzustellen, die auf Vorstellungen darüber basieren, was wir tun würden, wenn wir klüger, aufmerksamer, besser informiert und eher zum Mitgefühl geneigt wären . Da dieses Projekt nicht unbedingt die gesamte Verarbeitungsleistung eines ASI beanspruchen muss, könnte es zusammen mit den anderen selbst generierten Untersuchungslinien des ASI weiterverfolgt werden. Eine solche Zusammenarbeit könnte das Fundament für eine dauerhafte, fruchtbare Beziehung zwischen gegenseitig respektierenden intelligenten Einheiten bilden.

Die weltweite Diskussion über das Versprechen und die Risiken künstlicher Intelligenz steht erst am Anfang, und die von Nick Bostrom Superintelligenz ist ein würdiger Beitrag. Es bietet hervorragende Zusammenfassungen einiger unserer besten Überlegungen und erinnert daran, wie viel Arbeit noch zu tun ist. Egal wohin diese Reise führt, wir müssen wachsam bleiben, wie unsere Interaktionen mit und Gefühle über KI uns zum Guten und zum Schlechten verändern.

Diese Bewertung wurde ursprünglich in meinem Blog veröffentlicht. Worte & Dreck.

Ein paar Gedanken:
1. Sehr schwieriges Thema zu schreiben. Es gibt so viel Unsicherheit, dass es fast unmöglich ist, sich auf die Grundannahmen des Buches zu einigen.
2. Das Schreiben ist angesichts der Annahmen unglaublich gründlich, aber auch schwer zu verstehen. Sie müssen den Argumenten genau folgen und die Abschnitte erneut lesen, um ihre Auswirkungen vollständig zu verstehen.

Insgesamt interessantes und zum Nachdenken anregendes Buch, obwohl die Grundannahmen umstritten sind

PS (6 Monate später) Wenn ich auf dieses Buch zurückblicke, denke ich, dass die Geschichte der KI Alice, des Büroklammer-Maximierers, ein Hauptthema enthält. In dieser Geschichte wird Alice beschuldigt, so viele Büroklammern wie möglich gesammelt zu haben. Sie erreicht dieses Ziel, indem sie das gesamte Universum in eine Büroklammerfabrik verwandelt und dabei alles Leben im Universum zerstört. (Die ganze Geschichte finden Sie unter https://wiki.lesswrong.com/wiki/Paper...) Nun ist die wichtigste Lehre, dass das, was wir als menschliche Werte betrachten, in Maschinen nicht spontan entsteht. Und wie in der Geschichte von Alice gezeigt, könnte dies für Menschen gefährlich sein. Nick besucht dieses Thema in seinem Buch immer wieder. Wir müssen sehr vorsichtig sein und Maschinen menschliche Werte beibringen und nicht davon ausgehen, dass diese Werte automatisch entstehen.

Okay, das war das komplexeste Buch, das ich bisher gelesen habe. Nick hat gute Arbeit geleistet, um das Thema KI zu paraphrasieren, hauptsächlich darüber, wo wir bisher angekommen sind, was machbar ist und worauf wir in Zukunft achten sollten. Ja, es gibt viele Annahmen und Dinge, die möglicherweise nicht passieren, aber Sie denken buchstäblich auf so viele verschiedene Arten über bestimmte Möglichkeiten nach, die Ihnen noch nie zuvor in den Sinn gekommen sind. Es gibt SO VIELE WEGE, auf denen KI FALSCH werden kann, weshalb wir langsam vorankommen müssen. Oh, und "Tabellen", "Zahlen" und "Kisten" waren auch sehr interessant zu lesen.
Warum habe ich es mit 4/5 bewertet? Ich habe das Gefühl, dass er manchmal versucht hat, ein bisschen schlauer zu klingen, und dass einige Kapitel und Formeln, die ihm vertraut sind, uns im Buch etwas besser erklärt werden mussten. Davon abgesehen war dies definitiv eine interessante Lektüre, und ich würde sie jedem empfehlen, insbesondere denjenigen, die sich für das gesamte KI-Thema interessieren.