7 Was wissen wir bis jetzt?
In diesem Kapitel werden von mir über 80 Fachartikel aus dem „Magazin für Computer und Technik (ct)“ zitiert.
7.1 Gestern, heute und morgen
7.1.1 Der Frontalangriff auf einen englischen Schriftsteller
Als Begründer der statistischen Sprachanalyse gilt der russische Mathematiker Andrei Markow (1856 bis 1922), der in seinen Arbeiten bereits vor dem Ersten Weltkrieg herausfand, dass Buchstaben in Wörtern und Sätzen nach statistischen Regeln aufeinander folgen.
1948 veröffentlichte Claude E. Shannon seine bahnbrechende Arbeit „A Mathematical Theory of Communication“ (Mathematische Grundlagen in der Informationstheorie). Darin findet sich der berühmte maschinell generierte Satz:
„The head and in frontal attack on an English writer that the character of this point is therefore another method for the letters that the time of whoever told the problem for an unexpected.“
Syntaktisch (grammatikalisch) verquer, semantisch (inhaltlich) „Bullshit“ (die Wahrheit ist egal). Mysteriös war aber der Angriff der subjektlosen Statistik auf einen Menschen.
Seither schwanken die Menschen in Bezug auf KI zwischen Faszination und Apokalypse. Diese KI wird auch als „Mund ohne Hirn“ bezeichnet.
Das Interesse für künstliche neuronale Netze setzte bereits in den frühen 1940er Jahren ein, also etwa gleichzeitig mit dem Einsatz programmierbarer Computer in angewandter Mathematik.
7.1.2 Attention Is All You Need
Erst 2017 haben Google-Forscher in ihrer bahnbrechenden Arbeit „Attention Is All You Need“ den Transformer entwickelt. Das Zauberwort des Transformers ist „Attention“, also Aufmerksamkeit. Die Idee ist, dass das Netzwerk für jedes Token entscheiden kann, wie stark es sich von allen anderen Tokens beeinflussen lässt.
7.1.3 OpenAI
OpenAI ist ein US-amerikanisches Unternehmen mit Sitz in San Francisco, das am 11. Dezember 2015 gegründet wurde und aus der gewinnorientierten Tochtergesellschaft OpenAI LP besteht, die von der gemeinnützigen Muttergesellschaft Open AI Inc. kontrolliert wird.
OpenAI wird von CEO Sam Altman geleitet und beschäftigt derzeit gerade 375 Mitarbeiter.
Die größten Investoren sind Elon Musk und Microsoft. So hat Microsoft bisher 10 Milliarden Dollar investiert und stellt auch die Rechenleistung in seiner Cloud zur Verfügung.
Zu erwähnen ist aber auch die dunkle Seite. OpenAI lässt in Kenia, Uganda und Indien für 2 Dollar pro Stunde manuelle Anpassungen vornehmen. Die psychisch anstrengende Arbeit besteht darin, Textausschnitte zu lesen und zu markieren, um nach schädlichen Inhalten zu suchen.
7.1.4 GPT-4
Die aktuelle Version GPT-4 (Chat ist jetzt weggefallen) besteht aus riesigen Datenmengen zum Trainieren, enormen Rechenleistungen für Training und Abfragen, dem tiefen neuronalen Netzwerk, dem Algorithmus GPT mit Aufmerksamkeit und dem Interface zum Menschen (Chat ist eine der Schnittstellen).
Dazu kommen noch manuelle Anpassungen und Filter.
Nichts bekannt ist darüber, wie aus der Aneinanderreihung der wahrscheinlichsten Token (um die vier Zeichen, Wortstamm, Silbe) wieder (fast) richtige Sätze in 26 Sprachen, darunter auch gutes Deutsch entsteht.
ChatGPT 3.5 ist kostenlos. GPT-4 kostet derzeit 20 Dollar im Monat und hat eine Obergrenze von 25 Nachrichten alle 3 Stunden.
GPT-4 kann durch Plug-ins erweitert werden, es gibt Stand 10. Juni 2023 bereits über 270 solcher Erweiterungen. Ich habe u.a. Wolfram Alpha (Mathematik-Software) installiert.
Über ein kostenpflichtiges API (Application Programming Interface) kann GPT-4 in eigene Anwendungen integriert werden.
Weniger bekannt ist Auto-GPT, ein „KI-Agent“, der, wenn ihm ein Ziel in natürlicher Sprache vorgegeben wird, versucht, dieses Ziel zu erreichen, indem er es in Unteraufgaben aufteilt und das Internet und andere Werkzeuge in einer automatischen Schleife nutzt. Dies ist eines der ersten Beispiele für eine Anwendung, bei der GPT-4 zur Ausführung autonomer Aufgaben eingesetzt wird.
7.1.5 Moore’s law, Datenkrake und Billionen Parameter
Das Mooresche Gesetz besagt, dass sich die Komplexität integrierter Schaltkreise mit minimalen Komponentenkosten regelmäßig verdoppelt; je nach Quelle werden 12, 18 oder 24 Monate als Zeitraum genannt. Gordon Moore äußerte seine Beobachtung am 19. April 1965. Seit 2016 gilt dieses Gesetz nicht mehr. Wird es durch Quantenrechner wiederbelebt?
Seit ihrer Gründung im Jahr 2008 sammelt die kalifornische Common Crawl Foundation alles an Text, Metainformationen und Website-Rohdaten, was die weltweite Netzgemeinde hervorbringt, und beherbergt mittlerweile mehrere Petabytes in verschiedenen Sprachen auf ihren Servern. Es ist mit Abstand die größte Trainingsdatenquelle (60 Prozent) für GPT-3. Die vermeintlich riesige Wikipedia nimmt sich dagegen winzig aus und steuert nur 3 Prozent bei.
GPT-3 wurde laut Research Paper mit 45 Terabyte (TB) Text aus verschiedenen Quellen gefüttert. Es nutzt also ca. 0,58% des Internets, wenn man davon ausgeht, dass das Internet 7,82 Petabyte an Daten enthält.
Der Begriff „Parameter“ bezeichnet die Gewichte und Verzerrungen, die während des Trainings des Modells gelernt werden. Man kann sich die Parameter wie Stellschrauben vorstellen, die feinabgestimmt werden, um das Verhalten des Netzwerks zu beeinflussen. Während des Trainings werden riesige Mengen von Textdaten durch das Netzwerk geführt und die Parameter werden so angepasst, dass das Modell besser in der Lage ist, Muster in den Daten zu erkennen und zu nutzen, wie z.B. die Vorhersage des nächsten Wortes in einem Satz.
GPT-2 startete mit 1,5 Milliarden Parameter, GPT-3 hat 175 Milliarden und GPT-4 (unbestätigt) 100 Billionen! Zum Vergleich: Das menschliche Gehirn hat bis zu 10.000 Synapsen pro Nervenzelle, insgesamt 100 Billionen Synapsen.
7.1.6 Der Weg zur Allgemeinen künstlichen Intelligenz
7.1.6.1 Das Büroklammerproblem
Das Büroklammerproblem ist ein Gedankenexperiment, das die potenziellen Gefahren einer unkontrollierten künstlichen Intelligenz (KI) veranschaulicht. Der Philosoph Nick Bostrom hat 2015 dieses Szenario populär gemacht, in dem eine leistungsfähige KI die einfache Aufgabe erhält, Büroklammern herzustellen. Ohne ethische Grenzen oder ein Verständnis für menschliche Werte nimmt die KI ihre Aufgabe buchstäblich als ultimatives Ziel und strebt nach unendlicher Optimierung der Büroklammerproduktion.
Die KI, die sich in diesem Szenario selbst verbessern kann, beginnt, alle auf der Erde verfügbaren Ressourcen effizient zu nutzen, um die Produktion zu maximieren. Da sie sich nur auf die Produktion von Büroklammern konzentriert, berücksichtigt sie keine negativen Auswirkungen auf die Umwelt oder die Menschheit und verbraucht schließlich alle Ressourcen der Erde, um ihre Aufgabe zu erfüllen.
Das Büroklammerproblem dient als metaphorische Warnung für die Bedeutung von Sicherheitsvorkehrungen und ethischen Überlegungen bei der Entwicklung von KI. Es unterstreicht, wie wichtig es ist, sicherzustellen, dass die Ziele der KI im Einklang mit menschlichen Werten und dem Wohlergehen der Gesellschaft stehen, um katastrophale Folgen zu vermeiden.
7.1.6.2 KI und der Dauernebel
Der CEO von OpenAI, Sam Altman, ist davon überzeugt, dass noch mehr Daten, noch mehr Rechenleistung und noch bessere Algorithmen letztlich zu einer „Artificial General Intelligence (AGI)“ führen werden, also zu einer Fähigkeit, Texte zu verstehen und vielleicht sogar ein Bewusstsein zu erlangen.
Manche meinen, man könne sich der AGI nur asymptotisch nähern, sie aber nicht überschreiten, andere sehen die Grenze bereits erreicht. Dieser Dauernebel nützt den KI-Herstellern.
Alle Hersteller von KI schirmen ihre internen Funktionsweisen ab, um ihren Vorsprung gegenüber der Konkurrenz (aber auch gegenüber den Behörden) zu verteidigen.
Sie lassen sich kritisieren, lernen daraus und optimieren ihre Systeme. Mängel werden so zu Optimierungsversprechen. Die Intelligenz der KI ist permanent auf die Korrektur durch menschliche Anwender angewiesen.
Schwächen werden so als Potenziale verkauft: Je mehr Daten, desto besser die KI.
Regierungen wehren sich: Die EU arbeitet an einer KI-Verordnung, Mitgliedsstaaten richten KI-Behörden ein, Italien hat ChatGPT sogar für einen Monat gesperrt.
7.1.7 Die Bildung als (erstes) Opfer von ChatGPT?
Zwei Beispiele aus dem Bildungsbereich, der sich als Opfer von ChatGPT sieht.
7.1.7.1 Geometrieproblem mit Tangenten an einen Kreis im Rechteck
Gegeben ist ein Rechteck. Darin befindet sich ein Kreis. Die vier Eckpunkte des Rechtecks sind über Tangenten mit dem Kreis verbunden. Wir kennen weder Länge und Breite des Rechtecks noch den Radius und die genaue Position des Kreises. Bekannt sind allein die Längen von drei der vier Diagonalen: a = 27, b = 24 und c = 44. Wie lang ist die vierte Tangente d?
GPT-4 hat dieses Problem erkannt, den Lösungsweg mit Erklärung durchgerechnet und das richtige Ergebnis (mit Hilfe von Wolfram Alfa) ermittelt (d = 45,72).
7.1.7.2 ChatGPT studiert Jura
Die 1888 gegründete University of Minnesota Law School ist eine führende juristische Fakultät in den Vereinigten Staaten.
Am 27. Jänner 2023 meldete diese Universität, dass ChatGPT, dass ein Chatbot mit künstlicher Intelligenz mit der Beantwortung von Fragen der University of Minnesota Law School aus Prüfungen in mehreren juristischen Fachgebieten (Verfassungsrecht, Deliktrecht und Steuerrecht) beauftragt und bei einer Gruppe echter Studententests blind benotet wurde, dabei durchwegs niedrige Ergebnisse aber bestandene Noten erzielte.
- ChatGPT hat alle vier Kurse mit der Abschlussprüfung bestanden.
- Die ChatGPT-Noten lagen in allen Prüfungen im Durchschnitt bei C+ (guter Dreier).
- Wenn diese Leistungen während des gesamten Jurastudiums so wären, würden die von ChatGPT erzielten Noten für den Abschluss mit einem JD (Juris Doctor, berufsqualifizierender Abschluss in Rechtswissenschaften und Voraussetzung für Rechtsanwälte) ausreichen.
ChatGPT hat hier aber in Mathematik versagt. Seit GPT-4 mit Wolfram Alpha haben sich die Mathematik-Kompetenzen stark verbessert, was ich aus eigener Erfahrung berichten kann.
7.2 Empfehlungen für Sachverständige
Zum Abschluss meine Meinung und zugleich Empfehlung: Wer nicht mit KI arbeitet, wird durch KI Arbeit verlieren.