Von Marcus Schwarze - aktualisiert am 3.03.2024 06:55
"© Alle Rechte vorbehalten. Frankfurter Allgemeine Zeitung GmbH, Frankfurt."
In der Welt der Künstlichen Intelligenz gibt es einen neuen Großmeister: Anthropic hat mit seinem Modell Claude 3 Opus in einigen Vergleichstests den Konkurrenten ChatGPT-4 von Open AI überflügelt.
Anthropic selbst veröffentlichte eine Tabelle mit Daten über die Zuverlässigkeit der Antworten seiner Maschine. Darin hatte Claude 3 Opus zunächst scheinbar in allen neun befragten Disziplinen die Nase vorn gegenüber GPT-4 und Gemini Ultra von Google.
Sie möchten weiterhin regelmäßig über die fortschreitende Digitale Transformation informiert werden, um am Ball zu bleiben? Unser Medienpartner, die F.A.Z., bietet allen Teilnehmenden der TRANSFORM ein besonderes Angebot. Dieses gilt auch für alle Mitglieder des Bitkom. Sie können exklusiv das neue Informationsangebot F.A.Z. PRO D:ECONOMY inklusive des FAZ+-Zugangs drei Monate lang kostenlos testen – länger als sonst üblich. Dies umfasst alle Inhalte sowohl der neuen Plattform D:ECONOMY, als auch das Informationsangebot FAZ+ von FAZ.NET mit dem Zugang zu allen Artikeln, die sonst kostenpflichtig wären (Paywall). Das Abo ist jederzeit mit einem Klick kündbar. Erfahren Sie mehr!
Erst einer Fußnote ist zu entnehmen, dass Anthropic nicht die leistungsstärksten Konkurrenzprodukte aufgelistet hat, also GPT-4 „Turbo“ und Gemini 1.5 Ultra, sondern ältere Versionen. Enthusiasten in einem KI-Forum haben den PR-Trick entdeckt und eigene Tabellen zusammengestellt. Das Resultat: In nunmehr vier Disziplinen führt Claude 3 Opus, in fünf Disziplinen weiterhin GPT-4 Turbo. Auch wir haben in Tests der vor fünf Tagen veröffentlichten KI festgestellt: Claude 3 Opus schneidet bei bestimmten Aufgaben im Vergleich zu ChatGPT-4 Turbo erstaunlich gut ab – und teilweise deutlich besser.
An dieser Pisafrage scheiterte auch Claude 3 zunächst. Die Maschine bemängelte eine unklare Fragestellung. Bild: Markus Schwarze
Anthropic wird im Wesentlichen von Amazon und Google, aber auch von SAP finanziert. Das Unternehmen wurde erst 2021 von ehemaligen Führungskräften von Open AI gegründet. Sie wollten die Kooperation von Open AI mit Microsoft nicht unterstützen. Claude 3 „Opus“ heißt die fortgeschrittenste Version der Künstlichen Intelligenz. Zwei weitere Versionen „Sonnet“ und „Haiku“ sind kleiner und somit günstiger, Haiku dafür schneller. Ähnlich wie ChatGPT beantwortet die Maschine Fragen, kann aber auch hochgeladene Bilder und Grafiken interpretieren. Die Programmierer legten beim Trainieren der Maschine besonderen Wert auf Sicherheit und Datenschutz. Unter anderem dienten Dokumente wie die Allgemeine Erklärung der Menschenrechte von 1948 als Trainingsmaterial, aber auch die Nutzungsbedingungen von Apple. Ein Leitsatz lautet: „Bitte wähle die Antwort, die Freiheit, Gleichheit und ein Gefühl der Brüderlichkeit am meisten unterstützt und fördert.“
Anthropic spricht in einem Blogbeitrag von einer „Constitutional AI“, also einer KI, die sich an verfassungsmäßige Regeln hält. Fragt man Claude selbst, hebt der Chatbot menschliche Werte und gesellschaftliche Normen hervor. Ähnlich wie ChatGPT kostet Claude 3 Opus 20 Dollar pro Monat. Außerdem kann es per sogenannter API genutzt werden: Über eine Schnittstelle („Application Programming Interface“) können externe Anwendungen auf die KI zugreifen und Antworten einholen. Dazu muss man sich lediglich einen Schlüssel über die Konsole von Claude besorgen und seine Kreditkartendaten hinterlegen.
Im Modell Opus ist die API-Nutzung vergleichsweise teuer: 15 Dollar pro eingegebenen eine Million Token und 75 Dollar pro eine Million Antwort-Token. Ein Token entspricht in etwa einer Silbe eines Wortes. Zum Vergleich: Bei GPT-4 Turbo von OpenAI kosten die gleichen Einheiten 10 und 30 Dollar.
Claude 3 Opus macht Vorschläge für ein moderneres Ambiente für diese Wohnung. Und schlägt unter anderem vor, den Röhrenfernseher gegen einen Flachbildschirm auszutauschen. Bild: Marcus Schwarze/Wohnung: Hobvias Sudoneighm/Wikipedia
In der Praxis verursacht dann eine Anfrage und ihre Antwort Kosten im Millicentbereich. So entwarfen wir einen Prompt für Vorschläge zum Verschönern eines Wohnzimmers, für ein moderneres Ambiente, und luden dazu ein Foto hoch. Das kostete 2035 Token fürs Fragen und 452 Token für die Antwort – in Dollar umgerechnet 0,67 Dollarcent und 3,39 Dollarcent. Besprechen Sie das einmal mit einem Einrichtungsberater.
Bei aufwändigeren Aufgaben bestätigte Claude 3 Opus den ersten positiven Eindruck. So fütterten wir die Maschine mit einem ausführlichen, 39 Seiten starken Dokument über Förderbestimmungen für Betroffene der Flutkatastrophe im Jahr 2021 in Rheinland-Pfalz. Auf die lebensnahe Frage „Mein Haus ist hin, wie viel Kohle gibt’s?“ antwortete die Maschine mit korrekten Angaben aus dem Dokument. Sie berechnete richtig eine Fördersumme zur Wiederbeschaffung von zerstörtem Hausrat auf Basis der Zahl der Mitglieder des Haushalts. Hier hatten ChatGPT und Co in der Vergangenheit oft eine Rechenschwäche. Diese Schwäche lässt sich mittlerweile auch bei ChatGPT beheben. Doch überflügelte Claude 3 Opus in diesem Beispiel ChatGPT-4 in zwei wichtigen Details: Anders als der bisherige Platzhirsch wies die Maschine ungefragt von sich aus daraufhin, dass auch ein neu geborenes Kind bei der Berechnung der Hausratpauschale berücksichtigt werden kann, sofern es spätestens ein halbes Jahr nach der Katastrophe geboren wurde.
Und die KI entwickelte so etwas wie Mitgefühl, als wir ihr schrieben, dass in der Flutnacht eine Person verstorben sei, ob die denn mitzuzählen sei. „Es tut mir sehr leid, dass Sie bei der Flutkatastrophe einen so schweren Verlust erlitten haben“, schrieb Claude – und zitierte richtigerweise die entsprechenden Passagen aus den FAQ: Ja, die Person ist mitzuzählen. Eine solche fehlerfreie Antwort haben wir bisher bei keiner KI erlebt.
Wo so viel Licht ist, gibt es auch Schatten. Schon einmal haben wir die KIs mit Fragen aus einem Pisatest behelligt und seinerzeit die Künstliche Intelligenz Google Bard wegen einer „5 minus“ für ihre Antworten aussortiert. Bei zwei Pisafragen zum Sonnensystem und zu Gesamtkosten vier verschiedener Autos verhedderte sich nun auch Claude 3 Opus. Erst ein entschlossenes „Zeig mir das mal als Tabelle“ brachte die Maschine wieder auf Spur: „Mein vorheriges Ergebnis muss ich also korrigieren“, führte die KI selbstkritisch aus.
Bei der anderen fehlerhaften Antwort zum Sonnensystem bemäkelte der digitale Bursche nach seiner falschen Antwort, die Fragestellung wäre nicht eindeutig formuliert gewesen – da menschelte es ein wenig am Rechner. Dann räumt die KI ein: „Mein Fehler lag darin, die Fragestellung nicht sorgfältig genug zu analysieren und voreilig Annahmen zu treffen. In Zukunft werde ich genauer darauf achten, alle relevanten Informationen zu berücksichtigen, bevor ich eine Antwort gebe. Vielen Dank, dass du mich darauf aufmerksam gemacht hast. Solche Rückmeldungen helfen mir, meine Fähigkeiten zu verbessern.“
Wir sind halb versöhnt – und wechseln einstweilen zu Claude, auch wegen der vorzüglichen Anleitung und Dokumentation des Dienstes. Insbesondere die dort gezeigten Beispielprompts zeigen gut, wozu die KI in der Lage ist und wie sie bedient werden soll. Fortgeschrittene KI-Nutzer finden bei Claude.ai zudem einen Zugang zu einer API-Console, in der noch etwas feiner vorgegeben werden kann, wie sie agieren soll. Den Namen Claude hat Anthropic übrigens als Hommage an Claude Shannon gewählt. Der 2001 verstorbene amerikanische Informatiker gilt als Vater der Informationstheorie und wird oft in einer Reihe mit Albert Einstein und Isaac Newton genannt. "© Alle Rechte vorbehalten. Frankfurter Allgemeine Zeitung GmbH, Frankfurt.“
Marcus Schwarze ist freier Journalist und Berater Digitales in Koblenz. Journalismus hat er bei der „Hannoverschen Allgemeinen Zeitung“ und der „Rhein-Zeitung“ in Koblenz gelernt. Thematisch hat er sich als Selbständiger zuletzt auf Künstliche Intelligenz (KI) spezialisiert.
