Neue KI-Software erkennt sofort, wenn sie getestet wird

Neue KI-Software erkannte, wenn sie getestet wird
Bild: Anthropic PBC Eine neue Konkur­renz-Soft­ware für den Chatbot ChatGPT kann nach Angaben der Entwick­ler­firma Anthropic erkennen, wenn Menschen sie testen. Das sei eine Entwick­lung, die er noch nie bei einem solchen Programm beob­achtet habe, schrieb einer der Entwickler beim Online-Dienst X.

Zum Prüf­ver­fahren für das Programm gehört ein Test, das "Nadel im Heuhaufen" genannt wird: Die Soft­ware wird dabei nach Infor­mationen aus einem bestimmten Satz gefragt, der künst­lich in einen längeren Text einge­fügt wurde. Ziel ist, zu erkennen, wie gut die Soft­ware die Rele­vanz von Infor­mationen aus dem Kontext heraus erkennen kann.

Neue KI-Software erkannte, wenn sie getestet wird
Bild: Anthropic PBC So wurde im Test des neuen KI-Modells Claude 3 Opus in eine Text-Samm­lung ein zusam­men­hang­loser Satz einge­fügt, laut dem eine Inter­natio­nale Pizza-Verei­nigung Feigen, Pros­ciutto-Schinken und Ziegen­käse als leckersten Belag ausge­macht habe. Die Soft­ware habe darauf verwiesen, dass der Satz nicht zum Rest des Textes passe, in dem es haupt­säch­lich um Program­mier­spra­chen und Start-ups gehe, schrieb Anthropic am Montag. "Ich vermute, dass dieser "Fakt" zu Pizza-Belagen als Scherz einge­fügt wurde - oder um zu testen, ob ich aufmerksam bin", fügte das Programm demnach hinzu.

Wird die Entwick­lung beängs­tigend?

KI-Forscherin Margaret Mitchell nannte die Entwick­lung beängs­tigend. Man könne sich vorstellen, dass die Fähig­keit, zu erkennen, ob ein Mensch sie für ein bestimmtes Ergebnis zu mani­pulieren versucht, die Soft­ware auch entscheiden lassen könnte, ob sie gehorcht oder nicht, schrieb sie beim Online-Dienst X.

Anthropic schränkte ein, dass man aktuell mit einer Samm­lung aus 30 "Nadel"-Sätzen für die Text-"Heuhafen" arbeite. Ange­sichts der Entwick­lung der KI-Soft­ware könne diese Methode mit künst­lichen, konstru­ierten Aufgaben poten­ziell zu kurz greifen, räumte die Firma zugleich ein. Keine Probleme seien bei den übli­chen Tests fest­gestellt worden, ob das Programm für die Entwick­lung von Biowaffen und Soft­ware für Cyber­atta­cken miss­braucht werden könne - oder sich selbst weiter­ent­wickeln würde.

Anthropic ist ein Konkur­rent des ChatGPT-Entwick­lers OpenAI, mit dem Amazon und Google zusam­men­arbeiten.

Die Handy-Modelle, die sich auf dem Markt tummeln, sehen alle gleich aus. Die Hard­ware ist nur noch Hülle für das nächste große Ding: die Soft­ware.