ChatGPT
ChatGPT (Generative Pre-trained Transformer) ist ein Prototyp eines Chatbots, also eines textbasierten Dialogsystems als Benutzerschnittstelle, der auf maschinellem Lernen beruht. Den Chatbot entwickelte das US-amerikanische Unternehmen OpenAI, das ihn im November 2022 veröffentlichte.
Der Chatbot wurde in mehreren Phasen trainiert:
Die Grundlage bildet das Sprachmodell GPT-3.5 (GPT steht für Generative Pre-trained Transformer), eine verbesserte Version von GPT-3, die ebenfalls von OpenAI stammt. GPT basiert auf Transformern, einem von Google Brain vorgestellten Maschinenlernmodell, und wurde durch selbstüberwachtes Lernen trainiert. Konkret war die Aufgabe während des Trainings, das nächste Wort eines Textausschnittes vorherzusagen. Dieser Text kann aus verschiedenen Quellen stammen, beispielsweise aus Online-Foren, sozialen Medien, Zeitungsartikeln, Büchern und gesprochener Sprache. Dieser Schritt wird auch als Pre-Training bezeichnet, da ein Modell erzeugt wurde, das zwar noch nicht die gewünschte Aufgabe erfüllen kann, die erhaltenen Modellparameter aber günstige Startbedingungen für ein weiteres Fine-Tuning darstellen.
- Danach wurde das Sprachmodell durch überwachtes Lernen auf die eigentliche Aufgabe trainiert (Fine-Tuning): Das Generieren von Antworten auf vorher gestellte Fragen. Hierfür wurden vorgefertigte Antworten bereitgestellt.
- Im letzten Schritt wurde das Modell durch bestärkendes Lernen weiter optimiert: Hierfür wurde zunächst ein weiteres Modell (Reward-Model) mit überwachtem Lernen trainiert, dem beigebracht wurde, die Antworten von ChatGPT qualitativ in Form einer Rangliste zu bewerten. Schließlich kam der Proximal-Policy-Optimization-Algorithmus zum Einsatz, der das Reward-Model als die zu maximierende Belohnungs-Funktion nutzte.
Aufgrund ihrer Erfahrungen bei der Entwicklung von GPT und Codex (eine andere KI von OpenAI, zur Erstellung von Quell-Code) wurde ChatGPT mit Schutzmechanismen versehen, mit denen falsche oder schädliche Antworten vermieden werden sollen. Dennoch wird auf der Webseite darauf hingewiesen, dass es sich bei der aktuellen Version um eine öffentlich zugängliche Forschungsvorschau handelt und der Chatbot gelegentlich inkorrekte Informationen generieren kann.
Im anfänglichen Training des Chatbots bevorzugten Tester längere Antworten, unabhängig von tatsächlichem Verständnis oder Inhalt, was zu langen Antworten des Chatbots geführt hat. (Wikipedia)
Es gibt Alternativen, da bei der o.g. Beschreibung oft nicht auf Sexismus, Radikalismus, Fremdenfeindlichkeit geachtet wird. Eine der weiteren Möglichkeiten kommt von der Ella Group aus der Schweiz. www.ella-group.io.
Die Anwendungsgebiete für diese Form des Textschreibens und Content-Erstellung etc. sind sehr, sehr vielfältig.
Also einfach mal ausprobieren.
#chatgpt #chatbots #maschinelleslernen #selbstueberwachteslernen #bestaerkteslernen #gpt3