Einführung in Foundation Models
Foundation Models sind große KI-Modelle, die auf sehr großen Datensätzen trainiert werden und für eine Vielzahl von Aufgaben angepasst werden können. Bekannte Beispiele sind GPT, Claude und LlaMa. Diese Modelle nutzen fortschrittliche Methoden des maschinellen Lernens und können durch Finetuning für spezifische Geschäftsanforderungen optimiert werden. Finetuning ist dabei ein möglicher Weg, ein Foundation Model auf spezifische Aufgaben oder Anwendungsfälle anzupassen.
Die Entstehung und Entwicklung von Foundation Models
In den 1990er Jahren begann der Aufstieg des maschinellen Lernens, bei dem erstmals Modelle auf sehr kleinen historischen Daten trainiert wurden. Mit dem Durchbruch des “Deep Learnings” um das Jahr 2010, konnten endlich größere Datensätze genutzt werden, ermöglicht durch neue leistungsfähigere Hardware. Einige Jahre später entstand durch den Einsatz von riesigen Trainingsdatensätzen sogar ein positiver Nebeneffekt: ein KI-Modell kann Fähigkeiten entwickeln, auf die es nicht explizit trainiert wurde.
Beispiel: Ein Modell, das ursprünglich für die Textübersetzung trainiert wurde, könnte auch in der Lage sein, einfache Rechtschreib- und Grammatikfehler zu korrigieren, ohne dass es dafür speziell trainiert wurde.
Vorteil von Foundation Models
Foundation Models, die über eine API-Schnittstelle oder zum Download verfügbar sind, demokratisieren die Nutzung von KI-Systemen. Das bedeutet, dass ein Model nun für viele verschiedene Aufgaben verwendet werden kann und einfach zugänglich ist. Das ist praktisch, weil man nicht für jede neue Aufgabe ein komplett neues Modell entwickeln muss (das ist nähmlich sehr teuer!). Vor GPT, mussten Unternehmen Ihre eigene Modelle für jeden Anwendungsfall neu entwickeln, heute nutzt man ein Foundation Model und passt es auf die Business Domäne an.
Finetuning von Foundation Models
Finetuning ermöglicht es, Modelle für spezifische Aufgaben und Domänen anzupassen. Es kann genutzt werden, um den Ton eines Modells zu ändern, spezialisiertes Wissen hinzuzufügen oder die Leistung auf spezifischen Aufgaben zu verbessern.
Finetuning unterscheidet sich vom Pre-Training, das die anfängliche Modellentwicklung umfasst. Beim Pre-Training lernt das Modell durch selbstüberwachtes Lernen aus großen, nicht gekennzeichneten Datensätzen. Selbstüberwachtes Lernen ist eine Methode, bei der das Modell selbst die Struktur und Muster in den Daten erkennt, ohne dass eine manuelle Kennzeichnung durch Menschen erforderlich ist. Dies ermöglicht dem Modell, allgemeine Merkmale und Beziehungen in den Daten zu erfassen, die später nützlich sein können.
Finetuning passt ein vortrainiertes Modell an spezifische Aufgaben an. Dabei wird das Verfahren des 'Überwachten Lernens' auf kleineren, aufgabenbezogenen Datensätzen angewendet. Überwachtes Lernen erfordert manuell gekennzeichnete Daten, bei denen die Eingaben und die zugehörigen Ausgaben bekannt sind. Das Modell lernt durch Beispiele, die von Menschen korrekt markiert wurden, um genaue Vorhersagen für neue, unbekannte Daten zu treffen. Dies reduziert den Bedarf an teuren Rechenressourcen und großen Mengen an gekennzeichneten Daten.
Beispiel: Ein Healthcare-Unternehmen könnte Finetuning auf ein Sprachmodell, das auf Allgemeinen Texten trainiert wurde, anwenden um medizinische Fachbegriffe korrekt zu verwenden und spezifische Patientenanfragen kompetent zu beantworten.
Herausforderungen und Risiken von Foundation Models
Öffentlich verfügbare Foundation Models bringen auch Herausforderungen mit sich. Ethische und faire Nutzung dieser Modelle ist ein großes Anliegen, da sie theoretisch gesellschaftliche Vorurteile (Bias) verstärken können. Der neue EU AI Act, gibt sogar vor wie sich Unternehmen die solche Modelle betreiben verhalten sollen.
Beispiel: Ein Modell, das in einer HR-Abteilung eingesetzt wird, könnte unbeabsichtigte Voreingenommenheiten zeigen, die aus den Trainingsdaten stammen. Hier müssen Unternehmen wachsam sein und kontinuierlich überwachen und anpassen.
Foundation Models und Artikel 51 des EU AI Acts
Der Artikel 51 des EU AI Acts stuft KI-Modelle als Systemrelevant ein, wenn Sie für allgemeine Zwecke benutzt werden. Ein großes Foundation Model kann als systemrelevant eingestuft werden, da diese massive Rechenressourcen nutzen und theoretisch in kritischen Bereichen wie in der Gesundheit oder dem Finanzwesen eingesetzt werden können. In diesem Fall muss das Unternehmen, welches dieses Modell betreibt, gewisse Compliance und Kommunikationsanforderungen erfüllen. Unternehmen, die solche Modelle entwickeln, müssen detaillierte Aufzeichnungen über deren Entwicklung und Tests führen und diese Informationen anderen Unternehmen zur Verfügung stellen, die die Modelle nutzen möchten.
Zusammenfassung
Foundation Models: Foundation Models sind KI-Modelle wie GPT und LlaMa, die auf sehr großen Datensätzen trainiert und für vielfältige Aufgaben angepasst werden können.
Vorteile und Nutzung: Diese Modelle sind kosteneffizient und flexibel einsetzbar, da sie über APIs oder als Downloads verfügbar sind und für viele Aufgaben verwendet werden können.
Finetuning: Finetuning passt ein vortrainiertes Modell durch überwachtes Lernen mit spezifischen Datensätzen an bestimmte Aufgaben an, wodurch seine Leistung verbessert wird.
Herausforderungen und Compliance: Das betreiben solcher Modelle erfordert ethische Achtsamkeit und Einhaltung regulatorischer Vorgaben wie dem EU AI Act, um Bias und andere Risiken zu minimieren.
Quellen
[2108.07258] On the Opportunities and Risks of Foundation Models (arxiv.org)
.png)