Mit der zunehmenden Verbreitung von Large Language Models (LLMs) in verschiedenen Geschäftsbereichen steigt auch das Interesse an geeigneten Hosting-Optionen. In diesem Artikel werden wir die verschiedenen Hosting-Optionen für Foundational Models (ein Allgemeiner Überbegriff von LLMs) untersuchen und deren Vor- und Nachteile beleuchten. Ziel des Artikels ist es, ein Verständnis zu vermitteln um eine fundierte Entscheidung für die technische Operationalisierung Ihrer KI-Strategie zu ermöglichen.

Eine Infrastruktur abseits von Einzelapplikationen

Die Bereitstellung eines Foundational Models für bestimmte Teile einer Organisation ist eine wichtige Grundlage für die Operationalisierung von KI im Unternehmen. Die Einführung einer Chat-Applikation wie ChatGPT oder Microsoft Co-Pilot ist ein guter Einstieg, jedoch bei weitem nicht alles, was generative KI zu bieten hat. Mit der Bereitstellung eines Foundation Models können auch andere Anwendungsfälle abgedeckt werden, und es besteht die Möglichkeit, von den Stärken anderer Modelle neben denen von OpenAI zu profitieren.

Haupt-Hosting-Optionen

Bei der Auswahl einer Hosting-Option für LLMs haben Sie als Unternehmen mehrere Möglichkeiten:

• ‍ LLM Provider API: Die Nutzung der APIs von spezialisierten LLM-Anbietern.
  (Bsp: Nutzung der API von OpenAI, Anthropic, Mistral, etc).‍
• Cloud-Hosting: Die Nutzung von Cloud-Diensten wie AWS, Google Cloud oder Azure.
  (Bsp: Hosting von OpenAI, Anthropic, Mistral Modellen auf Azure oder AWS)
• ‍On-Premise-Hosting: Der Betrieb von LLMs auf der eigenen Infrastruktur des Unternehmens.
  (Bsp: Hosting von open-weight LLMs wie LlaMa 3 auf der eigenen Infrastruktur)

‍

Wichtige Überlegungen bei der Wahl einer Hosting-Option

Bei der Entscheidung für eine Hosting-Option sollten folgende Faktoren berücksichtigt werden:

• ‍Skalierbarkeit: Die Fähigkeit der Lösung, mit wachsenden Anforderungen mitzuwachsen.‍
• Sicherheit: Schutz sensibler Daten und Einhaltung von Datenschutzbestimmungen.‍
• Kosten: Budget und langfristige Kosten und anfängliche Investitionen.

LLM Provider mit API

Ein LLM Provider mit API ermöglicht es, fortschrittliche Sprachmodelle über eine Schnittstelle zu nutzen. Diese Option macht Sinn, wenn Sie schnell loslegen wollen und vorerst keine Kontrolle über die Infrastruktur wünschen.

Vorteile

• ‍Zugang zu fortschrittlichen LLMs ohne große Anfangsinvestitionen: Nutzung leistungsstarker Modelle ohne großer Vorabinvestition.‍
• Regelmäßige Updates und Verbesserungen durch den Anbieter: Ständige Weiterentwicklung und Optimierung der Modelle.‍
• Vereinfachte Integration und Unterstützung: Leichte integration eines LLM in Dienste und Produkte über bereigestellte API.

Nachteile

• ‍Kosten skalieren mit Nutzung: Die Nutzung des LLMs wird über die generierte Menge an Tokens abgerechnet. Aufgrund der geringeren Integrationskomplexität fallen die Kosten pro Token hier höher aus.‍
• Begrenzte Kontrolle über das Modell und die Daten: Weniger Möglichkeiten zur individuellen Anpassung bis auf begrenztes Finetuning und begrenztes Einstellen von Hyperparametern (top p, temperature…)‍
• Abhängigkeit und Vendor-Lock-In: Bindung an einen LLM Anbieter und dessen Dienste.

‍

Cloud Hosting

Ein Cloud Provider bietet die Möglichkeit, Ressourcen und KI Dienste flexibel zu hosten. Diese Option macht Sinn, wenn Sie eine erhöhte Sicherheit und Skalierung wünschen, ohne sich um die Infrastruktur kümmern zu müssen.

Vorteile

• Modell unabhängig: Beim Cloud Hosting hat man die Wahl zwischen mehreren Modellanbietern und kann somit einfach je nach Bedürfnissen das Beste Modell für den Anwendungsfall nutzen‍
• Erhöhte Sicherheit und Compliance: Bei richtiger Konfiguration bieten Cloud Provider Security und Compliance out of the box an.‍
• Skalierbarkeit und Flexibilität: Ressourcen wie LLMs können einfach skaliert werden und mit Ihren Anforderungen wachsen.

Nachteile

• ‍Höhere Kosten: Kosten von LLMs skalieren mit Nutzung wie bei API Providern. Hinzu kommen noch laufende Kosten wie z.b. ein Kontingent für Recheneinheiten und Service Agreements.‍
• Mögliche Einschränkungen bei der Anpassung: Weniger Flexibilität bei speziellen Anpassungen.‍
• Abhängigkeit vom Cloud-Anbieter: Ressourcenkontrolle wird an den Cloud Anbieter ausgelagert.

On-Premise Hosting von Open-Weight LLMs

Die Nutzung eines On-Premise LLM bietet maximale Kontrolle über Ihre KI-Infrastruktur. Mittlerweile gibt es auch Open-Weight-Modelle, die eine ähnliche Performance wie die besten kommerziell verfügbaren Modelle erreichen. Allerdings ist dies mit erheblichen Anforderungen und Aufwänden verbunden.

Vorteile

• ‍Volle Kontrolle über Anpassung und Funktionen: Freiheit, das Modell nach eigenen Bedürfnissen zu modifizieren.‍
• Potenzielle Kosteneinsparungen auf lange Sicht: Reduzierte laufende Kosten nach anfänglichen Investitionen.‍
• Keine Abhängigkeit von einem einzelnen Anbieter: Unabhängigkeit und Flexibilität.

Nachteile

• ‍Erheblicher Zeit- und Ressourcenaufwand: Es besteht die Notwendigkeit von Fachwissen und laufender Wartung. Zudem müssen Recheneinheiten bereitgestellt werden, die in der Lage sind, LLMs performant für mehrere Nutzer bereitzustellen.‍
• Notwendigkeit von spezialisierter Expertise und laufender Wartung: Die Implementierung und Wartung sind aufwändig und erfordern zusätzliche IT-Ressourcen, die über die entsprechenden Fähigkeiten verfügen müssen.‍
• Eingeschränkte Verfügbarkeit von kommerziellen Foundation Models: Bei der On-Premise-Variante stehen Ihnen nur einige kommerzielle und Open-Weight-Modelle zur Verfügung. Ein Modell von OpenAI ist beispielsweise On-Premise nicht verfügbar.

Wichtige Überlegungen für die Entscheidungsfindung

Geschäftsziele

Leiten Sie Ihre Anforderungen von den Geschäftszielen ab, um die passende Hosting-Option auszuwählen. Beispielsweise: Wenn Sie ohne hohen Aufwand ein Proof of Concept bauen möchten, um Innovationsfähigkeit zu demonstrieren und dennoch datenschutzkonform agieren wollen, ist die Nutzung eines Cloud-Providers die sinnvollste Option.

Kostenanalyse

Wie in allen Projekten im Enterprise-Kontext sollte eine fundierte Total-Cost-of-Ownership-Analyse als Grundlage für Ihre Entscheidung dienen. Aufgrund der dynamischen Abrechnung von API- und Cloud-Providern kann es zunächst schwierig erscheinen, die tatsächlichen Kosten abzuschätzen. Holen Sie sich hierfür am besten Unterstützung von erfahrenen Partnern, um Zugang zu Vergleichswerten zu erhalten.

Skalierbarkeit und Leistung

Leiten Sie früh genug Skalierbarkeitsanforderungen und die dementsprechenden Service Agreements ab. Kurzfristig, wird ein PoC wahrscheinlich nur wenige power nutzer haben, langfristig muss jedoch eine skalierbare Hosting Option mit steigenden Nutzerzahlen mithalten können.

Sicherheit und Compliance

Datenschutz und regulatorische Compliance sind gerade bei KI ein wichtiges Thema. Holen Sie sich Rat von Experten ein, damit Sie frühzeitig auf mögliche Showstopper im Betrieb reagieren können.

Expertise und Ressourcen

Sorgen Sie dafür, dass Sie auch interne Ansprechpartner in Ihrem Unternehmen haben, die das Thema (generative) KI gut verstehen. Bevor Sie einen externen Dienstleister um Unterstüzung bei dem Aufsetzen einer hochkomplexen Infrastruktur bitten, sorgen Sie dafür, dass das Know-How auch intern abgebildet ist, durch Schulungen oder Trainings.

Zusammenfassung

LLM Provider API: Ermöglicht schnellen Zugang zu fortschrittlichen Sprachmodellen ohne große Anfangsinvestitionen, aber mit begrenzter Kontrolle und potenziell hohen Nutzungskosten.

Cloud Hosting: Bietet Modellunabhängigkeit, erhöhte Sicherheit und Skalierbarkeit, jedoch mit höheren laufenden Kosten und Abhängigkeit vom Cloud-Anbieter.

On-Premise Hosting: Gewährt volle Kontrolle und potenzielle langfristige Kosteneinsparungen, erfordert jedoch erheblichen Aufwand an Zeit, Ressourcen und spezialisierter Expertise.

Wichtige Überlegungen: Berücksichtigen Sie bei der Auswahl der Hosting-Option Geschäftsziele, Kosten, Skalierbarkeit, Sicherheit, Compliance und die Verfügbarkeit interner Expertise.

‍