Inhalt dieses Beitrags
Laut Insidern, die gegenüber The Information über OpenAIs Finanzen sprachen, entstehen Kosten nicht nur durch aufwendige Modelltrainings, sondern vor allem durch den Betrieb. Die Infrastruktur für ChatGPT verursacht täglich Schätzungen zufolge 700.000 US-Dollar bis über 1 Million US-Dollar.
Kosten für GPT 4.0 noch höher
Diese Schätzungen beziehen sich auf das ältere GPT-3-Modell, sodass die tatsächlichen Kosten für das im März vorgestellte GPT-4 noch höher ausfallen könnten. Die Partnerschaft mit Microsoft sichert OpenAI finanziell ab, da Microsoft mit bis zu 10 Milliarden US-Dollar beteiligt ist.
Erweiterung des Geschäftsmodells ist ebenfalls Kostentreiber
OpenAI arbeitet zudem an der Erweiterung seines Geschäftsmodells, einschließlich API-Zugang für Unternehmen, ChatGPT Plus und einem geplanten Business-Paket. Es wird ein Umsatzanstieg erwartet: 2023 soll OpenAI 200 Millionen US-Dollar erwirtschaften und 2024 über 1 Milliarde US-Dollar erreichen.
Die zentrale Frage ist, ob die Entwicklung komplexer Sprachmodelle so kostenintensiv sein muss. OpenAI verfolgt einen teuren Ansatz, insbesondere bei GPT-4. Inzwischen gibt es jedoch kostengünstigere und leistungsfähige Open-Source-Modelle, die auf Metas LLaMA-Modell basieren, wie das Alpaca-Modell der Stanford University und das RedPajama-Projekt.
Auch das deutsche Start-up Aleph Alpha und seine Luminous-LLM sind effizienter als GPT-3. The Algorithmic Bridge zeigt auf, dass kleinere Modelle inzwischen ähnlich effizient arbeiten können wie GPT-3 dank Verbesserungen beim Finetuning, der Qualität der Trainingsdatensätze und der Hardware-Software-Optimierung.
Google im Hintertreffen
Ein internes Memo eines Google-Mitarbeiters, das kürzlich veröffentlicht wurde, prognostiziert, dass Open-Source-Sprachmodelle Tech-Giganten wie OpenAI und Google langfristig übertreffen werden. Der Mitarbeiter rät Google, sich der Open-Source-Bewegung anzunähern, statt mit OpenAI um immer größere, aber weniger flexible Modelle zu konkurrieren.
Alberto Romero von the Algorithmic Bridge stimmt dieser Einschätzung zu und erwartet, dass Kunden eher Modelle mit dem besten Preis-Leistungs-Verhältnis als das beste Modell wählen werden. Steigende Kosten für Spitzenmodelle wie GPT-4 erhöhen das Interesse an kostengünstigeren Alternativen, die für spezifische Aufgaben ähnlich geeignet sind.
