Infrastruktur · GPU-Server
KI-Server mieten
Wer KI-Modelle im eigenen Haus betreiben will, braucht Rechenleistung mit Grafikprozessoren. Die Frage ist nur: Cloud-Dienst nutzen, Server mieten oder gleich kaufen? Hier finden Sie, was die Wege unterscheidet, was den Preis bestimmt und welche Anbieter aus Deutschland es gibt.
Die drei Wege
- Cloud-Dienst nutzen (API). Sie schicken Anfragen an einen fremden Anbieter und zahlen pro Nutzung. Kein eigener Server, kein Aufwand – aber Ihre Daten verlassen das Haus.
- Server mieten. Eigene Maschine in einem Rechenzentrum, auf der Ihr Modell läuft. Laufender Betrag statt Anfangsinvestition, die Hardware gehört dem Anbieter. Je nach Angebot bekommen Sie sie roh oder fertig eingerichtet.
- Server kaufen. Eigene Hardware im eigenen Haus. Hohe Anfangsinvestition, danach laufende Kosten vor allem für Strom, Wartung und Support.
Wann sich eigene Hardware rechnet
Zu der Frage, ab welcher Cloud-Rechnung sich der Umstieg lohnt, kursieren Schwellenwerte – aber sie gehen weit auseinander, teils sogar bei ein und demselben Anbieter zwischen zwei seiner Seiten. Verlassen Sie sich darauf nicht, sondern rechnen Sie mit Ihren eigenen Zahlen: tatsächliche GPU-Stunden im Monat, Auslastung über den Tag, geplante Laufzeit des Projekts.
Unabhängig von der Rechnung gibt es drei Gründe, die auch bei geringer Auslastung für gemietete oder eigene Hardware sprechen: strenge Datenschutzanforderungen, Antwortzeiten in Echtzeit und Projekte über mehrere Jahre.
Was den Preis bestimmt
- Grafikspeicher. Der VRAM entscheidet, welches Modell überhaupt läuft – und er ist der teuerste Teil der Karte. Zwischen einer 20-GB- und einer 96-GB-Karte liegt ein Vielfaches.
- Abrechnungsmodell. Minutengenau oder stündlich abgerechnete Instanzen sind gut für Tests und schwankende Last. Ein fester Monatspreis ist planbarer, läuft aber weiter, auch wenn die Maschine nichts tut.
- Managed oder roh. Der größte Preisunterschied bei gleicher Hardware. Ein roher Server ist billiger, kommt aber ohne Software – Treiber, Modellserver und Oberfläche müssen Sie selbst einrichten und pflegen. Managed-Angebote schlagen dafür einen Aufschlag auf, teilweise offen ausgewiesen.
- Beim Kauf: alles nach dem Kaufpreis. Strom, Kühlung, Netzanbindung, Wartung und die Frage, wer das System aktuell hält.
Ein gemieteter Server hat einen praktischen Vorteil, der wenig mit Technik zu tun hat: Nach einem halben Jahr wissen Sie aus echten Zahlen, wie hoch Ihre Auslastung wirklich ist – statt vorher eine fünfstellige Summe auf eine Vermutung zu setzen.
Ein weit verbreiteter Irrtum
„Eigener Server heißt, ich brauche keinen Datenschutzvertrag mehr“ – das stimmt so nicht. Auch bei gemieteter Infrastruktur brauchen Sie einen Auftragsverarbeitungsvertrag, sobald der Anbieter technischen Zugang zu den Daten hat. Erst bei Hardware im eigenen Haus entfällt das.
Der große Unterschied bleibt trotzdem: Bei einem deutschen Rechenzentrum gibt es keinen Drittlandtransfer und keine offene Frage, wer sonst noch zugreifen könnte.
Anbieter im Überblick
Angaben laut den Websites der Anbieter. Links und Preisangaben zuletzt geprüft: 08/2026. Die Reihenfolge ist keine Rangfolge. Kein Anbieter bezahlt für seinen Eintrag, und wir erhalten derzeit auch keine Vergütung für vermittelte Anfragen. Beides kann sich ändern – bezahlte Platzierungen kennzeichnen wir dann unmittelbar am Eintrag als „Anzeige“, eine Vermittlungsvergütung weisen wir an dieser Stelle aus. Wie wir uns finanzieren, steht auf Transparenz.
Genannte Preise sind die vom jeweiligen Anbieter selbst veröffentlichten Einstiegspreise. Sie sind nicht eins zu eins vergleichbar – roh gegen managed, Stunde gegen Monat, mit oder ohne Umsatzsteuer. GPU-Preise bewegen sich zudem schnell; prüfen Sie die aktuellen Angebote.
Hetzner
Dedizierte GPU-Server · Sitz Gunzenhausen · eine GPU je Server
Die GPU-Reihe besteht aus zwei Modellen: dem GEX44 mit NVIDIA RTX 4000 SFF Ada und 20 GB Grafikspeicher, den der Anbieter für Inferenz einordnet, und dem GEX131 mit RTX PRO 6000 Blackwell Max-Q und 96 GB, ausgewiesen für Training. Der GEX44 steht in Falkenstein, der GEX131 in Nürnberg und Falkenstein.
Wichtig für die Planung: Jeder Server hat nach Anbieterangabe genau eine GPU und lässt sich nicht mit weiteren bestücken. Auf die Frage nach Servern mit NVIDIA H100 gibt der Anbieter an, dass die GEX-Server NVIDIA-RTX-GPUs nutzen. Genannt werden außerdem Root-Zugriff und Fernwartung per IPMI. Die Rechenzentren in Deutschland und Finnland sind nach ISO 27001 zertifiziert. Aktuelle Preise und Verfügbarkeit stehen auf der Produktseite.
Datenhaltung: Deutschland (Falkenstein, Nürnberg) · Preis: bei der Prüfung nicht ermittelt
Verdacloud
Managed KI-Server · Sitz Stadtbergen · bis 96 GB Grafikspeicher
Fertig eingerichtete KI-Server für lokal betriebene Sprachmodelle und Wissensdatenbanken. Der Anbieter führt zwei Klassen: einen Inference-Server mit RTX 4000 SFF Ada und 20 GB Grafikspeicher ab 499 € im Monat netto und einen Training-Server mit RTX PRO 6000 Blackwell und 96 GB ab 1.990 € im Monat netto, dazu eine Cluster-Variante nach Anforderung. Hinzu kommt eine einmalige Einrichtung von 990 € beziehungsweise 1.990 €, die Mindestlaufzeit beträgt 3 Monate.
Zum Managed-Betrieb gehören nach Anbieterangabe Betriebssystem, CUDA, Treiber und Container-Laufzeitumgebung, Überwachung rund um die Uhr, Updates und tägliche Sicherungen, dabei Root-Zugang auf den Server; für die beiden Serverklassen wird eine Verfügbarkeit von 99,5 % genannt. Als Bereitstellungszeit werden 3 bis 5 Werktage für Inferenz-Server und 5 bis 10 Werktage für Training-Server angegeben. Neben der Infrastruktur bietet das Unternehmen auch RAG-Systeme und Beratung an. Verdacloud ist nach eigener Angabe eine Marke der Gnann Verwaltung GmbH und gehört zur Gnann Gruppe; VerdaGen.ai wird als Schwestermarke genannt.
Datenhaltung: Deutschland (Falkenstein, Nürnberg) · Preis: ab 499 € im Monat netto
centron
Cloud-GPU-Instanzen · Sitz Hallstadt · ISO 27001, BSI-C5-Testat
GPU-Instanzen mit frei konfigurierbaren Ressourcen, nutzungsbasiert abgerechnet und ohne Mindestlaufzeit – bezahlt wird, solange der Server existiert. Der Anbieter nennt ein Startguthaben von 200 € für 60 Tage; eine Instanz soll in wenigen Minuten bereitstehen. Für den GPU-Pool nennt er vier Stufen: ab 92,59 €, 170,83 €, 489,47 € und 858,19 € im Monat.
Betrieb in einem nach ISO 27001 zertifizierten Rechenzentrum in Deutschland, auf Wunsch in der Schweiz. Für die Cloud-Produkte weist der Anbieter zusätzlich ein BSI-C5:2020-Typ-1-Testat aus; seine Dokumentation nennt eine zugesagte Verfügbarkeit von mindestens 99,95 % im monatlichen Durchschnitt.
Datenhaltung: Deutschland, auf Wunsch Schweiz · Preis: ab 92,59 € im Monat
IONOS
Cloud-GPU und dedizierte GPU-Server · Sitz Montabaur · minutengenaue Abrechnung
GPU-Leistung ohne Mindestvertragslaufzeit, minutengenau abgerechnet – Server lassen sich jederzeit starten, stoppen oder löschen. Praktisch für Tests und schwankende Auslastung.
Im Cloud-Angebot stehen VMs mit dedizierter NVIDIA H200 zur Verfügung; die VM greift per Passthrough direkt auf die Karte zu. Der Anbieter nennt vier Größen, abgerechnet nach Verbrauch: 3 € je Stunde mit einer GPU, 6 € mit zwei, 12 € mit vier und 24 € mit acht. Bei den dedizierten Servern nennt er Konfigurationen mit NVIDIA Tesla T4 (16 GB), NVIDIA A10 (24 GB), Intel Flex 170 (16 GB) und NVIDIA RTX PRO 6000 Blackwell (96 GB); deren Beträge stehen nicht im Seitentext.
Für die Cloud weist der Anbieter eine Zertifizierung nach ISO 27001 auf Basis des IT-Grundschutzes sowie ein C5-Testat des BSI aus und nennt Hosting in Deutschland; als Standorte der dedizierten Server werden daneben Frankreich, Spanien, Großbritannien und die USA genannt.
Datenhaltung: Deutschland; laut Anbieter auch Frankreich, Spanien, Großbritannien oder USA wählbar · Preis: ab 3 € je Stunde für die Cloud-GPU-VM mit einer NVIDIA H200
WZ-IT
Managed GPU-Server · Sitz Werl · Ollama und vLLM, auch parallel auf einem Server
Dedizierte GPU-Server als Managed Service, in zwei Konfigurationen: RTX 4000 SFF Ada mit 20 GB Grafikspeicher, vom Anbieter für Inferenz und quantisierte Modelle bis etwa 27B eingeordnet, und RTX 6000 Blackwell Max-Q mit 96 GB für Training und Modelle bis etwa 70B quantisiert. Multi-GPU-Konfigurationen nennt der Anbieter auf Anfrage, die Netzanbindung mit 1 Gbit/s, optional 10 Gbit/s.
Zum Managed-Betrieb gehören nach Anbieterangabe Installation, Treiber-Optimierung, Überwachung und Wartung; bei der Übergabe sind GPU-Treiber, CUDA und gängige Werkzeuge installiert, darunter PyTorch, TensorFlow, JAX, Hugging Face Transformers, Ollama und vLLM. Root-Zugriff ist vorhanden, eigene Modelle lassen sich einspielen. Genannt werden feste Monatskosten ohne Abrechnung pro Token und keine Einrichtungsgebühr. Die Server stehen in deutschen Rechenzentren; der jeweilige Rechenzentrumsbetreiber ist nach Anbieterangabe nach ISO 27001 und BSI C5 Typ 2 zertifiziert – ausdrücklich der Betreiber, nicht WZ-IT selbst. Wer die Hardware lieber im eigenen Haus stehen hat, findet dort auch ein Gerät zum Kauf, den AI Cube ab 5.990,90 € exkl. USt.
Datenhaltung: Deutschland, Gerät wahlweise im eigenen Haus · Preis: laut Anbieter auf Anfrage
Häufige Fragen
Welche Größe brauche ich?
Entscheidend ist der Grafikspeicher (VRAM), weil das Modell hineinpassen muss. Grob: Karten um 20 GB tragen die kleineren offenen Sprachmodelle, wie sie für Wissensdatenbanken und Dokumentensuche im Mittelstand üblich sind – mit Quantisierung, also verkleinerten Zahlenformaten, entsprechend größere. Für Modelle der oberen Größenklassen oder fürs Training führt der Weg zu Karten um 96 GB. Lassen Sie sich die geplanten Modelle und die erwartete Zahl gleichzeitiger Anfragen vom Anbieter gegen die Konfiguration rechnen, bevor Sie bestellen.
Kann ich das selbst betreiben?
Ein roher Server kommt ohne Software. Wenn niemand im Haus damit vertraut ist, nehmen Sie einen Anbieter, der ihn fertig eingerichtet übergibt und pflegt – oder beauftragen Sie einen Dienstleister aus der KI-Beratung. Der günstigere Server nützt nichts, wenn er ungenutzt läuft.
Ist ein eigener Server automatisch sicherer?
Nein. Er ist datenschutzrechtlich einfacher, weil keine Daten in Drittländer fließen. Sicherheit im Sinne von Angriffsschutz müssen Sie aber selbst herstellen – Updates, Zugriffsrechte, Sicherungen. Ein schlecht gepflegter eigener Server ist unsicherer als eine gut betriebene Cloud.
Lohnt sich das für kleine Unternehmen?
Über die reine Kostenrechnung meist nicht: Ein gemieteter oder eigener GPU-Server kostet laufend Geld, auch wenn er wenig zu tun hat. Es lohnt sich, wenn Datenschutz der Treiber ist: bei Mandanten- oder Patientendaten etwa, wo externe Verarbeitung ohnehin schwierig wäre. Mehr dazu auf KI und Datenschutz.
Passenden Anbieter anfragen
Sagen Sie uns kurz, was auf dem Server laufen soll. Wir sehen uns Ihre Anfrage an und geben sie an die Anbieter aus dem Verzeichnis weiter, die fachlich dazu passen – es können sich also mehrere bei Ihnen melden. Kostenlos und unverbindlich.
Vielen Dank für deine Antwort. ✨
Wie wir mit Ihren Daten umgehen, steht in unserer Datenschutzerklärung.
Weitere Themen: ChatGPT für Unternehmen · n8n Agentur · KI-Beratung · KI und Datenschutz