Was lokale KI ist
Ein Sprachmodell läuft auf deiner eigenen Hardware statt beim Anbieter. Die Anfrage geht nicht ins Internet, die Antwort entsteht im Haus — oder auf einem Server, den du gemietet hast und der in Deutschland steht.
Vor zwei Jahren war das ein Kompromiss: Die offenen Modelle konnten spürbar weniger als das, was OpenAI oder Anthropic anboten. Das hat sich verschoben. In unseren eigenen Vergleichen erreicht ein offenes Modell mit 27 Milliarden Parametern inzwischen die Qualität kommerzieller Angebote — bei Aufgaben, die im Büroalltag tatsächlich vorkommen.
- Personaldaten, Mandantenakten und Kalkulationen bleiben im Haus
- Keine Nutzungsgebühr pro Anfrage — die Hardware ist der Kostenblock
- Kein Anbieterwechsel, der dir die Grundlage entzieht
- Läuft auch, wenn ein US-Dienst abgeschaltet oder teurer wird
Wie viel Speicher braucht welches Modell?
Die entscheidende Größe ist der Grafikspeicher — bei Apple der gemeinsame Arbeitsspeicher. Er bestimmt, welches Modell überhaupt hineinpasst und wie viele Leute gleichzeitig arbeiten können.
| Speicher | Modellgröße | Wofür es reicht |
|---|---|---|
| 16 GB | bis ca. 12 Mrd. Parameter | Einzelplatz, kurze Texte, einfache Zusammenfassungen |
| 24–32 GB | bis ca. 27 Mrd. | Ein bis zwei Nutzer, ordentliche Textqualität, kurzer Kontext |
| 48 GB | 27 Mrd. in voller Qualität | Der Punkt, ab dem es im Betrieb rund läuft — lange Dokumente, Agenten, mehrere Nutzer |
| 96 GB und mehr | größere Modelle oder mehrere parallel | Ganzes Team gleichzeitig, mehrere Modelle nebeneinander |
48 GB ist die Schwelle, an der aus einem Experiment ein Werkzeug wird.
Der Grund dafür ist unspektakulär: Ein Modell mit 27 Milliarden Parametern belegt in guter Qualität rund 29 GB. Was übrig bleibt, geht für den Kontext drauf — also für die Menge Text, die das Modell gleichzeitig im Blick behält. Bei Agenten, die mehrere Arbeitsschritte hintereinander machen, ist genau das der Engpass. Auf 32 GB haben wir es probiert, es lief, aber es machte keine Freude.
GPU-Hardware mieten
Du buchst einen Server mit Grafikkarte in einem deutschen Rechenzentrum und zahlst monatlich. Kein Invest, kein Aufbau, und um Strom, Kühlung und Ersatzhardware kümmert sich jemand anderes.
| Anbieter | Grafikkarte | Speicher | ca. €/Monat | 36 Monate |
|---|---|---|---|---|
| Hetzner GEX44 | RTX 4000 SFF Ada | 20 GB | 234 € | 8.424 € |
| IP-Projects M | RTX 4000 | 20 GB | 241 € | 8.676 € |
| IP-Projects L | RTX 5000 | 32 GB | 542 € | 19.512 € |
| IP-Projects XL | RTX 6000 Ada | 48 GB | 760 € | 27.360 € |
| Hetzner GEX130 | RTX 6000 Ada | 48 GB | 838 € | 30.168 € |
| Hetzner GEX131 | RTX PRO 6000 Blackwell | 96 GB | 1.199 € | 43.164 € |
IONOS bietet Grafikkarten zusätzlich stundenweise an. Das klingt nach der günstigsten Variante und ist es auch — aber nur, wenn die KI wirklich nur zeitweise läuft. Sobald sie den ganzen Tag verfügbar sein soll, ist der feste Server günstiger. Bei dedizierter Hardware läuft die Abrechnung ohnehin durch, ob du sie nutzt oder nicht.
Ein Hinweis aus der eigenen Auswahl: Verfügbarkeit ist bei GPU-Servern ein echtes Thema. Wir haben Anbieter durchprobiert, bei denen die gewünschte Ausstattung schlicht nicht lieferbar war — bei einem scheiterte die Bereitstellung an Kapazitätsmangel, ein anderes Modell war monatelang ausverkauft.
Eigene Hardware betreiben
Zwei Wege führen hier zum Ziel, und sie unterscheiden sich stärker, als die reinen Anschaffungspreise vermuten lassen.
Apple Silicon
Bei einem Mac teilen sich Prozessor und Grafik denselben Arbeitsspeicher. Ein Mac Studio mit 96 GB kann deshalb Modelle laden, für die es sonst zwei Profi-Grafikkarten bräuchte — bei rund 90 Watt im Betrieb und praktisch lautlos.
- Mac Studio M5 Max, 36 GB: 2.999 €
- Mac Studio M5 Ultra, 96 GB: 6.599 €
- Zwischenstufen frei konfigurierbar
Nutzbar für das Modell sind grob drei Viertel des Speichers — aus 96 GB werden also rund 72 GB. Bemerkenswert ist die Speicherbandbreite: Der M5 Ultra liegt mit 1,2 TB/s über der RTX 6000 Ada, und genau diese Größe bestimmt, wie schnell Text entsteht.
PC mit Profi-Grafikkarte
Der klassische Weg: ein Rechner mit einer Karte, die 48 GB Speicher mitbringt. Beim Einlesen langer Dokumente und bei vielen gleichzeitigen Anfragen bleibt die NVIDIA-Karte vorn — dort zählt reine Rechenleistung, nicht Bandbreite. Das ist die Disziplin, in der Apple bis heute zurückliegt.
- Basis (Board, CPU, 128 GB RAM, NVMe, Netzteil): ca. 2.680 €
- RTX A6000 mit 48 GB: ca. 4.000 €
- zusammen also rund 6.700 €
Dafür zieht so ein Gerät im Dauerbetrieb deutlich mehr Strom und macht Geräusch. Wer später eine zweite Karte einbauen will, muss Netzteil und Gehäuse von Anfang an darauf auslegen.
Was drei Jahre wirklich kosten
36 Monate Dauerbetrieb, nach Speicherklasse getrennt. Beim Kauf ist der Strom mitgerechnet — 30 Cent je Kilowattstunde, Gerät läuft durch. Alle Preise netto, damit Miete und Kauf vergleichbar bleiben: Hoster nennen netto, Apple nennt brutto.
| Variante | Anschaffung | Strom (36 Mo) | Gesamt nach 3 Jahren |
|---|---|---|---|
| 48 GB Speicher | |||
| PC mit RTX A6000 | 5.630 €6.700 € inkl. MwSt. | ca. 1.970 € | ca. 7.600 € |
| Miete IP-Projects XL | — | im Preis | 27.360 € |
| Miete Hetzner GEX130 | — | im Preis | 30.168 € |
| 96 GB Speicher | |||
| Mac Studio M5 Ultra | 5.545 €6.599 € inkl. MwSt. | ca. 710 € | ca. 6.255 € |
| Miete Hetzner GEX131 | — | im Preis | 43.164 € |
Die interessanteste Zeile ist die untere: Ein Mac Studio mit 96 GB kostet über drei Jahre rund 6.300 Euro, der gemietete Server derselben Klasse gut 43.000 — fast das Siebenfache. Und er ist damit sogar günstiger als der Eigenbau-PC mit der halben Speichermenge. Bezahlt gemacht hat sich der Mac nach gut fünf Monaten, der PC nach zehn.
Ein Detail, das in der Tabelle untergeht: Beim Kauf liegt das Geld am Anfang auf dem Tisch. Wer die Investition scheut oder sie erst rechtfertigen muss, findet in der Miete den bequemeren Einstieg — und kann nach einem Jahr immer noch umsteigen.
Diese Rechnung vergleicht Hardware, nicht Betrieb. Im Mietpreis stecken Dinge, die beim eigenen Gerät bei dir liegen: unterbrechungsfreie Stromversorgung, Netzanbindung, Ersatzhardware bei einem Defekt, physische Sicherheit, Erreichbarkeit von außen. Wenn dein Gerät im Büro steht und am Samstag ausfällt, kümmerst du dich selbst darum.
Preisstand: Mietangebote Juli 2026, Hardware September 2026; der Mac Studio M5 wird ab dem 22. September ausgeliefert. Stromkosten sind gerechnet mit 90 Watt (Mac Studio Ultra) beziehungsweise 250 Watt (PC) im Mittel — je nach Auslastung liegt das höher oder niedriger. Gerade bei Grafikkarten ändern sich Preise und Verfügbarkeit schnell; die Zahlen zeigen Größenordnungen, kein Angebot.
Was zu wem passt
Erstmal ausprobieren: Ein vorhandener Mac mit genug Speicher reicht, um in einem Nachmittag herauszufinden, ob die Qualität für deinen Zweck genügt. Kostet nichts außer Zeit.
Ein Team, ein Standort: Ein Mac Studio Ultra im Serverraum. Günstigster Weg, sobald das Gerät länger als ein halbes Jahr laufen soll — und die 96 GB lassen Luft für ein zweites Modell daneben.
Mehrere Standorte oder Kundenbetrieb: Gemieteter Server im Rechenzentrum. Man zahlt deutlich mehr, kauft sich damit aber Verfügbarkeit — und die ist der eigentliche Grund für diesen Weg, nicht die Rechenleistung.
Niemand im Haus, der so etwas betreut: Dann führt der Weg über eine betreute Lösung wie den openWORK Hub, wo Betrieb und Wartung nicht bei dir liegen.
Wo lokale KI an Grenzen stößt
Die ganz großen Modelle bleiben draußen. Alles jenseits von etwa 35 Milliarden Parametern braucht mehrere Grafikkarten und wird schnell zum Rechenzentrumsprojekt. Für Büroarbeit ist das kein Problem — für Aufgaben, bei denen es wirklich auf das stärkste verfügbare Modell ankommt, schon.
Es kostet Betreuung. Ein Modell aktualisieren, Speicher überwachen, jemanden haben, der merkt wenn nichts mehr antwortet. Das fällt an, auch wenn es überschaubar bleibt. Wer niemanden dafür hat, sollte mieten oder betreuen lassen.
Lokal heißt nicht automatisch DSGVO-konform. Es löst die Frage, wohin die Daten fließen — nicht die Frage, wer im Unternehmen was sehen darf. Berechtigungen bleiben deine Aufgabe.
Häufige Fragen zu lokaler KI
Ist lokale KI wirklich DSGVO-konform?
Sie löst den kritischsten Teil: Personenbezogene Daten verlassen das Unternehmen nicht, es braucht keinen Vertrag zur Auftragsverarbeitung mit einem US-Anbieter und keine Diskussion über Drittlandtransfer. Was sie nicht löst, sind interne Zugriffsrechte und Löschfristen — die musst du weiterhin selbst regeln.
Sind offene Modelle schlechter als ChatGPT?
Bei Büroaufgaben inzwischen nicht mehr zwangsläufig. In unseren eigenen Vergleichen hat ein offenes 27-Milliarden-Modell eine Aufgabe zur wörtlichen Textwiedergabe als einziges vollständig korrekt gelöst — vor zwei kommerziellen Modellen. Bei sehr komplexen Aufgaben liegen die großen Cloud-Modelle weiter vorn.
Was kostet ein KI-Server im Monat?
Gemietet liegen brauchbare Konfigurationen mit 20 GB bei etwa 230 bis 240 Euro monatlich, mit 48 GB bei 760 bis 840 Euro, mit 96 GB bei rund 1.200 Euro — jeweils netto. Kaufst du stattdessen, entfällt die Monatsmiete und es bleiben Strom und Wartung: beim Mac Studio Ultra sind das etwa 20 Euro Strom im Monat.
Reicht ein Mac für lokale KI?
Für ein Team ja — ein Mac Studio M5 Ultra mit 96 GB bietet mehr nutzbaren Modellspeicher als eine 48-GB-Profikarte und kostet weniger. Grenzen zeigen sich beim Einlesen sehr langer Dokumente und bei vielen gleichzeitigen Anfragen; dort bleibt NVIDIA vorn. Achte auf den Arbeitsspeicher: unter 32 GB wird es für ernsthafte Modelle eng.
Was ist Ollama?
Ein kostenloses Programm, mit dem sich offene Sprachmodelle auf dem eigenen Rechner starten lassen — vergleichbar mit einem Player, der verschiedene Modelle abspielen kann. Für den Einstieg auf einem einzelnen Rechner ist es der einfachste Weg. Für den Mehrbenutzer-Betrieb im Unternehmen nimmt man dann eher andere Werkzeuge.
Mieten oder kaufen — was ist günstiger?
Rein rechnerisch der Kauf, und deutlich: Ein Mac Studio M5 Ultra mit 96 GB hat sich gegenüber dem vergleichbaren Mietserver nach gut fünf Monaten amortisiert, ein PC-Eigenbau mit 48 GB nach zehn. Mit der Miete kaufst du dir Verfügbarkeit ein — Rechenzentrum, Notstrom, Ersatz bei Defekt. Für den Dauerbetrieb mit Kundenkontakt ist das oft den Aufpreis wert, für interne Nutzung selten.
Welcher Weg für dein Unternehmen passt,
hängt an drei Fragen.
Wie viele Leute nutzen es, wie sensibel sind die Daten, und wer betreut das Ding? Genau das klären wir im DIGITAL-Check — bevor Hardware bestellt wird.