Lokale KI im Unternehmen: Was auf deinen eigenen Server gehört und was nicht

Zwei Videos der c't über lokale KI haben auf YouTube zusammen über eine Million Aufrufe. Auf Deutsch, von einer Computerzeitschrift, nicht von einem Startup. Seitdem höre ich in Gesprächen fast jede Woche denselben Satz: „Wir wollen das lokal machen. Alles.“

Bei „alles“ werde ich hellhörig. Nicht, weil lokale KI schlecht wäre. Sondern weil in diesem Satz meistens zwei Dinge stecken, die eigentlich nichts miteinander zu tun haben.

• Wissen und Rechnen
• Was ein Test bei mir gezeigt hat
• Drei Fächer
• Für wen sich ein eigener Rechen-Server lohnt

Wissen und Rechnen

Jede KI im Betrieb besteht aus zwei Teilen. Der erste ist das Wissen: Dokumente, Mails, Preise, Verträge, Kunden. Das ist das, was dich von jedem anderen Betrieb unterscheidet, und das kannst du nirgends mieten.

Der zweite Teil ist das Rechnen, also das Modell, das deine Frage liest und eine Antwort formuliert. Es weiß nichts von dir. Es rechnet mit dem, was du ihm in dem Moment hinhältst, und danach ist es wieder ahnungslos.

In der Diskussion um lokale KI geht es fast nur um den zweiten Teil. Welche Grafikkarte, welches Modell, wie viele Parameter. Über das Wissen redet kaum einer, obwohl dort die eigentliche Entscheidung fällt.

Ich denke dabei an ein Grundbuch. Das gehört in deinen Tresor. Zum Lesen brauchst du eine Lampe, und der Strom dafür kommt vom Versorger. Niemand käme auf die Idee, das Grundbuch beim Stromversorger zu lagern, nur weil die Lampe von dort ihren Strom bekommt. In vielen Betrieben passiert aber genau das: Das Firmenwissen liegt im Chatfenster des Modellanbieters.

Die Frage „lokal oder Cloud“ ist also zu grob. Eigentlich sind es zwei Fragen: Wo liegt mein Wissen? Und wo wird gerechnet? Die Antworten dürfen verschieden ausfallen.

Was ein Test bei mir gezeigt hat

Bei mir gibt es tatsächlich beides. Das Firmenwissen liegt auf meinem eigenen Server, also Angebote, Skripte, Verträge, alles, was mein Betrieb über Jahre erzeugt hat. Gerechnet wird aber nicht bei mir im Haus, sondern mit einem gemieteten offenen Modell in einem deutschen Rechenzentrum. Für die Dauer einer Antwort verlässt das Wissen kurz das Haus und kommt zurück.

Daneben gibt es ein zweites System für private Unterlagen, die wirklich niemanden etwas angehen. Das rechnet nur auf meinem eigenen Rechner, ohne Rechenzentrum und ohne Miete. Dass das heute überhaupt geht, hat sich in den letzten anderthalb Jahren geändert. Ein offenes Modell mit 27 Milliarden Parametern, das auf eine einzige Grafikkarte mit 48 Gigabyte passt, hat in meinem Test dieselbe Aufgabe genauso sauber gelöst wie die großen Cloud-Modelle.

Über den Preis dafür reden die begeisterten Videos weniger gern. Dieselbe Frage, dieselben Unterlagen, dasselbe Ergebnis: Lokal auf meinem Rechner hat die Antwort 3 Minuten und 24 Sekunden gedauert, im deutschen Rechenzentrum 25 Sekunden. Also etwa achtmal langsamer. Drei Minuten sind ziemlich lang, wenn man daneben sitzt und auf den Bildschirm starrt. Für private Unterlagen, bei denen alle paar Tage mal eine Frage anfällt, ist das in Ordnung. In einem Betrieb, in dem fünf Leute den ganzen Tag fragen, wäre es eine Zumutung.

Lokal rechnen ist also möglich und gut genug. Es ist nur langsamer und teurer. Wie die gemieteten Modelle im Vergleich abschneiden, habe ich in einem Test mit sechs Sprachmodellen beschrieben.

Drei Fächer

Praktisch sortiere ich das in drei Fächer.

Ins erste Fach gehört, was immer auf deinen Server gehört: dein Wissen, ohne Ausnahme. Nicht, weil die Cloud böse wäre, sondern weil du sonst nicht wechseln kannst. Liegt dein Wissen beim Anbieter, bist du sein Kunde, solange er will. Liegt es bei dir, ist er dein Lieferant, solange du willst.

Im zweiten Fach liegt, was du mieten darfst: das Rechnen. Als Standard aus einem deutschen Rechenzentrum, mit Vertrag und Auftragsverarbeitung. Das Wissen geht für die Dauer der Antwort rüber und kommt zurück, gespeichert wird dort nichts. Für die allermeisten Betriebe ist das der richtige Weg, und es ist auch meiner.

Das dritte Fach ist die Ausnahme. Daten, die nicht einmal ein deutsches Rechenzentrum für dreißig Sekunden sehen darf: Mandantenakten, Patientendaten, Personalakten, Konstruktionsdaten, bei denen ein Vertrag es ausdrücklich verbietet. Dann wird im Haus gerechnet, und die drei Minuten nimmst du in Kauf. Dann aber bitte nur für diese Daten und nicht für die Angebotsvorlage.

Jetzt kommt oft der Einwand: „Wenn ich schon einen Server habe, rechne ich doch gleich mit drauf.“ Verstehe ich. Nur sind das zwei verschiedene Server. Dein Wissen braucht Speicherplatz, Ordnung und ein Backup, das läuft auf fast allem. Rechnen braucht eine Grafikkarte, Strom und jemanden, der sie am Laufen hält. Das eine ist ein Aktenschrank, das andere ein kleines Kraftwerk. Und ein Kraftwerk würde ich mir nicht kaufen, um eine Lampe zu betreiben.

Für wen sich ein eigener Rechen-Server lohnt

Bei den meisten Betrieben sind es eine Handvoll Ordner, die ins dritte Fach gehören, nicht der ganze Betrieb. Wer trotzdem alles im Haus rechnet, bezahlt für hundert Prozent, was er für ein paar Prozent bräuchte.

Wichtiger als die Grafikkarte ist deshalb ein anderer Schritt, den die Hardware-Diskussion gern überspringt: das Wissen aus den Chatfenstern holen und an einen Ort legen, der dir gehört. Wenn das erledigt ist, wird das Modell austauschbar. Heute rechnet ein deutsches Rechenzentrum, später vielleicht eine eigene Karte für das dritte Fach, irgendwann etwas, das es heute noch gar nicht gibt. Dein Wissen merkt davon nichts, weil es nie umziehen musste.

Ich nenne diesen Ort ein Company Brain. Dein Wissen liegt auf deinem Server, und das Rechnen ist ein Stecker, den du umsteckst, wann du willst. Lokale KI ist dann keine Glaubensfrage mehr, sondern eins von drei Fächern.

Ganz offen: Das dritte Fach ist wirklich langsamer und braucht jemanden, der sich kümmert. Wenn du ansetzen willst, richten wir dir dein Company Brain mit der Aufteilung ein, die zu deinen Daten passt. Oder du baust es in vier Wochen selbst im COMPANY BRAIN Builder.

Welche Ordner bei dir ins dritte Fach gehören, weißt du wahrscheinlich schon, bevor du darüber nachdenkst. Bei den übrigen lohnt es sich, einmal genauer hinzuschauen.