Souveräne KI im Mittelstand: Was Kolibri verspricht und welche 5 Fragen Sie stellen sollten

Am 3. Oktober 2026 hat Aleph Alpha aus Heidelberg ein neues Sprachmodell namens „Kolibri“ vorgestellt. Das berichten unter anderem Startup Fortune und die Nachrichtenagentur dpa-AFX. Das Modell richtet sich an öffentliche Verwaltung und regulierte Industrie, es läuft auf Infrastruktur, die der Kunde selbst kontrolliert, und es wurde nach Angaben des Unternehmens gezielt für deutschsprachige Anwendungen gebaut. Für Sie als Geschäftsführerin oder Geschäftsführer eines mittelständischen Unternehmens klingt das nach genau der Antwort auf eine Frage, die Sie sich vermutlich schon gestellt haben: Wie nutze ich KI, ohne meine Daten in die Hände amerikanischer Konzerne zu geben?

Die ehrliche Zwischenbilanz lautet: Das Versprechen ist attraktiv, die belegbaren Details sind dünn. Parameterzahl, Benchmark-Ergebnisse, Preise und Verfügbarkeit hat das Unternehmen bislang nicht veröffentlicht. Positioniert wird Kolibri über Vertrauen und Souveränität, nicht über messbare Leistung. In diesem Artikel ordnen wir ein, was heute belegt ist, was offen bleibt und mit welchen fünf Fragen Sie jeden Anbieter souveräner KI prüfen sollten, ob er nun Aleph Alpha, Cohere, ein europäischer Mitbewerber oder ein amerikanischer Hyperscaler mit „EU-Region“ heißt.

Was Aleph Alpha mit Kolibri angekündigt hat

Nach den vorliegenden Berichten ist Kolibri ein Sprachmodell für Verwaltung und Industrie. Drei Aussagen stehen im Mittelpunkt, und alle drei sind für den Mittelstand relevant, weil sie genau die Punkte berühren, die in Beratungsgesprächen immer wieder fallen.

Erstens der Betriebsort. Das Modell soll auf der Infrastruktur des Kunden laufen, also nicht auf den Servern von Aleph Alpha und auch nicht bei einem großen Cloud-Anbieter. Wer ein Modell im eigenen Rechenzentrum oder in einer selbst kontrollierten Umgebung betreibt, kann die Frage „Wohin gehen unsere Daten?“ sehr kurz beantworten: nirgendwohin.

Zweitens die Sprache. Samuel Weinbach wird von Fachmedien damit zitiert, Kolibri sei speziell für deutschsprachige Anwendungen entwickelt worden und solle direkt auf Deutsch „reasonen“, statt den Umweg über das Englische zu nehmen. Gemeint ist, dass das Modell Schlussfolgerungen in deutscher Sprache zieht, statt eine Aufgabe zunächst intern ins Englische zu übertragen und das Ergebnis zurückzuübersetzen. Gerade bei Rechtsbegriffen, Verwaltungsdeutsch und branchenspezifischen Fachwörtern erhoffen sich Anwender davon bessere Ergebnisse.

Drittens der Hintergrund des Unternehmens. Aleph Alpha gehört nach den Berichten inzwischen zu Cohere. Startup Fortune nennt für den Zusammenschluss einen Abschluss im September 2026, ein gemeinsames Unternehmen mit Hauptsitzen in Berlin und Toronto und eine Investition der Schwarz Gruppe von 600 Millionen US-Dollar. Die Berichterstattung ist hier nicht in allen Details einheitlich, etwa was die genaue Konstruktion des Zusammenschlusses betrifft. Wir geben deshalb nur wieder, was die Quellen übereinstimmend sagen: Aleph Alpha ist Teil einer größeren Konstellation mit Cohere, und das Thema „souveräne KI“ ist das gemeinsame Verkaufsargument.

„Specifically for German-language use cases“ und „reason in German rather than translate through English“: So geben Fachmedien die Positionierung von Kolibri wieder. Belegt ist die Absicht, nicht das Ergebnis.

Was bisher fehlt – und warum das wichtig ist

Die Pressemitteilung enthält laut Startup Fortune keine Angaben zur Modellgröße, keine Benchmark-Ergebnisse, keine Preise und keinen Termin für die Verfügbarkeit. Auch zur Frage, welche Hardware Sie benötigen, um Kolibri auf eigener Infrastruktur zu betreiben, liegen keine Angaben vor. Das ist kein Vorwurf. Eine Ankündigung ist keine Produktdokumentation. Aber es hat Folgen dafür, wie Sie heute damit umgehen sollten.

Ein Modell, dessen Leistung nicht öffentlich messbar ist, können Sie nicht seriös mit Alternativen vergleichen. Ein Modell ohne Preis lässt sich nicht in eine Wirtschaftlichkeitsrechnung einbauen. Und ein Modell ohne Hardwareangaben kann Ihre IT nicht einplanen. Ihre Entscheidung für den Moment lautet deshalb nicht „Kolibri ja oder nein“, sondern: Wie bereiten wir uns so vor, dass wir ein souveränes Modell sinnvoll bewerten können, sobald belastbare Zahlen vorliegen?

Warum „souverän“ im Mittelstand mehr ist als ein Schlagwort

Wenn wir mit mittelständischen Unternehmen über KI sprechen, kommt früher oder später dieselbe Sorge auf den Tisch: Die besten Modelle stammen aus den USA, und niemand möchte Konstruktionszeichnungen, Kundenverträge, Personalakten oder Angebotskalkulationen an einen Anbieter schicken, dessen Rechtsraum man nicht kontrolliert. Die Sorge ist legitim, aber sie wird oft pauschal geäußert. Es lohnt sich, sie in drei konkrete Teilfragen zu zerlegen.

Datenschutz und DSGVO

Personenbezogene Daten dürfen nur unter bestimmten Voraussetzungen an Dienstleister weitergegeben werden. Bei einem Modell, das auf Ihrer eigenen Infrastruktur läuft, entfällt ein großer Teil dieser Fragen, weil kein externer Auftragsverarbeiter Zugriff auf die Eingaben erhält. Das ist ein echter Vorteil, aber kein Freibrief: Auch intern gelten Zweckbindung, Zugriffsrechte und Löschfristen. Ein lokales Modell, das jeder Mitarbeiter mit jeder Akte füttern darf, ist datenschutzrechtlich nicht automatisch sauber.

Geschäftsgeheimnisse

Für viele Betriebe ist nicht der Personenbezug das Hauptthema, sondern das Know-how. Rezepturen, Fertigungsparameter, Kalkulationslogik und Kundenlisten sind ihr Kapital. Hier geht es weniger um Gesetze als um Vertrauen und Vertragsklauseln: Wird mit meinen Eingaben trainiert? Wer darf sie einsehen? Was geschieht bei einer behördlichen Anfrage im Herkunftsland des Anbieters?

Abhängigkeit und Kontinuität

Souveränität heißt auch: Was passiert, wenn der Anbieter die Preise verdoppelt, ein Modell abschaltet oder den Markt verlässt? Wer ein Modell selbst betreibt, hat hier mehr Kontrolle, trägt aber auch die Betriebsverantwortung. Das bringt uns zur Frage, die in der Debatte oft untergeht: Was kostet es, ein Modell selbst zu betreiben?

Die fünf Fragen, die Sie jedem Anbieter souveräner KI stellen sollten

Aus unserer Beratungspraxis haben wir eine Checkliste entwickelt, die Sie unabhängig vom Anbieter verwenden können. Sie eignet sich für Kolibri genauso wie für jedes andere Modell, das mit „Souveränität“ wirbt. Wichtig: Eine gute Antwort ist eine, die sich schriftlich festhalten und später überprüfen lässt. Allgemeine Beteuerungen zählen nicht.

Frage 1: Wo und wie wird das Modell betrieben?

Klären Sie, ob das Modell tatsächlich vollständig auf Ihrer Infrastruktur läuft oder ob einzelne Komponenten (Updates, Lizenzprüfung, Telemetrie, Monitoring) über Server des Anbieters laufen. Fragen Sie konkret: Gibt es Verbindungen nach außen? Lassen sich diese vollständig abschalten? Läuft das Modell auch in einer Umgebung ohne Internetzugang? Welche Hardware wird benötigt, und welche Betriebskompetenz muss Ihr Team mitbringen?

Bei Kolibri ist der Betrieb auf Kundeninfrastruktur das zentrale Versprechen. Welche Hardwareanforderungen dahinterstehen, ist bislang nicht veröffentlicht. Genau diese Angabe entscheidet aber darüber, ob ein Mittelständler mit 80 Mitarbeitenden das Modell sinnvoll selbst betreiben kann oder ob dafür eine Infrastruktur nötig ist, die nur Großunternehmen und Behörden aufbringen.

Frage 2: Was geschieht mit unseren Daten?

Verlangen Sie eine klare, schriftliche Aussage zu vier Punkten: Werden Ihre Eingaben gespeichert? Wo und wie lange? Werden sie für Training oder Verbesserung genutzt? Wer beim Anbieter hat Zugriff? Bei einem selbst betriebenen Modell sind die Antworten meist einfach, weil die Daten Ihr Haus nicht verlassen. Prüfen Sie dennoch, ob der Anbieter Protokolle oder Nutzungsdaten erhält und ob es einen Wartungszugang gibt, der Zugriff auf Ihre Umgebung ermöglicht.

Ergänzend lohnt der Blick auf Ihre vorhandene Tool-Landschaft. Wie heikel der Umgang mit Firmendaten bei großen Anbietern sein kann, haben wir in unserem Beitrag zur Datenschutz-Kritik an OpenAI beschrieben. Die Frage nach dem Datenfluss gehört in jede KI-Entscheidung, nicht nur in die zu souveränen Modellen.

Frage 3: Was kostet der Betrieb wirklich?

Ein Modell auf eigener Infrastruktur erspart Ihnen Nutzungsgebühren pro Anfrage, verursacht dafür aber Kosten an anderer Stelle: Hardware, Strom, Betrieb, Updates, Fachpersonal, Lizenzen. Verlangen Sie ein Angebot, das alle diese Posten über drei Jahre ausweist. Vergleichen Sie es mit den Kosten eines Cloud-Modells für dieselbe Aufgabe und denselben Datenschutzrahmen.

Wir nennen hier bewusst keine Beispielzahlen, weil sie ohne die tatsächlichen Preise von Kolibri oder anderen Modellen erfunden wären. Der Rechenweg ist aber einfach: Schätzen Sie das monatliche Anfragevolumen, multiplizieren Sie es mit den Cloud-Kosten pro Anfrage, und stellen Sie die jährlichen Gesamtkosten des Eigenbetriebs gegenüber. Erst wenn Ihr Volumen hoch genug ist oder Ihre Daten so sensibel sind, dass die Cloud ausscheidet, rechnet sich der Eigenbetrieb.

Frage 4: Wie gut ist das Modell bei Ihren Aufgaben?

Allgemeine Benchmarks sagen wenig darüber aus, wie ein Modell Ihre Verträge liest, Ihre Servicemails beantwortet oder Ihre Normen auslegt. Verlangen Sie deshalb einen Testzugang und prüfen Sie das Modell an 20 bis 30 echten, anonymisierten Fällen aus Ihrem Alltag. Legen Sie vorher fest, woran Sie Qualität messen: Richtigkeit, Vollständigkeit, Tonfall, Umgang mit Unsicherheit. Lassen Sie dieselben Fälle auch durch ein oder zwei Vergleichsmodelle laufen.

Gerade das Versprechen, direkt auf Deutsch zu denken, lässt sich so überprüfen. Nehmen Sie Fälle mit Rechtsbegriffen, mit Branchenjargon, mit Dialekt-nahen Formulierungen oder mit mehrdeutigen Verwaltungsformulierungen. Wenn das Modell dort spürbar besser ist als die Alternativen, haben Sie ein belastbares Argument. Wenn nicht, wissen Sie das ebenfalls, bevor Sie investiert haben.

Frage 5: Wie kommen wir wieder heraus?

Die Ausstiegsfrage stellen die wenigsten, und sie ist die wichtigste. Klären Sie vor Vertragsabschluss: In welchem Format liegen Ihre Daten, Prompts, Feinabstimmungen und Workflows vor? Lassen sie sich auf ein anderes Modell übertragen? Was gilt bei Kündigung, bei Übernahme des Anbieters oder bei Einstellung des Produkts? Gibt es Mindestlaufzeiten oder Lizenzmodelle, die Sie an eine Hardware binden?

Die Entwicklung rund um Aleph Alpha zeigt, warum das keine theoretische Frage ist. Das Unternehmen gehört nach den Berichten inzwischen zu einer größeren Konstellation mit Cohere. Das kann Stabilität bedeuten, etwa durch mehr Kapital. Es kann aber auch heißen, dass sich Produktstrategie, Preise und Ansprechpartner ändern. Wer vertraglich vorgesorgt hat, kann gelassen darauf reagieren.

Wann sich ein souveränes Modell für Ihren Betrieb lohnt

Nicht jeder Mittelständler braucht ein Modell im eigenen Rechenzentrum. Wir sehen in der Praxis drei Konstellationen, in denen es sich lohnt, die Option ernsthaft zu prüfen.

• Hochsensible Daten: Wenn Ihre Kernprozesse Gesundheitsdaten, Konstruktionsunterlagen mit Exportbezug, Mandantendaten oder Finanzdaten betreffen und die Cloud aus rechtlichen oder vertraglichen Gründen ausscheidet.
• Regulierte Kunden: Wenn Ihre Auftraggeber (Behörden, Kommunen, Konzerne in regulierten Branchen) von Ihnen verlangen, dass Daten nicht in bestimmte Rechtsräume fließen.
• Hohes, planbares Volumen: Wenn Sie so viele gleichartige Anfragen verarbeiten, dass feste Betriebskosten günstiger sind als nutzungsabhängige Gebühren.

Trifft nichts davon zu, ist ein Cloud-Modell mit einer sauberen Datenverarbeitungsvereinbarung, europäischer Datenhaltung und klaren Regeln für Ihre Mitarbeitenden häufig der pragmatischere Weg. Souveränität ist eine Skala, kein Schalter. Zwischen „alles in der US-Cloud“ und „alles im eigenen Keller“ liegen mehrere Stufen, etwa europäische Rechenzentren großer Anbieter, europäische Anbieter in der Cloud und eigener Betrieb.

Ein Stufenmodell für Ihre Entscheidung

Damit Sie nicht an einer einzigen Alles-oder-nichts-Entscheidung hängen bleiben, empfehlen wir, Ihre Anwendungsfälle nach Sensibilität in drei Gruppen zu sortieren.

1. Unkritisch: Texte ohne Personenbezug und ohne Geschäftsgeheimnisse, etwa Entwürfe für öffentliche Webseiten, Ideensammlungen oder allgemeine Recherche. Hier genügt ein Standardwerkzeug mit klaren Nutzungsregeln.
2. Sensibel: Kundenkorrespondenz, interne Auswertungen, Angebote. Hier brauchen Sie einen Anbieter mit Auftragsverarbeitungsvertrag, Datenhaltung in der EU und dokumentierten Zugriffsrechten.
3. Hochsensibel: Personalakten, Konstruktionsdaten, Verträge mit Geheimhaltungspflicht. Hier prüfen Sie Eigenbetrieb oder einen Anbieter, dessen Architektur Ihnen die vollständige Kontrolle gibt.

Viele Betriebe stellen fest, dass nur ein kleiner Teil ihrer Anwendungsfälle in die dritte Gruppe fällt. Dann lohnt es sich, den Eigenbetrieb auf genau diese Fälle zu beschränken, statt die gesamte KI-Nutzung daran auszurichten. So behalten Sie Kontrolle, wo sie zählt, und Geschwindigkeit, wo sie nützt.

Was Sie in den nächsten 30 Tagen konkret tun können

Auch ohne belastbare Kolibri-Daten können Sie jetzt Vorarbeit leisten, die sich bei jeder Modellentscheidung auszahlt. Wir empfehlen vier Schritte.

Woche 1: Anwendungsfälle erfassen. Sammeln Sie, wofür in Ihrem Haus KI bereits genutzt wird oder genutzt werden soll. Fragen Sie auch nach den Werkzeugen, die Mitarbeitende privat nutzen. Ordnen Sie jeden Fall einer der drei Sensibilitätsstufen zu.

Woche 2: Datenflüsse klären. Dokumentieren Sie für die sensiblen und hochsensiblen Fälle, welche Daten tatsächlich in das Modell gelangen. Oft stellt sich heraus, dass weniger Daten nötig sind, als alle annehmen, etwa weil Namen oder Nummern vorab entfernt werden können.

Woche 3: Prüfset bauen. Stellen Sie 20 bis 30 anonymisierte Testfälle zusammen und legen Sie Bewertungskriterien fest. Dieses Prüfset ist Ihr wertvollstes Werkzeug: Es macht jeden Anbietervergleich objektiv, und Sie können es bei jeder neuen Modellversion wiederverwenden.

Woche 4: Anbieter anfragen. Schicken Sie die fünf Fragen aus diesem Artikel schriftlich an Ihre Kandidaten, auch an Aleph Alpha beziehungsweise Cohere, und bitten Sie um verbindliche Antworten sowie um einen Testzugang. Vergleichen Sie die Antworten nebeneinander. Wer ausweicht, hat Ihnen ebenfalls etwas gesagt.

Was ein einzelnes Modell nicht löst

Selbst das souveränste Modell nimmt Ihnen die eigentliche Arbeit nicht ab. Ein Sprachmodell ist ein Baustein. Ob daraus ein Nutzen entsteht, hängt davon ab, ob es in Ihre Abläufe eingebunden ist: Zugriff auf die richtigen Dokumente, saubere Schnittstellen zu Ihrer Software, Regeln dafür, was automatisch passieren darf und was ein Mensch freigeben muss, und eine Kontrolle der Ergebnisse.

Wir sehen immer wieder Projekte, in denen viel Energie in die Modellwahl fließt und wenig in die Frage, welcher Prozess damit besser werden soll. Starten Sie deshalb umgekehrt: Wählen Sie einen konkreten Prozess, der heute Zeit frisst und fehleranfällig ist, etwa die Vorsortierung von Eingangsmails, die Erstellung von Angebotsentwürfen oder die Beantwortung wiederkehrender Kundenfragen. Definieren Sie, was „gut“ bedeutet. Und wählen Sie dann das Modell, das diese Anforderung mit dem passenden Schutzniveau erfüllt.

Hilfreich ist außerdem, die Architektur so zu bauen, dass sich das Modell austauschen lässt. Wenn Ihre Prompts, Wissensquellen und Schnittstellen modellunabhängig aufgebaut sind, können Sie heute mit einem Cloud-Modell starten und später ein souveränes Modell einsetzen, sobald es belegt gut genug ist. Die Investition in Ihre Prozesse geht dabei nicht verloren.

Unser Fazit

Aleph Alpha liefert mit Kolibri ein starkes Signal in einer Debatte, die den Mittelstand umtreibt: Es gibt Bemühungen, leistungsfähige Sprachmodelle zu bauen, die auf Deutsch denken und auf eigener Infrastruktur laufen. Das ist eine gute Nachricht für alle Betriebe, die bisher aus Datenschutzgründen gezögert haben.

Gleichzeitig gilt: Eine Ankündigung ist kein Beleg. Ohne Angaben zu Leistung, Preis, Hardware und Verfügbarkeit können Sie Kolibri heute weder einplanen noch mit Alternativen vergleichen. Behandeln Sie das Modell deshalb als interessante Option, die Sie beobachten, und nutzen Sie die Zwischenzeit, um Ihre eigenen Hausaufgaben zu machen: Anwendungsfälle sortieren, Datenflüsse klären, ein Prüfset bauen und die fünf Fragen an Ihre Anbieter stellen.

Wer so vorbereitet ist, trifft die Entscheidung später auf Basis von Zahlen statt von Versprechen. Und das gilt unabhängig davon, ob am Ende Kolibri, ein anderes europäisches Modell oder ein sauber eingerichteter Cloud-Dienst die beste Wahl für Ihr Unternehmen ist.

Quellen: Startup Fortune (3. Oktober 2026) zur Vorstellung von Kolibri; dpa-AFX via onvista (3. Oktober 2026) zur Meldung „Aleph Alpha: Souveräne KI made in Germany“. Alle Angaben zu Leistungsdaten, Preisen und Verfügbarkeit fehlen in den Quellen und wurden von uns nicht ergänzt.