Wissen · RAG
RAG-System: Firmenwissen für KI nutzbar machen
Ein Sprachmodell kennt Ihre Preisliste nicht, Ihr Handbuch nicht und Ihre internen Abläufe schon gar nicht. RAG löst genau das: Die KI schaut vor jeder Antwort in Ihren eigenen Dokumenten nach. Hier erfahren Sie, wie das funktioniert, was es kostet und wer es baut.
Was RAG bedeutet – ohne Fachchinesisch
RAG steht für „Retrieval-Augmented Generation“ – sinngemäß: erst nachschlagen, dann antworten. Stellen Sie sich einen neuen Mitarbeiter vor, der zwar gut formulieren kann, aber Ihre Firma nicht kennt. Geben Sie ihm einen Aktenschrank und die Regel „schau erst nach, bevor du antwortest“, wird er brauchbar. Genau das macht RAG.
- 1. Dokumente aufbereiten. Handbücher, Preislisten, Verträge, FAQ und Protokolle werden in kleine Abschnitte zerlegt.
- 2. Durchsuchbar ablegen. Die Abschnitte kommen in eine Vektordatenbank – eine Ablage, die nach Bedeutung sucht statt nach exakten Wörtern. Sie findet die Urlaubsregelung auch, wenn jemand „Wie viele freie Tage habe ich?“ fragt.
- 3. Nachschlagen bei jeder Frage. Kommt eine Frage, werden zuerst die passenden Abschnitte geholt.
- 4. Antworten lassen. Das Sprachmodell formuliert die Antwort ausschließlich auf Basis dieser Abschnitte – und nennt idealerweise die Quelle.
Der eigentliche Vorteil
Weil die Antwort aus Ihren Dokumenten stammt, ist sie überprüfbar. Ein gutes System nennt die Quelle mit – „Seite 14 der Betriebsvereinbarung“. Und wenn nichts Passendes gefunden wird, sagt es das, statt sich etwas auszudenken.
Zweiter Vorteil: Aktualisieren heißt Dokument austauschen. Kein neues Training, keine Wartezeit – die neue Preisliste rein, und ab der nächsten Frage gilt sie.
Wofür Unternehmen RAG einsetzen
- Internes Wissen zugänglich machen – statt drei Kollegen zu fragen, wo die Regelung steht
- Kundenanfragen beantworten – als Grundlage für Chatbots und Support-Automatisierung
- Einarbeitung neuer Mitarbeitender – Fragen stellen statt Ordner durchblättern
- Technische Dokumentation durchsuchen – besonders bei umfangreichen Handbüchern
Woran RAG-Projekte scheitern
Fast nie an der Technik – fast immer an den Dokumenten. Wenn drei Versionen desselben Handbuchs kursieren, liefert das System drei widersprüchliche Antworten. Wenn Wissen nur in Köpfen steckt, kann es nichts nachschlagen.
Zwei weitere Stolperfallen:
- Berechtigungen. Ohne Abbildung der Zugriffsrechte sieht am Ende jeder die Gehaltsliste. Das muss von Anfang an mitgedacht werden.
- Pflege. Ein RAG-System ist kein Projekt, sondern ein Zustand. Veraltete Dokumente drin lassen heißt veraltete Antworten – nur klingen sie überzeugend.
Vier Wege zum eigenen RAG-System
- Fertige Plattform. Dokumente hochladen, fertig. Schnell, aber die Daten liegen beim Anbieter.
- Mit n8n selbst bauen. Wenn ohnehin automatisiert wird, lässt sich RAG dort abbilden.
- Open Source selbst betreiben. Auf eigenem oder gemietetem Server – volle Datenkontrolle, dafür Einrichtungsaufwand.
- Von einer Agentur bauen lassen. Sinnvoll bei vielen Quellsystemen und feinen Berechtigungen.
Anbieter im Überblick
Angaben laut den Websites der Anbieter. Links und Preisangaben zuletzt geprüft: 07/2026. Die Reihenfolge ist keine Rangfolge. Kein Anbieter bezahlt für seinen Eintrag, und wir erhalten derzeit auch keine Vergütung für vermittelte Anfragen. Beides kann sich ändern – bezahlte Platzierungen kennzeichnen wir dann unmittelbar am Eintrag als „Anzeige“, eine Vermittlungsvergütung weisen wir an dieser Stelle aus. Wie wir uns finanzieren, steht auf Transparenz.
Verdacloud
Managed Service · Sitz Stadtbergen · Marke der Gnann Gruppe
Bietet unter dem Namen Secure Cloud RAG fertige Pakete an: Dokumente aus PDF, Word, Excel, PowerPoint, HTML, Markdown, CSV und Text werden indexiert, Confluence, SharePoint und Notion lassen sich anbinden. Neue und geänderte Dokumente werden je nach Paket in Echtzeit oder stündlich nachindexiert. Den Betrieb übernimmt der Anbieter samt Updates und Monitoring; bei Vertragsende werden nach eigener Angabe alle Daten gelöscht. Die Pakete unterscheiden sich in der Zahl der Dokumente, Nutzer und Datenquellen sowie in Zusatzfunktionen wie API-Zugang und Website-Chatbot. Verdacloud ist eine Marke der Gnann Verwaltung GmbH.
Datenhaltung: dedizierte Server in Deutschland · Preis: bei der Prüfung nicht ermittelt
Flowise
Open-Source-Projekt · Sitz Beaverton, Oregon · gehört zu Workday
Visueller Baukasten für RAG-Abläufe und KI-Agenten: Bausteine werden auf einer Oberfläche verbunden, jeder fertige Ablauf steht anschließend als Schnittstelle bereit. Läuft auf dem eigenen Server, per npm oder Docker; daneben gibt es einen gehosteten Dienst des Anbieters. Die Community-Edition steht unter Apache 2.0. Laut Lizenzdatei des Projekts sind die Bestandteile im Verzeichnis enterprise – darunter die Identitätsverwaltung mit Anmeldung per SSO und rollenbasierten Rechten – kommerziell lizenziert. Die Startseite weist darauf hin, dass Flowise zu Workday gehört.
Datenhaltung: im Selbstbetrieb auf eigener Infrastruktur, im gehosteten Dienst USA (Region US East 1) · Preis: Selbstbetrieb ohne Lizenzgebühr, gehosteter Dienst ab 35 $ im Monat
Groenewold IT Solutions
Agentur · Sitz Leer (Ostfriesland)
Agentur, die RAG-Systeme als Projekt umsetzt: Dokumente aus SharePoint, Confluence, Google Drive, OneDrive, Notion, internen Wikis und Datenbanken werden indexiert, gescannte Unterlagen per Texterkennung erschlossen. Antworten kommen mit Quellenangabe; Berechtigungen aus den Quellsystemen wie SharePoint und Active Directory werden nach Anbieterangabe übernommen, dazu Zugriffsprotokollierung, Verarbeitungsverzeichnis und Löschkonzept. Neue und geänderte Dateien werden per Webhook oder geplantem Abgleich nachindexiert. Für ein Basissystem nennt der Anbieter drei bis fünf Wochen Entwicklungszeit, bei mehreren Quellsystemen sechs bis zehn Wochen.
Datenhaltung: EU-Cloud, Private Cloud oder On-Premise beim Kunden · Preis: laut Anbieter erste Orientierung über einen Kostenrechner, verbindlich nach Abstimmung des Umfangs
innFactory
Produkt mit Einrichtung durch den Anbieter · Sitz Rosenheim · Grundlage Open Source
Das Produkt CompanyGPT wird nach Anbieterangabe automatisiert im Microsoft-Azure-Bereich des Kunden eingerichtet, alternativ auf der deutschen Cloud STACKIT; der Anbieter betreibt es ausdrücklich nicht als eigenen Dienst. Die Software steht auf Open-Source-Basis ohne Lizenzgebühr, Infrastruktur und Modellnutzung laufen direkt über das Cloud-Konto des Unternehmens. Anbindung an SharePoint samt Übernahme der dortigen Berechtigungen, Anmeldung über Microsoft Entra ID, Automatisierung über n8n und Erweiterung über das Model Context Protocol. Zur Einrichtung gehören nach Anbieterangabe KI-Richtlinien, Mitarbeiterschulung und eine Compliance-Beratung. Die RAG-Erweiterung companyRAG ist Bestandteil des Wartungsvertrags. Anbieter ist die innFactory AI Consulting GmbH aus Rosenheim.
Datenhaltung: in der Cloud des Kunden (Azure-Bereich, alternativ STACKIT) · Preis: 14.990 € einmalig für Einrichtung, Schulung und KI-Compliance, Wartungsvertrag optional 399 € im Monat, zzgl. USt.
KI-Beratung Deutschland
Beratung und Umsetzung · Sitz Düsseldorf
Baut Wissensassistenten und Unternehmens-GPTs mit kontrolliertem Zugriff auf freigegebene Dokumente. Der Einstieg läuft nach Anbieterangabe über einen kostenfreien Potenzialcheck, einen Daten- und Prozesscheck und ein Pilotprojekt von vier bis acht Wochen mit vorher festgelegten Kennzahlen. Als Betriebsmodelle nennt der Anbieter eine deutsche oder europäische Cloud, Private AI und On-Premise; zur Umsetzung gehören Auftragsverarbeitungsvertrag, Verarbeitungsverzeichnis und Dokumentation der technischen und organisatorischen Maßnahmen. Laufende Kosten für Hosting, Modelle, Lizenzen und Support weist der Anbieter getrennt aus. Anbieter ist die KBD KI-Beratung Deutschland UG (haftungsbeschränkt).
Datenhaltung: deutsche oder europäische Cloud, Private AI oder On-Premise beim Kunden · Preis: Potenzialcheck kostenfrei, Pilotprojekt ab 4.990 € netto
Häufige Fragen
Muss ich dafür ein eigenes Modell trainieren?
Nein – und das ist der Punkt. RAG kommt ohne Training aus. Genau deshalb ist es für die meisten Unternehmen der praktikable Weg: günstiger, schneller und jederzeit aktualisierbar.
Erfindet die KI dann nichts mehr?
Deutlich seltener, aber nicht nie. Deshalb gehören Quellenangaben dazu, damit sich jede Antwort nachprüfen lässt. Bei rechtlich heiklen Auskünften sollte immer ein Mensch drauf schauen.
Was kostet ein RAG-System?
Eine Pauschalzahl gibt es nicht. Die Kosten setzen sich in der Regel aus vier Blöcken zusammen: einmalige Einrichtung, laufende Kosten für Hosting oder einen gemieteten Server, nutzungsabhängige Kosten für das Sprachmodell und der Aufwand für die Pflege der Dokumente. Wie hoch die einzelnen Blöcke ausfallen, hängt vor allem von der Zahl der angebundenen Quellsysteme, der Dokumentenmenge und den Anforderungen an die Berechtigungen ab. Was ein Anbieter dazu selbst sagt, steht bei seinem Eintrag im Feld „Datenhaltung · Preis“.
Wie fange ich klein an?
Mit einem klar abgegrenzten Dokumentenbestand, der für alle sichtbar sein darf – etwa die Produktdokumentation oder eine FAQ-Sammlung. Damit umgehen Sie die Berechtigungsfrage im ersten Schritt und sehen schnell, ob die Antwortqualität überzeugt.
Passenden Anbieter anfragen
Sagen Sie uns kurz, welche Dokumente durchsucht werden sollen. Wir sehen uns Ihre Anfrage an und geben sie an die Anbieter aus dem Verzeichnis weiter, die fachlich dazu passen – es können sich also mehrere bei Ihnen melden. Kostenlos und unverbindlich.
Vielen Dank für deine Antwort. ✨
Wie wir mit Ihren Daten umgehen, steht in unserer Datenschutzerklärung.
Weitere Themen: Vektordatenbank · KI-Server mieten · ChatGPT für Unternehmen