KI & Automatisierung

KI mit Unternehmensdaten: API, RAG und Datenschutz erklärt

KI mit Unternehmensdaten bedeutet, dass ein Sprachmodell auf Basis Ihrer eigenen Dokumente und Daten antwortet, die Ihre Software bei jeder Frage nachschlägt und über eine API mitsendet. Das Modell selbst kennt Ihr Unternehmen nicht: Es wurde mit allgemeinen Texten trainiert und weiß nichts über Ihre Kunden, Preise oder Abläufe. Die Technik, zuerst nachzuschlagen und dann antworten zu lassen, heißt RAG, Retrieval-Augmented Generation.

Auf einen Blick

Wie funktioniert KI mit Unternehmensdaten? Die kurze Antwort

Für eine brauchbare Antwort über Ihr Unternehmen sind zwei Arten von Wissen nötig. Modellwissen ist das, was das Sprachmodell während seines Trainings gelernt hat: Sprache, allgemeine Fakten, logisches Denken. Unternehmenswissen ist das, was nur in Ihren Systemen steht. Diese zweite Art steckt nicht im Modell, und sie muss dort auch nicht hinein.

Statt das Modell neu zu trainieren, geben Sie ihm die richtigen Informationen zum richtigen Zeitpunkt. Ihre Software sucht die Passagen heraus, die zur Frage gehören, sendet sie mit und bittet das Modell, sich ausschließlich darauf zu stützen. Ihre Dokumente bleiben, wo sie sind; nur was für diese eine Frage nötig ist, geht an das Modell.

Dadurch werden drei Dinge wichtiger als das Modell selbst: die Qualität Ihrer Dokumente, die Zugriffsrechte beim Nachschlagen und die Vereinbarungen mit dem Anbieter darüber, was mit den mitgesendeten Daten geschieht.

KI mit Unternehmensdaten – von der Frage und den eigenen Dokumenten bis zum Sprachmodell und zur Antwort

Vergleich

Modellwissen und Unternehmenswissen: Was ist der Unterschied?

Ein Sprachmodell klingt, als wüsste es alles. Doch was es sagt, stammt aus zwei klar unterschiedlichen Quellen.

Modellwissen und Unternehmenswissen im Vergleich
MerkmalModellwissenUnternehmenswissen
HerkunftDie Texte, mit denen das Modell trainiert wurdeIhre eigenen Dokumente, Datenbanken und Systeme
InhalteSprache, Allgemeinwissen, logisches DenkenProdukte, Preise, Kunden, Abläufe, Vereinbarungen
AktualitätReicht bis zu dem Zeitpunkt, an dem das Training endeteSo aktuell wie Ihre eigenen Quellen
AktualisierenErst mit einer neuen Version des ModellsSie passen das Dokument an, und die Antwort ändert sich mit
Quelle angebenNicht möglichDie Antwort kann auf das Quelldokument verweisen
ZugriffGleich für alle, die das Modell nutzenAbhängig davon, wer die Frage stellt

Erhält ein Modell eine Frage zu Ihrem Unternehmen, ohne dass es Unternehmenswissen mitbekommen hat, füllt es die Lücke mit etwas, das plausibel klingt. Eine solche erfundene Antwort heißt Halluzination. Die Lösung ist nicht ein klügeres Modell, sondern die richtige Information zur Frage.

Anbindung

Die API: wie Ihre Software mit dem Modell kommuniziert

Ihre Software kommuniziert mit einem Sprachmodell über eine API: Sie sendet eine Anfrage mit einer Anweisung und dem nötigen Text und erhält eine Antwort zurück. Alles, was das Modell für diese Antwort verwenden darf, steckt in dieser einen Anfrage.

Zwei Eigenschaften bestimmen, wie Sie mit Unternehmensdaten umgehen. Das Modell merkt sich selbst nichts zwischen zwei Aufrufen: Was Sie beim letzten Mal mitgesendet haben, ist weg. Und es gibt eine Grenze für die Textmenge pro Aufruf, Ihr gesamtes Archiv mitzusenden ist also nicht möglich. Mehr Text macht die Antwort außerdem nicht automatisch besser.

Daraus ergibt sich die Kernfrage dieses Themas: Welche Informationen senden Sie bei welcher Frage mit? Die Antwort darauf ist Retrieval, das Nachschlagen der richtigen Passagen. Wie eine solche Anbindung in bestehende Software passt, lesen Sie im Artikel KI-Integrationen: KI an bestehende Systeme anbinden.

Technik

Wie funktioniert RAG (Retrieval-Augmented Generation)?

RAG steht für Retrieval-Augmented Generation: zuerst nachschlagen (Retrieval), dann das Modell antworten lassen (Generation), mit dem gefundenen Text als Ergänzung (Augmented). In sechs Schritten:

01

Dokumente vorbereiten

Ihre Quellen werden in kleinere Abschnitte aufgeteilt, etwa einen Absatz oder ein Kapitel, damit später gezielt darin gesucht werden kann.

02

Indexieren

Für jeden Abschnitt wird ein Embedding berechnet: eine Zahlenreihe, die die Bedeutung des Textes wiedergibt. Diese Zahlenreihen werden in einem Index gespeichert, oft in einer Vektordatenbank.

03

Nachschlagen

Eine Frage wird auf dieselbe Weise umgewandelt und mit dem Index verglichen. Die Abschnitte, deren Bedeutung der Frage am nächsten kommt, landen oben, auch wenn sie andere Wörter verwenden. Oft wird das mit einer Suche nach Schlüsselwörtern kombiniert.

04

Ergänzen

Die gefundenen Abschnitte gehen zusammen mit der Frage und einer Anweisung an das Modell: Antworte nur auf Basis dieses Textes, und sag es, wenn die Antwort nicht darin steht.

05

Antworten

Das Modell formuliert eine Antwort aus den bereitgestellten Passagen. Es schlägt selbst nichts nach: Es liest, was der Suchschritt geliefert hat.

06

Auf die Quelle verweisen

Bei der Antwort steht, aus welchem Dokument sie stammt, damit ein Mitarbeiter sie nachlesen kann.

Quellen

Welche Dokumente und Daten eignen sich?

Eine Antwort aus RAG ist nie besser als die Quelle, aus der sie stammt. Was in Ihren Dokumenten falsch, veraltet oder widersprüchlich ist, landet genauso in der Antwort.

Gut geeignet

  • Handbücher, Verfahren und Arbeitsanweisungen
  • Produktinformationen und technische Datenblätter
  • Häufige Fragen mit geprüfter Antwort
  • Bedingungen und Richtlinien in ihrer aktuellen Fassung
  • Dokumente mit klarem Titel, Datum und Verantwortlichem

Zuerst in Ordnung bringen

  • Alte Versionen, die neben der aktuellen bestehen bleiben
  • Dokumente, die sich widersprechen
  • Scans und Bilder ohne lesbaren Text
  • Wissen, das nur in Köpfen oder Postfächern steckt
  • Dateien, bei denen niemand weiß, ob sie noch stimmen

Strukturierte Daten wie Bestellungen, Lagerbestand oder Kundendatensätze fragen Sie besser direkt in der Datenbank ab als über Textpassagen. Eine gute Lösung kombiniert oft beides: Passagen aus Dokumenten für Erklärungen, eine gezielte Abfrage für Zahlen und Status. Darf das Modell solche Abfragen selbst wählen und ausführen, spricht man von einem Agenten: siehe KI-Agenten für Unternehmen: 7 Prozesse, die Sie automatisieren können.

Vereinbarungen

Zugriffsrechte, Datenschutz und Sicherheit

Sobald ein Modell mit Unternehmensdaten arbeitet, geht es nicht mehr nur um die Qualität der Antwort, sondern auch darum, wer was zu sehen bekommt und wo die Daten landen.

  • Rechte beim Nachschlagen Der Suchschritt gibt nur Dokumente zurück, die die fragende Person selbst einsehen darf. Diese Prüfung erfolgt in Ihrer Software, bevor etwas an das Modell geht, und nicht durch das Modell.
  • So wenig wie möglich mitsenden Nur die Passagen, die die Frage erfordert, gehen mit. Was nicht nötig ist, etwa Namen oder Kontaktdaten, lassen Sie weg oder machen es unkenntlich.
  • Was Ihre Systeme verlässt Erfassen Sie, welche Daten an den Anbieter des Modells gehen und ob personenbezogene Daten oder vertrauliche Informationen darunter sind.
  • Wo die Daten verarbeitet werden Prüfen Sie, in welcher Region die Daten verarbeitet werden und wie lange der Anbieter sie speichert.
  • Nutzung für das Training Lesen Sie in den Bedingungen des Anbieters nach, ob mitgesendete Daten zum Training von Modellen verwendet werden und ob Sie das ausschließen können.
  • Schlüssel und Index Der API-Schlüssel bleibt auf dem Server. Auch der Index enthält Ihre Unternehmensinformationen und verdient denselben Schutz wie die Dokumente selbst.

Enthalten die Dokumente personenbezogene Daten, bildet die DSGVO den Rahmen, in dem Sie all das abwägen. Dies ist keine Rechtsberatung: Lassen Sie Ihre konkrete Situation von jemandem mit Kenntnissen im Datenschutzrecht prüfen.

Grenzen

Warum Sie Unternehmensdaten nicht einfach in ein Modell stecken

In einen öffentlichen Chatdienst einfügen

Wer einen Vertrag oder eine Kundenliste in einen öffentlichen Chatdienst einfügt, sendet diese Daten an einen externen Anbieter, ohne dass Ihr Unternehmen darüber Vereinbarungen getroffen hat. Legen Sie deshalb intern fest, welche Daten in welche Tools dürfen, und stellen Sie eine Alternative bereit, die unter Ihre eigenen Vereinbarungen fällt.

Ein Modell mit den eigenen Daten trainieren

Ein Modell nachzutrainieren, auch Fine-Tuning genannt, verändert vor allem seinen Stil oder sein Verhalten. Als Wissensspeicher eignet es sich weniger: Sie können eine Tatsache nicht gezielt daraus entfernen oder darin aktualisieren, das Modell kann nicht angeben, woher eine Antwort stammt, und es unterscheidet nicht danach, wer die Frage stellt. Für Wissen, das sich ändert oder nicht für alle bestimmt ist, ist das Nachschlagen zum Zeitpunkt der Frage der logischere Weg.

Menschliche Kontrolle bleibt nötig

Auch mit den richtigen Passagen kann ein Modell etwas falsch lesen oder zwei Quellen falsch kombinieren. Lassen Sie eine Person Antworten prüfen, freigeben oder korrigieren, wo ein Fehler Folgen hat, und zeigen Sie immer die Quelle. Wie ich Automatisierung und KI-Anbindungen für Unternehmen angehe, lesen Sie auf der Seite KI-Automatisierung.

FAQ

Häufige Fragen zu KI mit Unternehmensdaten

RAG ist eine Open-Book-Prüfung für ein Sprachmodell. Statt aus dem Gedächtnis zu antworten, erhält das Modell bei jeder Frage die passenden Passagen aus Ihren eigenen Dokumenten und formuliert daraus eine Antwort. Die Abkürzung steht für Retrieval-Augmented Generation.

Für Wissen meistens nicht. Das Nachschlagen zum Zeitpunkt der Frage hält Ihre Informationen aktuell, respektiert Zugriffsrechte und ermöglicht es, die Quelle anzuzeigen. Nachtrainieren eignet sich eher für einen festen Stil oder eine sehr spezifische Aufgabe.

Höchstens das, was zum Zeitpunkt des Trainings öffentlich darüber zu lesen war, und auch das ist unvollständig und nicht aktuell. Interne Dokumente, Preise, Kunden und Vereinbarungen kennt es nicht, es sei denn, Sie senden sie mit der Frage mit.

Ja. RAG verringert die Wahrscheinlichkeit, dass das Modell etwas erfindet, weil die Antwort auf bereitgestelltem Text beruht, schließt Fehler aber nicht aus. Der Suchschritt kann die falsche Passage finden, oder das Modell kann eine Passage falsch lesen. Eine Quellenangabe und ein Mensch, der dort gegenliest, wo es darauf ankommt, bleiben nötig.

Das hängt vom Aufbau ab. Entscheidend sind die Zugriffsrechte beim Nachschlagen, der Ort, an dem Index und Dokumente liegen, und die Bedingungen des Modellanbieters. Für sehr sensible Daten kann ein Modell auf eigener Infrastruktur eine Option sein.

Nicht immer. Für eine überschaubare Menge an Dokumenten kann eine normale Suchfunktion oder eine Erweiterung Ihrer bestehenden Datenbank ausreichen. Eine separate Vektordatenbank wird bei großen Textmengen sinnvoll oder wenn die Suche nach Bedeutung deutlich bessere Ergebnisse liefert.

Die Technik ist nicht großen Unternehmen vorbehalten. Was den Aufwand bestimmt, sind der Zustand Ihrer Dokumente, die Zahl der Quellen und die Anforderungen an den Zugriff. Ein klar abgegrenzter Start, etwa ein Satz Handbücher für ein Team, hält es überschaubar. Für Individualentwicklungen gilt Preis auf Anfrage.

Mehr zu diesem Thema

Weiterlesen

Die passende Dienstleistung

KI-Automatisierung als Leistung

Möchten Sie ein Sprachmodell mit Ihren eigenen Dokumenten oder Systemen arbeiten lassen? Auf der Leistungsseite erfahren Sie, wie ich Automatisierung und KI-Anbindungen angehe, mit Blick auf Daten, Rechte und Kontrolle.

Dries Nijs, Organic Web Specialist und Autor dieses Artikels

Über den Autor

Dries Nijs, Organic Web Specialist

Ich bin Dries Nijs, Entwickler aus Maasmechelen. Seit den 90er-Jahren entwickle ich für das Web: Webanwendungen mit React, Next.js und Node.js sowie Websites mit WordPress. In meinen eigenen Plattformen wie BM Jumpfun, Pelletkachelzorg und SEO Websites nutze ich KI über APIs. MadeByDries ist die persönliche Marke, unter der ich arbeite.

KI mit Ihren eigenen Daten arbeiten lassen?

Erzählen Sie mir, welche Fragen das System beantworten soll und wo die Informationen heute liegen. Dann prüfe ich mit Ihnen, was machbar und verantwortbar ist.

Ihr Projekt besprechen

Erzählen Sie mir, was Sie entwickeln oder verbessern möchten

Sie brauchen noch kein technisches Briefing. Erzählen Sie mir, wo Sie gerade stehen und was Sie erreichen möchten. Gemeinsam finden wir den passenden Ansatz.

Wählen Sie mindestens ein Thema aus. Mehrfachauswahl ist möglich.

Ich verwende Ihre Daten ausschließlich, um Ihre Anfrage zu beantworten.

Lieber direkt eine E-Mail schreiben?

Standort
Maasmechelen, Belgien