Large Language Models (LLM):
KI-gestützte Automatisierung für deine Software

Large Language Models (LLMs) sind hochentwickelte KI-Systeme, die auf riesigen Mengen von Textdaten trainiert wurden. Sie sind dadurch in der Lage, menschliche Sprache nicht nur zu interpretieren und zu verarbeiten, sondern sie auch selbstständig zu generieren.

Was zunächst wie Magie oder ein eigenes Bewusstsein aussieht, funktioniert tatsächlich auf Basis von Statistik und Wahrscheinlichkeiten. Ein LLM zerlegt eine Textaufforderung (den sogenannten Prompt) in einzelne Token (kleine Bausteine aus Buchstaben und Wortteilen). Auf Basis seines Trainings berechnet das Modell dann, welcher Token mit der höchsten Wahrscheinlichkeit als Nächstes folgen muss. Das ist möglich, weil die Modelle mit so extrem vielen Daten trainiert wurden, dass sie sprachliche Muster und Zusammenhänge präzise erkennen. Vereinfacht gesagt: Die Mathematik dahinter sorgt dafür, dass aus einer riesigen Stichprobe (die bereits erwähnten Trainigsdaten des Modells) immer das statistisch passendste Ergebnis geliefert wird.

Das wohl bekannteste Beispiel ist ChatGPT von OpenAI, das die Technologie massentauglich gemacht hat. Mittlerweile gibt es jedoch zahlreiche weitere Modelle: von allgemeinen KI-Systemen für den breiten Einsatz bis hin zu spezialisierten KIs, die gezielt mit Fachdaten aus Bereichen wie Medizin, Recht oder Technik trainiert wurden.

Für Unternehmen bringt diese Entwicklung enorme Umbrüche mit sich. Es ist wichtig, auf diesen Wandel zu reagieren – gleichzeitig sollte man sich jedoch nicht von den vielen „leeren KI-Versprechen“ unseriöser Anbieter verleiten lassen, die im aktuellen Boom massiv auf den Markt drängen.

Selbst bei Suchmaschinen machen LLMs keinen Halt. Durch die Einführung von generativen Suchmaschinen und AI-Overviews sind viele Unternehmen, allen voran Unternehmen die Inhalte auf ihren Webseiten bereitstellen wie Medienhäuser, dabei direkt negativ betroffen.

Besonders wichtig ist das Verständnis, dass LLMs rein statistisch arbeiten. Das bedeutet, dass sie in vielen Fällen (zu 80 %, 90 % oder gar 99 %) verblüffend richtige Ergebnisse liefern. Doch genau hier liegt das Risiko: LLMs arbeiten niemals zu 100 % fehlerfrei. Sie können Fakten erfinden (das sogenannte „Halluzinieren“), was besonders in kritischen Unternehmensbereichen und Infrastrukturen eine sorgfältige Qualitätskontrolle durch den Menschen unerlässlich macht.

LLMs sind besonders wertvoll für Branchensoftware, die mit viel Text oder große Datenmengen arbeiten. Konkrete Anwendungsfälle nach Unternehmenstyp:

• Kanzleien und Beratungsunternehmen: Analyse von Verträgen, Zusammenfassung langer Dokumente, erste Entwürfe für Schreiben
• Handelsunternehmen: Automatische Produktbeschreibungen, Antworten auf häufige Kundenanfragen
• Kundendienstteams: Vorformulierte Antworten auf Basis von Tickets, intelligente Weiterleitung von Anfragen
• Marketing und Redaktion: Textentwürfe, Variationen für A/B-Tests, Übersetzungshilfen
• IT-Firmen: Agenten können schon einfache bis komplexe Code-Teile selbst erstellen und das in kürzester Zeit
• EPU: KI als persönlicher Assistent für Kommunikation, Dokumentenanalyse und Recherche

In Verbindung mit einem CRM lassen sich LLMs für automatische Zusammenfassungen von Kundengesprächen nutzen. Im Kontext eines ERP-Systems können sie Auswertungen in natürlicher Sprache abfragen, statt komplexe Filter setzen zu müssen. In einer individuellen Komplettlösung lassen sich LLMs tief in die internen Workflows integrieren.

Die Qualität der Modelle hat in den vergangenen Jahren einen Sprung gemacht, der die Technologie aus dem Labor in den Alltag gebracht hat. Gleichzeitig sind vollständig offene Modelle entstanden, die lokal betrieben werden können. Das hat weitreichende Konsequenzen:

• Datenschutzkonformer Einsatz ohne Übertragung sensibler Daten an externe Anbieter wird möglich
• Keine Tokenkosten und keine Abhängigkeit von der Verfügbarkeit eines externen Dienstes
• Modelle können auf unternehmensspezifische Daten und Sprache feinabgestimmt werden
• Unternehmen, die früh beginnen, verschaffen sich einen Produktivitätsvorteil, der mit der Zeit immer größer wird

LLMs sind kein Allzweckwerkzeug. Es gibt klare Grenzen, die vor dem Einsatz bedacht werden müssen:

• LLMs halluzinieren – sie erfinden mit großer Überzeugung Informationen, die schlicht falsch sind. Für faktenkritische Anwendungen ist das ein ernstes Risiko
• Als Ersatz für echte Fachkompetenz ungeeignet: Ein LLM kann einen Vertragsentwurf formulieren, ob dieser rechtssicher ist, kann nur ein Anwalt beurteilen
• Sensibler Datenschutz: Wer Kundendaten, Finanzinformationen oder interne Dokumente in ein öffentliches KI-System eingibt, riskiert eine Datenschutzverletzung und möglicherweise einen DSGVO-Verstoß
• Ohne klaren Einsatzbereich und ohne Qualitätskontrolle der Ausgaben entstehen mehr Probleme als Nutzen

Die Kostenstruktur bei LLMs ist je nach Betriebsmodell grundlegend verschieden. Was beim Vergleich zu beachten ist:

• LLM-API: Abrechnung nach Tokenmenge – bei intensiver Nutzung schnell dreistellige Monatsbeträge, ohne dass du die Kontrolle über die Kostensteigerung hast
• US-amerikanische Dienste unterliegen US-Recht und ihren eigenen Datenschutzbedingungen – Eingaben können zur Modellverbesserung genutzt werden
• Selbst gehostete Open-Source-Modelle: einmaliger Aufwand für Serverkapazität und Einrichtung, danach keine laufenden Tokenkosten sowie die volle Datenkontrolle
• Qualitätsniveau offener Modelle ist für viele Unternehmensanwendungen bereits vollständig ausreichend allerdings oft nicht DSGVO-konform

Large Language Models sind eine der bedeutendsten Technologien der vergangenen Jahre – und sie sind bereits heute für EPU und KMU nutzbar und relevant. Der Schlüssel liegt darin, sie dort einzusetzen, wo sie echten Mehrwert bringen, und dabei keine Abhängigkeit von großen KI-Konzernen aufzubauen.