KI-Agenten im Unternehmen: Wo du wirklich anfängst (und warum 90 % scheitern)

Grzegorz Olszowka•15. April 2026•10 Min. Lesezeit

KI-AgentenOpenAIAzureOllamaDSGVOMittelstandEinsteiger-Guide

Pillar-Guide für den ehrlichen Einstieg in KI-Agenten: die drei Wege (OpenAI, Azure, lokal), wann welcher passt, und die fünf Fallen, in die fast alle tappen.

KI-Agenten im Unternehmen: Wo du wirklich anfängst (und warum 90 % scheitern)

Von Grzegorz Olszowka • 15. April 2026
#KI-Agenten #OpenAI #Azure #Ollama #DSGVO #Mittelstand

Vor drei Wochen saß ich mit dem Geschäftsführer eines Berliner Handwerksbetriebs zusammen. Er hatte ein Wochenende lang LinkedIn-Posts über KI-Agenten gelesen. "Ich will das auch", sagte er. "Wo klicke ich?"

Diese Frage ist der Grund, warum die meisten KI-Agenten-Projekte im Mittelstand scheitern. Nicht weil die Technologie nicht funktioniert. Sondern weil sie zu früh gestellt wird.

Wenn du diesen Artikel zu Ende liest, weißt du drei Dinge: was ein KI-Agent ist, welchen Weg du gehen solltest, und ob du überhaupt so weit bist. Spoiler: Die meisten sind es nicht. Das ist keine schlechte Nachricht, sondern eine ehrliche.

Die falsche Frage

Gartner prognostiziert für Ende 2026 durchschnittlich 12 KI-Agenten pro Unternehmen. Das ist die Zahl, die in jedem zweiten Vorstandsmeeting landet. Die Zahl, die Projekte startet. Die Zahl, die uns zu Anrufen führt.

Was wir sehen, ist anders: Drei von vier unbegleiteten Pilotprojekten landen nach 90 Tagen im Sande. Nicht wegen der Technik. Wegen der Frage, die am Anfang falsch gestellt wurde.

Die übliche Frage lautet: Welches Tool soll ich nehmen?

Die richtige Frage lautet: Welchen Prozess habe ich so gut verstanden, dass ich ihn jemand anderem übergeben kann – egal ob Mensch oder Maschine?

Wer die zweite Frage nicht beantworten kann, sollte noch keinen Agenten bauen. Egal wie überzeugend die Demo aussieht. Wer die falsche Frage zuerst beantwortet, hat die teuerste Antwort.

Was ein KI-Agent wirklich ist

Der Begriff "KI-Agent" ist 2026 so aufgeladen, dass er fast nichts mehr bedeutet. Marketing-Abteilungen nennen jeden Chatbot einen Agenten. Das ist falsch.

Ein Agent hat ein Ziel, nicht nur eine Antwort. Ein Chatbot antwortet auf eine Frage; ein Agent arbeitet auf ein Ergebnis hin ("beantworte die Kundenanfrage so, dass sie entweder geklärt ist oder qualifiziert an Vertrieb übergeben wird").

Ein Agent wählt seine Werkzeuge selbst. Er ruft die Datenbank auf, schreibt Mails, liest Dateien, eskaliert zu Menschen. Das ist der technische Unterschied – und der schwierige Teil.

Und ein Agent plant über mehrere Schritte. "Erst schaue ich im CRM nach, dann prüfe ich die Rechnung, dann antworte ich." Wenn der erste Schritt fehlschlägt, überlegt er sich einen zweiten.

Was das in der Praxis bedeutet: Ein Chatbot beantwortet "Wann habt ihr geöffnet?". Ein Agent liest eine eingehende Angebotsanfrage, prüft im CRM ob der Anfrager Bestandskunde ist, schaut in deiner Kalkulations-Tabelle nach welche Leistungen du anbietest, schreibt einen ersten Entwurf, und legt ihn zur Freigabe in deinen Posteingang.

Der erste braucht eine halbe Stunde Setup. Der zweite braucht zwei Wochen – und danach ersetzt er eine halbe Stelle.

Bevor du anfängst: die ehrlichen Voraussetzungen

Bevor wir über Tools reden, drei Realitätschecks. Wenn du hier bei einem Punkt passen musst, ist das keine Niederlage. Es ist der Grund, warum 90 % scheitern: sie fangen an, obwohl einer dieser drei Punkte nicht stimmt.

Dieses Thema vertiefen? 32 KI-Rezepte mit Kostenrahmen als kostenloses PDF.

PDF holen

1. Der Prozess ist dokumentiert.

Wenn du nicht in zwei Sätzen aufschreiben kannst, was der Agent tun soll, kann auch ein Mensch es nicht. Und wenn kein Mensch es kann, kann eine KI es erst recht nicht. Mach den Test: Schreib auf einer halben A4-Seite auf, was passieren soll – Eingabe, Zwischenschritte, Ergebnis. Wenn du stockst, ist der Agent das falsche Werkzeug. Du brauchst erst Prozess-Klarheit.

2. Die Daten sind erreichbar.

Der Agent braucht Zugriff auf das, was der Mensch heute manuell aufruft – CRM, E-Mail, Tabellenkalkulation, Buchhaltung. Wenn deine Kundendaten in einer Access-Datei von 2014 liegen, ist der Agent arbeitslos. Prüfe vor dem Projekt, ob die Systeme APIs haben oder zumindest automatisierbare Exporte.

3. Die DSGVO-Position ist geklärt.

Wenn der Agent mit personenbezogenen Daten arbeitet – und das tut er fast immer – brauchst du eine Rechtsgrundlage, einen Auftragsverarbeitungsvertrag mit dem LLM-Anbieter und eine Datenschutzfolgenabschätzung. Das entscheidet, welchen der drei technischen Wege du wählen kannst. Nicht jeder Weg ist für jeden Datentyp legal.

Wer diese drei Punkte abhaken kann, ist bereit. Wer nicht, sollte erst hier investieren. Das ist langweilig, aber es ist der Unterschied zwischen einem Agenten, der läuft, und einem Projekt, das nach sechs Wochen im Sande verläuft.

Die drei Wege – und wie du den richtigen findest

Wer "KI-Agent" googelt, landet sofort bei OpenAI. Das ist verständlich. Es ist auch in der Hälfte der Fälle die falsche Antwort.

Es gibt 2026 drei Wege, einen Agenten im Unternehmen zu betreiben. Sie unterscheiden sich nicht in der Intelligenz – die Modelle sind oft dieselben – sondern in wo deine Daten verarbeitet werden und wie schnell du starten kannst.

Weg	Setup-Zeit	Wo liegen Daten	Kosten/Monat	Gut für
OpenAI direkt	30 Min	USA, AVV möglich	ab 20 €	Pilot, öffentliche Daten
Azure OpenAI	3–10 Tage	EU, AVV standard	ab 50 €	Produktivbetrieb mit Kundendaten
Ollama / lokal	1–3 Wochen	Deine Hardware	Einmalig 2–5 k€ HW	Sensible Daten, Vollkontrolle

Weg A: OpenAI direkt

Du gehst auf platform.openai.com, legst ein Business-Account an, generierst einen API-Key, hinterlegst eine Kreditkarte. Du bist in 30 Minuten startklar.

Der Haken: Die Server stehen in den USA. Du kannst einen Auftragsverarbeitungsvertrag abschließen (OpenAI bietet ihn für Business-, Team- und API-Kunden an), und die Daten werden nicht für Modelltraining verwendet. Aber ein DSGVO-Auditor wird dich fragen, warum du nicht die europäische Variante genommen hast. Für öffentlich zugängliche Daten, Prototypen, interne Experimente ist das trotzdem der schnellste Weg.

Wann nehmen wir bei kiba OpenAI direkt? Für Proof-of-Concepts, die in zwei Wochen entscheiden, ob ein Use Case überhaupt funktioniert. Wenn er funktioniert, ziehen wir auf Azure um.

Weg B: Azure OpenAI

Microsoft betreibt dieselben OpenAI-Modelle in seinen europäischen Rechenzentren, inklusive Sweden Central mit aktivierter EU Data Boundary. Gleiche API, gleiche Modelle (GPT-4o, GPT-4 Turbo, o1), gleiche Kosten – aber DSGVO-konforme Infrastruktur out of the box.

Der Haken: Der Einstieg ist bürokratisch. Du brauchst ein Azure-Konto, dann musst du Azure OpenAI freischalten lassen (Microsoft prüft das), dann ein Deployment konfigurieren, dann Endpoints und Keys einrichten. Das dauert 3–10 Tage, abhängig davon, wie schnell Microsoft antwortet.

Für Produktivsysteme, die mit Kundendaten arbeiten, ist das der Default-Weg. Punkt.

Weg C: Ollama oder andere lokale LLMs

Du installierst Ollama auf einem Server mit GPU, lädst ein Modell wie Llama 3.3 oder Mistral Large runter, und lässt den Agenten auf deiner eigenen Hardware laufen. Keine externen Server, keine API-Kosten, keine Daten verlassen dein Netzwerk.

Der Haken: Die lokalen Modelle sind 2026 nicht mehr weit hinter den Cloud-Modellen – aber sie sind hinter ihnen. Für komplexe Agenten-Aufgaben reicht die Qualität oft. Für Edge-Cases reicht sie manchmal nicht. Und du brauchst Hardware: Mindestens eine RTX 4090 für mittlere Modelle, mindestens einen Server mit 80+ GB VRAM für die großen. Das sind einmalig 2.000–10.000 Euro Investition, dafür keine laufenden Kosten.

Bei uns ist das der Weg für Mandanten mit Anwaltskanzleien, Arztpraxen, Buchhaltungen – überall, wo sensible Daten in Prinzip nie einen fremden Server sehen dürfen.

Und genau das klärst du mit drei Fragen

Frage 1: Verarbeitet der Agent Daten, die du per E-Mail nicht an einen US-Anbieter schicken würdest? Wenn ja: Azure oder lokal. Wenn nein: OpenAI reicht für den Piloten.

Frage 2: Ist das Thema so sensibel, dass du auch EU-Server ablehnen würdest? Wenn ja: lokal. Wenn nein: Azure.

Frage 3: Kannst du einen Einmalbetrag von 2 bis 5 Tausend Euro für Hardware tragen? Wenn nein: Azure, auch für sensible Daten. Die laufenden Kosten bei geringem Volumen sind niedriger als die HW-Amortisation.

Mehr Fragen brauchst du für die erste Entscheidung nicht. Die Details – welches konkrete Modell, welches Deployment, welche Konfiguration – kommen in den nachfolgenden Artikeln dieser Serie.

Der erste Agent – konkret

Angenommen, du hast einen Weg gewählt. Azure OpenAI, sagen wir. Was baust du als erstes?

Unsere Empfehlung für den ersten Agenten hat vier Eigenschaften: Der Use Case ist klein, der Mensch bleibt im Loop, der Fehler ist reparierbar, und der Nutzen ist messbar.

Ein typischer Einstieg – und der, den wir bei Fortuna Elektro als Kickoff nutzen – ist die Vorqualifikation eingehender Anfragen:

Trigger: Neue Anfrage im Kontaktformular.

Agent-Aufgabe:

Lies die Anfrage.
Kategorisiere: Angebotsanfrage / Support / Spam / Sonstiges.
Bei Angebotsanfrage: Prüfe im CRM, ob der Absender Bestandskunde ist.
Extrahiere: Leistungsart, Umfang, Zeitrahmen.
Schreibe einen Entwurf der Antwort – höflich, in Firmen-Tonalität, mit Rückfrage bei Unklarheiten.
Lege den Entwurf in den Outlook-Entwürfe-Ordner des zuständigen Sachbearbeiters.

Menschlicher Schritt: Sachbearbeiter prüft, korrigiert, versendet.

Warum dieser Use Case? Er hat alle vier Eigenschaften. Klein: eine Funktion, nicht zehn. Mensch im Loop: nichts geht ohne Freigabe raus. Fehler reparierbar: schlechter Entwurf → Sachbearbeiter merkt es sofort. Nutzen messbar: Zeit pro Angebotsvorbereitung, vorher vs. nachher.

Technisch: Der Agent läuft in n8n – einem Open-Source-Workflow-Tool, das du entweder bei uns hosten lässt oder auf einem 15-Euro-Hetzner-Server selbst betreibst. Der OpenAI-Node in n8n macht den LLM-Call. Die CRM-Verbindung ist in 20 Minuten eingerichtet.

Wir schreiben einen eigenen Artikel zu diesem Setup – verlinken wir hier, sobald er steht.

Die fünf Fallen, in die fast alle tappen

Aus sechs Monaten Pilotprojekten, die wir gesehen oder begleitet haben:

Falle 1: Der Agent ohne Grenzen

Teams bauen einen "Agenten, der alles kann". Ergebnis: Er kann nichts davon gut. Bau einen Agenten pro klar abgegrenztem Prozess – lieber fünf spezialisierte als einen universellen.

Falle 2: Kein Mensch im Loop

Aus Effizienzgründen wird die Freigabe weggelassen. Beim ersten halluzinierten Angebot an einen Großkunden ist das Projekt tot. Freigabe ist keine Schwäche, sondern Versicherung.

Falle 3: Kein Messpunkt

"Der Agent wird Zeit sparen." Wie viel? Verglichen womit? Ohne Baseline-Messung vorher ist jede Erfolgsdiskussion Bauchgefühl. Zähle eine Woche lang manuell: Anzahl, Dauer, Qualität.

Falle 4: Das falsche Modell

Teams nehmen das größte Modell, "weil KI". Das kleinere ist oft schneller, billiger und präziser für den spezifischen Task. Teste zwei Modelle gegen dieselben Testfälle, bevor du dich festlegst.

Falle 5: Das Datenschutz-Déjà-vu

Niemand hat den Datenschutzbeauftragten oder die Geschäftsführung eingebunden. Vier Wochen nach Go-Live kommt die Mail, das Ding sei nicht freigegeben. Alles zurück auf Anfang. Kläre die Freigabe bevor du den ersten Prompt schreibst.

Dein erster Schritt – heute noch

Nicht das Tool installieren. Nicht den API-Key besorgen. Nicht die GPU bestellen.

Nimm stattdessen 30 Minuten, ein leeres Blatt Papier und einen Prozess, der dich oder deine Mitarbeiter täglich stresst. Schreibe auf, was heute passiert – als Ablaufbeschreibung in zehn Schritten. Unterstreiche die Schritte, die genau gleich ablaufen (gleiche Art Anfrage, gleiche Art Antwort). Das sind deine Agenten-Kandidaten.

Wenn auf deinem Blatt zwei oder mehr solche Schritte stehen, hast du einen sinnvollen Einstieg. Wenn nicht, ist der Prozess entweder schon optimiert oder zu variabel – in beiden Fällen ist ein Agent das falsche Werkzeug.

Erst danach kommt die Frage: OpenAI, Azure oder Ollama? Das entscheidest du mit den drei Fragen aus der Matrix weiter oben.

Wenn das komplex wird

Die Entscheidungsmatrix oben ist das 80/20-Raster. Für die 20 %, in denen es doch verwickelt wird – hybride Setups, branchenspezifische DSGVO-Fragen, Integration mit Altsystemen – begleiten wir KMU im Rahmen von BAFA-förderfähigen KI-Beratungen.

Die Beratung klärt, welcher Weg für deinen konkreten Fall der richtige ist, bevor du investierst. Kein Tool-Verkauf, kein SaaS-Abo. Kontakt: info@kiba.berlin.

Was als nächstes kommt

Dieser Artikel ist der Überblick. In den nächsten Wochen veröffentlichen wir die Detail-Guides – je einer pro Weg:

OpenAI-API für Firmen: Konto, AVV, API-Key in 30 Minuten. Inklusive der zwei Einstellungen, die die meisten vergessen und dann wundern, warum die DSGVO-Prüfung durchfällt.
Azure OpenAI in Deutschland: Der DSGVO-saubere Default. Der Freischaltungs-Request, das EU-Deployment, die ersten 100 Requests.
Ollama auf eigener Hardware: Wenn die Daten nie das Haus verlassen dürfen. Von der Hardware-Auswahl bis zum ersten Agenten, der im Netz läuft.
Dein erster n8n-Agent in 30 Minuten. Der Template-Agent, der Anfragen qualifiziert – mit Screenshots, Code-Snippets und einer funktionierenden Vorlage.

Welchen du zuerst liest, entscheiden die drei Matrix-Fragen. Die richtige Reihenfolge spart dir Wochen.