Stellen Sie zuerst eine einzige Frage: Nennen Sie ein System, das Sie gebaut haben, das heute noch im Produktivbetrieb läuft, und die Kennzahl, die es bewegt hat. Eine Agentur, die bereits geliefert hat, antwortet in einem einzigen Satz – mit einem Kunden, einem Prozess und einer Zahl. Eine Agentur, die das nicht getan hat, weicht auf Modellvergleiche, Strategie-Frameworks oder Demovideos aus. Diese eine Frage filtert den Großteil des Marktes heraus, bevor Sie überhaupt zu den folgenden Details kommen.
Die 12 Fragen und wie eine gute Antwort klingt
1. Welchen einzelnen Prozess automatisieren Sie zuerst und welche Einsparung erwarten Sie? Gut: „Das Nachfassen von Angeboten. Sie versenden monatlich rund 60 Angebote und fassen manuell nach; wir rechnen damit, 6-8 Stunden pro Woche einzusparen und die Follow-up-Rate auf 100% zu heben.“ Schlecht: Eine Liste von sechs Workstreams, die parallel starten.
2. Wer besitzt danach den Code, die Prompts und die API-Konten? Die einzig akzeptable Antwort lautet: Sie, und die Konten laufen ab Tag eins auf Ihren Namen. Alles andere bedeutet, dass Sie die Zusammenarbeit nicht beenden können, ohne alles neu aufzubauen.
3. Welches Modell und welcher Anbieter, und was passiert, wenn die Preise steigen oder das Modell eingestellt wird? Sie möchten ein konkret benanntes Modell, eine Begründung für die Wahl und eine Abstraktionsschicht, sodass ein Wechsel eine reine Konfigurationsänderung und kein Neuanfang ist. Modelle werden in einem Zyklus von 6-18 Monaten veraltet. Fragen Sie, wer für diese Migration bezahlt.
4. Wohin fließen unsere Daten und werden sie zum Training genutzt? Enterprise-API-Tarife und Azure OpenAI trainieren nicht mit Ihren Daten; Endnutzertarife unter Umständen schon. Bei sensiblen Daten möchten Sie den Datenfluss im Vertrag dokumentiert haben, inklusive einer konkret genannten Region.
5. Funktioniert es innerhalb der Tools, die wir bereits nutzen, oder müssen wir auf Ihre Plattform wechseln? Wenn die Automatisierung ausschließlich im Konto der Agentur oder auf deren Plattform läuft, ist Ihr Prozess ab sofort Geisel Ihrer Lieferantenbeziehung.
6. Wie hoch sind die monatlichen Betriebskosten nach dem Launch, unabhängig von Ihrem Honorar? Eine reale Antwort ist eine Spanne mit Annahmen zum Nutzungsvolumen: „ungefähr EUR 60-120 pro Monat bei 1.000 Konversationen“. Gibt es keine Antwort, hat die Agentur Ihr Volumen nicht durchgerechnet.
7. Gibt es ein Pilotprojekt vor einer größeren Verpflichtung? Ein klar abgegrenzter Anwendungsfall, 2-4 Wochen, ein Festpreis und ein messbares Ergebnis. Jede Agentur, die ihrer eigenen Arbeit vertraut, lässt sich zuerst an einem überschaubaren Teilstück messen.
8. Was passiert, wenn die AI falsch liegt? Sie wollen drei Dinge hören: eine menschliche Kontrollinstanz (Human-in-the-Loop) bei folgenreichen Entscheidungen, Monitoring mit Warnmeldungen und einen dokumentierten Fallback-Prozess. „Unsere Genauigkeit liegt bei 95%“ ohne manuelle Prüfschleife bedeutet 5% unkontrolliertes Risiko.
9. Wer führt die Arbeit konkret aus? Fragen Sie nach den Namen und der Aufteilung zwischen der Person im Vertriebsgespräch und der Person, die den Code schreibt. Subunternehmer sind völlig in Ordnung; nicht offengelegte Subunternehmer nicht.
10. Wie sieht die Übergabe aus? Repository, Prompt-Bibliothek, Workflow-Exporte, eine Architekturdokumentation und 4-10 Stunden Schulung. Lassen Sie sich das im Angebot verbindlich auflisten, anstatt sich auf mündliche Versprechen zu verlassen.
11. Wie messen wir den Erfolg nach 90 Tagen? Ein oder zwei Kennzahlen, die vor Beginn der Entwicklung vereinbart werden: eingesparte Stunden pro Woche, Antwortzeit, Qualifizierungsrate, Kosten pro verarbeitetem Dokument. Wird die Metrik erst nach dem Launch erfunden, fällt sie verdächtig positiv aus.
12. Woran sind Sie schon einmal gescheitert? Jede Agentur mit echter Produktionserfahrung hat ein Projekt erlebt, das hinter den Erwartungen zurückblieb, und kann genau begründen, warum. Eine makellose Weste nach zwei Jahren AI-Entwicklung deutet auf sehr wenige reale Projekte hin.
Die 7 Warnsignale
- Ausschließlich Demos, keine Produktionsreferenzen. Eine glänzende Demo ist an einem Tag gebaut und beweist nichts über Wartung, Randfälle oder Schnittstellenintegration.
- Sie fangen mit dem Modell an, nicht mit Ihrem Prozess. Welches LLM genutzt wird, ist eine Zehn-Minuten-Entscheidung. Wofür Ihre Arbeitsstunden aufgewendet werden, ist das eigentliche Projekt.
- Eine Softwarelizenz, getarnt als Individualentwicklung. Monatliche Gebühr, keine Übergabe, kein Eigentum. Das ist ein Produkt-Abonnement. Es kann die richtige Wahl sein, sollte dann aber auch transparent als solche bepreist werden.
- Kein Pilotprojekt angeboten, sondern nur ein 6-Monats-Vertrag.
- Abrechnung nach Stunden für das erste Projekt ohne Kostendeckelung. Sie finanzieren damit die Lernkurve der Agentur bei unbegrenztem finanziellem Risiko.
- Keine Erwähnung des Datenschutzes, bis Sie es selbst ansprechen. Wer jemals AI-Lösungen für mittelständische Unternehmen gebaut hat, bringt GDPR ungefragt zur Sprache.
- Garantierte Prozentwerte. Aussagen wie „Wir senken Ihre Kosten um 40%“, bevor Ihre Prozesse analysiert wurden, sind reine Vertriebszahlen, keine seriösen Schätzungen.
Ein Bewertungsbogen für das Kennenlerngespräch
Bewerten Sie jedes Kriterium mit 0-2 Punkten und addieren Sie das Ergebnis. Bei weniger als 14 von 24 Punkten sollten Sie weitersuchen.
Bewerten Sie jedes Kriterium mit 0 für eine schwache Antwort, 1 für eine teilweise überzeugende Antwort und 2 für eine überzeugende Antwort.
- Produktionsreferenzen. 0: keine. 1: nur Demos. 2: konkret benannt, produktiv im Einsatz, mit messbarer Zahl.
- Eigentum an Code und Konten. 0: Agentur. 1: gemischt. 2: liegt bei Ihnen.
- Integration in Ihr bestehendes Toolset. 0: nein. 1: teilweise. 2: ja.
- Pilotprojekt angeboten. 0: nein. 1: vage. 2: fester Umfang und Festpreis.
- Transparenz bei den laufenden Betriebskosten. 0: keine Angabe. 1: grobe Schätzung. 2: anhand Ihres Volumens modelliert.
- Fehlerbehandlung und menschliche Prüfung. 0: nicht erwähnt. 1: erwähnt. 2: architektonisch integriert.
- Konkrete Erfolgsmetrik vereinbart. 0: keine. 1: weiche Faktoren. 2: klar vereinbart und messbar.
- Übergabe und Schulung im Angebot enthalten. 0: nein. 1: mündlich zugesagt. 2: schriftlich fixiert.
- Datenverarbeitung und GDPR. 0: ausgewichen. 1: auf Nachfrage. 2: vertraglich dokumentiert.
- Plan für Modellwechsel. 0: keiner. 1: „das sehen wir dann“. 2: Abstraktionsschicht vorhanden plus klare Kostenregelung.
- Benanntes Projektteam. 0: nein. 1: teilweise. 2: ja.
- Offener Umgang mit vergangenen Fehlern. 0: nein. 1: weicht aus. 2: spezifisch und reflektiert.
Agentur, Berater oder eine Festanstellung?
Ein Berater liefert eine Handlungsempfehlung; die Implementierung bleibt an Ihnen hängen. Ein festangestellter AI Engineer kostet EUR 55,000 oder mehr an Anfangsgehalt und benötigt 3-5 Monate, um produktiv zu werden – das rechnet sich nur bei einer dauerhaften Pipeline an AI-Projekten. Eine Agentur bringt das erste funktionierende System in 2-6 Wochen zu festen Projektkosten in den Produktivbetrieb. Die pragmatische Faustregel: Nutzen Sie eine Agentur, bis AI zu einer Vollzeitfunktion in Ihrem Unternehmen wird. Stellen Sie dann intern ein und behalten Sie die Agentur für Spezialbereiche, die Ihre Festanstellung nicht abdeckt.
Was Sie diese Woche tun sollten
Erstellen Sie eine Shortlist aus drei Agenturen. Senden Sie allen dreien dasselbe einseitige Briefing, das einen einzelnen Prozess beschreibt, und fordern Sie ein Festpreisangebot für ein Pilotprojekt an. Die Unterschiede in den Rückmeldungen – welche Fragen die Agenturen vorab stellen und wie konkret deren Zahlen sind – verraten Ihnen mehr als jede Verkaufspräsentation.