Was gab den Ausschlag für die Entwicklung eines KI-basierten Anwendungsfalls?
Anfang 2023 erreichten uns mehrere Kundenanfragen für die Entwicklung von Chatbots, die häufig gestellte Fragen beantworten sollen. Wir dachten zunächst, dies sei mit bestehenden Lösungen einfach zu bewältigen. Doch es gab zwei wesentliche Herausforderungen:

• Entweder gelangten Lösungen schnell an ihre Grenzen. Die Antwort “Entschuldigung, das habe ich leider nicht verstanden”, hat bei Vielen schon einmal für Frustration gesorgt und dafür, dass potentielle Kunden dem Unternehmen den Rücken zukehren.
• Andererseits bieten moderne Large Language Modelle (LLMs) wie ChatGPT zwar flexible Antworten, liefern aber manchmal grob falsche Informationen. Für uns der Anlass unseren eigenen Digitalen Assistenten zu programmieren: BennoAI

BennoAI lässt sich mit Antworten auf häufig gestellte Fragen vorprogrammieren. Durch die Kombination eines mit Unternehmensdaten trainierten LLM und der Anbindung an bestehende Systeme ist er zudem in der Lage, korrekte Antworten auf neue Fragen zu liefern.

Welche Erwartungen bzw. Anforderungen hatten Sie an die KI-Anwendung?
Neben der Korrektheit und Flexibilität der Antworten waren für uns Datenschutz und Transparenz der Anwendung entscheidend. Ein guter Chatbot muss mit sensitiven Kunden- und Unternehmensdaten umgehen können. Wir garantieren, dass alle Daten in Deutschland verarbeitet werden und Benno bei Bedarf sogar on Premise bereitstellen. Unsere Tracking- und Analyse Komponenten sorgen für Transparenz in der Datenverarbeitung und ermöglichen die datengetriebene Weiterentwicklung individueller Features des digitalen Assistenten.

Auf welchen Partner waren Sie mit welcher Technologie bei der Entwicklung angewiesen?
Wir sind Silver Partner von IBM und verwenden Komponenten von IBM Watson, auf die auch Branchenführer wie SAP vertrauen. Diese machen unsere Softwarelösung  sicher und skalierbar, erlauben gleichzeitig aber flexible Integrationen und Erweiterungen. Das Herz von BennoAI ist ein mit Unternehmensdaten trainiertes Large Language Model (LLM). Bei diesen Modellen gibt es keine “one fits it all”-Lösung. Je nach Industrie und Anwendungsfall kann ein anderes Modell (Open Source oder nicht) gut passen. Wir behalten stets den Überblick über die aktuell verfügbaren Modelle und können dank unserer Kooperationen ganz unterschiedliche LLMs für Unternehmen testen und anpassen.

Mit dem Einsatz von KI-Lösungen muss auch ein Wandel der Kompetenzen einhergehen. Wie sind Sie mit dieser Herausforderung in Bezug auf Ihre Mitarbeitenden umgegangen?
Als Softwareentwickler sind wir es gewohnt, dass Arbeitsweisen schnell überholt sein können und die Technik sich rasant weiterentwickelt. Die Entwicklungen der KI haben im letzten Jahr richtig Fahrt aufgenommen. Uns hat das sehr gefreut, da wir bereits seit Jahren an KI-gestützten Produkten arbeiten und nun auf deutlich breiteres Interesse auf Kundenseite stoßen. Wir begegnen dem konstanten Wandel mit dynamischen und modularen Softwarestrukturen, die sich schnell anpassen lassen. So können wir einzelne Komponenten und Technologien bei Bedarf einfach aktualisieren oder austauschen. Das war uns auch bei der Entwicklung von BennoAI besonders wichtig. Wir arbeiten regelmäßig im Rahmen von Consultings mit ganz unterschiedlichen Unternehmen zusammen. Diese Consultings sind für uns die beste Motivation, branchenübergreifend auf dem neuesten Stand zu bleiben, zusätzlich zu unseren regulären internen Briefings, Weiterbildungen und Recherchen. Wir engagieren uns aktiv in Verbänden wie dem KI-Hub Karlsruhe oder dem Bitkom, um auf dem Laufenden zu bleiben und Entwicklungen mitzugestalten.

In welchem Zeitraum haben Sie die KI-Lösung in ihrem Unternehmen/im Kunden-Unternehmen implementiert?
Die Idee zu Benno entstand im April/Mai 2023. Den ersten Prototyp haben wir im Juni 2023 getestet. Seitdem entwickeln wir Benno konstant weiter, indem wir z. B neue Schnittstellen und Integrationen, wie eine Voice Funktionalität hinzufügen. Aktuell trainieren wir Benno besonders für den internen Einsatz und den Umgang mit großen Dokumentenmengen, beispielsweise für Anwaltskanzleien.

Ein Fazit zu Ihrer KI-Lösung:
Mit BennoAI haben wir einen digitalen Assistenten geschaffen, der individuell, flexibel und sicher ist. Jeder “Benno” ist genau auf das jeweilige Unternehmen angepasst und fügt sich in die bestehende IT Infrastruktur ein. Das unterscheidet unsere Lösung von bestehenden SaaS Produkten. Wir sehen Benno als Teil einer Gesamtstrategie für KI im Unternehmen. Ein digitaler Assistent, der die Kommunikation mit Kunden verbessert und Mitarbeitenden repetitive Arbeiten abnimmt.

Einen abschließenden Rat/Tipp an andere Unternehmer, die KI anwenden Wollen:
Wir begleiten viele Unternehmen auf ihrem Weg in die KI und haben festgestellt: Ein Überblick und das Abholen der Menschen ist zu Beginn das A und O. Dafür führen wir häufig Consultings und Seminare in Unternehmen durch. Dabei stellen wir manchmal fest, dass die Erwartungen an die KI im Team auseinandergehen. Hier gilt es zunächst, Verständnis und Konsens zu schaffen, was möglich ist. Der nächste Schritt kann dann die Implementierung eines klar definierten Anwendungsfalls und Festlegung eindeutiger Kennzahlen sein, um den Erfolg zu messen. Dabei sollten Unternehmen von Anfang an auf skalierbare Lösungen setzen, die sich mit der Zeit erweitern und in die bestehende Infrastruktur integrieren lassen.

https://sest.gmbh

Bild: Sest