Leistungsmessung deines digitalen Assistenten und Chatbot KPIs

Leistungsmessung deines digitalen Assistenten und Chatbot KPIs
Inhaltsverzeichnis
Autor:innen
Johanna Scarongella
Werkstudentin Online Marketing
Veröffentlicht am
7.6.2022
ChatGPT im Einsatz in Unternehmen
Was ist ChatGPT?
GPT-3 vs. GPT-4
Einsatz von ChatGPT im Unternehmen
Deutsche Alternativen

In diesem Artikel möchten wir einige Chatbot KPIs präsentieren, mit denen du messen kannst, wie leistungsstark dein Chatbot tatsächlich ist. Für traditionelle Services wie Telefon und E-Mail ist die Performance-Messung bereits ein Standard. Mit der Häufung von KI-basierte-Tools ist die Performance-Messung von z. B. Chatbots auch essenziell geworden.

In den nächsten Zeilen erfährst du, welche Chatbot KPIs zu beachten sind.

Zuallererst solltest du wissen, dass Chatbot KPIs in Kategorien unterteilt werden können. Fangen wir nun mit den Allgemeinen an. Dann geht es weiter mit Engagement und Umsatzerlöse.

Allgemeine Chatbot KPIs

1. Anzahl der Nutzer:innen

Es scheint eine offensichtliche Kennzahl zu sein, aber in ihrer Offensichtlichkeit ist sie bedeutungsvoll. Das zeigt dir, wie beliebt dein Chatbot bei den User:innen deiner Webseite ist.

2. Zufriedenheit der Nutzer:innen

Diese Chatbot KPI zeigt dir, wie die Nutzer:innen deinen Chatbot finden. Nützlich? Hilfreich? Einnehmend? Das erfährst du am besten mit Feedback-Buttons oder Umfragen am Ende der Konversation. Aber pass auf! Du solltest deine Kund:innen damit nicht überfordern, also, bevor du solche Buttons oder eine Umfrage einfügst, prüfe, wann der richtige Moment dafür ist und welche Trigger eine Bewertung auslösen sollen.

3. Zielerfüllungsgrad des Chatbots

Falls du dich für einen KI- oder NLP-powered Chatbot entschieden hast, dann solltest du auch seinen Zielerfüllungsgrad messen. Hier kommt die Fallback-Rate ins Spiel, d. h. wie oft dein Chatbot nicht in der Lage war, die Anfrage zu bearbeiten. Dadurch wird wiederum noch eine Variable erstellt: die Human Handover Rate. Darüber reden wir gleich.

In anderen Worten: Mit dieser Chatbot KPI bestimmst du die Erfolgsrate der vom Chatbot durchgeführten Aktionen.

Diese Chatbot KPI ist leicht zu benutzen und erfordert nur grundlegende mathematische Kenntnisse. Von der Gesamtzahl der Nachrichten subtrahierst du die Fehlnachrichten. Danach teilst du die Zahl, die dir übrig geblieben ist, durch die Gesamtzahl der Nachrichten, und das Ergebnis multiplizierst du mit 100. Daraus ergeben sich zwei Parameter: Wie oft dein Chatbot erfolgreich und wie oft er erfolglos war.

Klingt schwer? Ist es aber nicht!

Vorausgesetzt, dass dein Chatbot diesen Monat 1600 Nachrichten erhalten hat, und dass 125 davon Fallback-Nachrichten waren, nimmst du die folgende Berechnung vor:

  • 1600 – 125 = 1475
  • 1475 : 1600 = 0,92
  • 0,92 × 100 = 92

Das war’s! Dein Chatbot hat 92 % der Anfragen korrekt und 8 % falsch beantwortet.

Dieser Prozentsatz kann wiederum weiter analysiert werden: In welchen Fällen kam es zu Human Handover? D. h. wie oft mussten Mitarbeiter:innen das Gespräch übernehmen? Wenn diese Rate zu hoch ist, heißt es, dass dein Chatbot nicht genug trainiert wurde – da ihm möglicherweise viele Infos fehlen und er dementsprechend seine Funktion nicht erfüllt. Das Thema Human Handover haben wir schon mal besprochen. Wenn du Interesse hast, klicke einfach hier.

Engagement Chatbot KPIs

Die Messung von Potenzial und Wirkungsgrad deines Chatbots stellt ein ausschlaggebendes Kriterium dar. Hier beschäftigst du dich mit dem letzten Glied in der Kette: den Kund:innen. Jedoch hängt vieles vom Engagement ab. Schauen wir uns nun mal an, welche Chatbot KPIs daran mitwirken.

4. Anzahl der aktiven Nutzer:innen

Diese Messung zeigt dir, wie viele Nutzer:innen eine Nachricht in einer gewissen Zeitspanne gesendet haben. Dafür benötigst du die Gesamtzahl der Besucher:innen deiner Webseite. Mit dieser Anzahl, und den darunter aktiven, hast du eine klare Vorstellung von der Interaktion mit deinem Chatbot.

5. Neue Nutzer:innen

Wie viele neue Nutzer:innen interagieren mit deinem Chatbot? Diese KPI leistet wiederum ihren Beitrag, deine Marketingperformance zu messen und weist erneut daraufhin, was deine Kund:innen bevorzugen.

6. Retention Rate

Diese KPI zeigt dir, wie viele Nutzer:innen zurück zu deiner Webseite kommen, um wieder bzw. abermals mit deinem Chatbot zu chatten. Das heißt, dass sie den Chatbot einnehmend und nützlich gefunden haben.

7. Konversationsdauer

Durch die Messung der Konversationsdauer kannst du verstehen, was die durchschnittliche Interaktionsdauer zwischen deinem Chatbot und deinen Kund:innen ist. Diese Metrik zeigt dir die Gesamtdauer aller Gespräche in Sekunden während eines bestimmten Zeitrahmens, geteilt durch die Gesamtzahl der Gespräche während desselben Zeitrahmens. Diese Messung findet am Ende des Gesprächs statt und zählt die Zeit, die vom Beginn bis zum Ende des Gesprächs verstrichen ist. Umformuliert: von der ersten bis zur letzten Nachricht. Jedoch solltest du dich nicht täuschen lassen: Diese Chatbot KPI bzw. diese Messung hier ist ein ziemlich oberflächlicher Parameter und allein kein guter. Tatsächlich sollte sie in Zusammenhang mit vielen anderen verwendet werden. Dies, da die Gesamtdauer der Gespräche deines Chatbots nicht mit seinem Zielerfüllungsgrad Hand in Hand geht. Kurze Konversationen sind nicht unbedingt erfolglos gewesen: Es mag sein, dass User:innen die Infos, die sie benötigten, rasch gefunden haben. In diesem Fall ist es etwas Gutes.

8. Bounce Rate

Die Bounce Rate ist eine sehr nützliche Chatbot KPI, um die Anzahl der Nutzersitzungen zu messen, die nicht zu einer echten Konsultation des Chatbots führen. Es handelt sich also um die Anzahl der Sitzungen, in denen der Bot geöffnet, aber nicht benutzt wurde. Eine hohe Bounce Rate ist oft auf eine unzureichende Aktualisierung der Inhalte zurückzuführen, oder weist auf eine falsche Positionierung in der Customer Journey hin.

9. Flow Completion Rate

Die Flow Completion Rate zeigt den Prozentsatz der User:innen, die den Conversation Flow in Gang gesetzt haben und alle Schritte abgeschlossen haben – bis zum Erhalt der letzten Nachricht. Diese Chatbot KPI kann berechnet werden, indem man die abgeschlossenen Vorgänge durch die Anzahl der Vorgangsinitialisierungen dividiert. Ferner kann man an dieser Stelle sehen, wo die User:innen Interesse verlieren und von daher, wo der Chatbot verbessert werden muss.

Umsatzerlöse Chatbot KPIs

10. Generierte Umsatzerlöse

Wenn das Hauptziel deines Chatbots der Verkauf von bestimmten Produkten ist, kann er deinem Unternehmen Einnahmen verschaffen. Mit dieser Chatbot KPI kann man messen, wie viel Umsatz der Chatbot gebracht hat. Der Chatbot kann schon beim Chatten Verkäufe tätigen (was ziemlich oft der Fall bei E-Commerce-Chatbots ist) oder die Nutzer:innen an Mitarbeiter:innen weiterleiten, die die Geschäfte abschließen. In beiden Fällen hat der Chatbot geholfen, Umsatz zu generieren.

11. Kapitalrendite Rate

Diese Kennzahl erfasst den monetären Wert des Bots (z. B. Zeit gespart von Kund:innen und Supportmitarbeiter:innen, oder durch den Chatbot gewonnene Kund:innen). Damit erfährst du auch, wie effizient der Chatbot ist und ob du in eine zukünftige Optimierung investieren solltest.

Chatbot KPIs – Fazit

In diesem Artikel haben wir einige Indikatoren gelistet, mit denen man die Performance bzw. den Erfolg des Chatbots messen kann. Wir haben gesehen, dass man sie in drei Kategorien unterteilen kann: Allgemeine, Engagement und Umsatzerlöse Chatbot KPIs.

Wir haben erkannt, dass es nicht nur auf die Zahlen ankommt, sondern auch darauf, was die Zahlen bedeuten. Es ist zwar wichtig zu wissen, wie viele Nutzer:innen auf der Webseite landen und wie viele darauf bleiben, aber für Marketingzwecke müssen wir auch verstehen, wie der Chatbot uns hilft bzw. ob er tatsächlich von Kund:innen genutzt wird, ob er sie auf der Webseite hält und ob er sie zufriedenstellen kann.

Wir hoffen, dass wir dir verdeutlicht haben, wie du die Leistung deines Chatbots messen kannst, und hoffen, dass du diese Kriterien nutzen wirst – und dabei an uns denken wirst!

Allerdings steht bei Bedarf das ganze melibo-Team immer zur Verfügung. ✨

ChatGPT im Einsatz in Unternehmen
Was ist ChatGPT?
GPT-3 vs. GPT-4
Einsatz von ChatGPT im Unternehmen
Deutsche Alternativen

Beliebte Beiträge und News von melibo

Der melibo Newsroom hält dich immer auf dem Laufenden, was es Neues in der Welt der KI-Chatbots gibt, welche Trends du nicht verpassen solltest und welche Use Cases du mit deinem eigenen Chatbot automatisieren kannst.

Einführung eines Chatbots: Was du wissen musst, um ein optimales Ergebnis zu erzielen

Die Einführung eines Chatbots in deinem Unternehmen ist kein Hexenwerk. Aber: Es erfordert trotzdem eine sorgfältige Planung und Umsetzung. Definiere also klar deine Ziele und arbeite darauf hin – sei es eine Verbesserung des Kundenservice, mehr Effizienz oder eine Steigerung der Lead-Generierung. In diesem Beitrag erfährst du, welche Schritte für eine erfolgreiche Implementierung wichtig sind.

Was ist eigentlich Prompt Engineering?

Die Kunst des Prompt Engineerings besteht darin, präzise und effektive Anweisungen oder Fragen zu formulieren, um die gewünschten Ergebnisse von der Künstlichen Intelligenz zu erhalten. Es geht also darum, die Texte und Inhalte so zu gestalten, dass die KI bestmögliche Ergebnisse erzielt. Ein wichtiger Begriff in diesem Zusammenhang ist „Prompt“, der sich auf die textbasierte Befehlszeileneingabe bezieht, die bei großen Sprachmodellen, Chatbots oder Text-zu-Bild-Modellen verwendet wird.

ChatGPT im Rampenlicht: Wie eine KI unsere Gespräche revolutioniert!

ChatGPT hat den KI-Markt revolutioniert. In diesem Artikel klären wir die wichtigsten Fragen zur Technologie von OpenAI. Was ist ChatGPT? Wie funktioniert es? Und vieles mehr.