Ein Auto muss repariert und kontrolliert werden. Des Weiteren muss ein Auto durch den TÜV kommen, um weiter fahren zu können. Was Chatbot Testing mit Autos und dem TÜV zu tun hat, erfährst du in diesem Artikel!
Die meisten teilen vermutlich die Erfahrung. Man geht auf eine Website, möchte etwas nachfragen und ein Chatbot erscheint. Typischerweise gibt es zwei Reaktionen, die ein Chatbot in einem auslösen kann. Zum einen kann ein Chatbot zu großem Frust führen, wenn er die Anfrage nicht oder falsch versteht. Man ist zu Recht frustriert, weil das Anliegen nicht beantwortet wurde und man es erneut per E-Mail oder Telefon geschildert werden muss. Zum anderen kann der Chatbot eine Anfrage richtig beantworten. Hier nimmt er die Arbeit ab, sich durch die Website zu kämpfen, um die passende Information zu finden.
😡 „Der Chatbot versteht meine Anfrage nicht.“
😊 „Ich habe innerhalb weniger Sekunden die passende Antwort erhalten, ohne lange zu suchen.
Ein schlechter Chatbot – drei Merkmale, an denen du ihn sofort erkennst
Was ist ein schlechter Chatbot? Hierfür müssen wir erstmal das Grundkonzept verstehen, wie die Chatbot-Technologie funktioniert. KI-Chatbots arbeiten mit sogenannten Confidence-Scores. Die Confidence-Scores liegen zwischen 0 und 1 und geben an, zu wie viel Prozent der Chatbot eine Absicht erkannt hat. Zu jeder gestellten Frage der User:innen berechnet der Chatbot also einen Confidence-Score und versucht auf dieser Grundlage, durch Wahrscheinlichkeiten, die richtige Antwort an die User:innen auszugeben. Die Confidence-Scores sind meistens voreingestellt und liegen zwischen 0,7. Das heißt, dass der Chatbot Antworten nur dann ausgibt, wenn die Erkennungswahrscheinlichkeit bei mindestens 70 % liegt. Nehmen wir nun als Beispiel an, dass die User:innen eine Frage stellen, die der Chatbot zu 50 % Prozent erkennt. Der Chatbot würde in diesem Fall mit seiner Standardantwort, dass er die Aussage nicht verstanden hat, antworten. Wenn die Erkennungsrate bei einem Chatbot zu niedrig gesetzt wird, z.B. auf 50 %, kommt es dazu, dass der Chatbot die Frage zwar versteht, aber eine falsche Antwort ausgibt.
(1) Der Chatbot versteht die Anfrage der User:innen nicht. Selbst nach mehrmaligen umformulieren und verschiedenen Satzbauten kann der Chatbot die Anfrage nicht beantworten. Das liegt häufig daran, dass der Bot zu wenig Trainingsdaten besitzt.
(2) Der Chatbot gibt die falsche Antwort aus. Ein weiteres verbreitetes Phänomen ist, dass der Chatbot auf eine Frage eine falsche Antwort ausgibt. Das Resultat ist klar, die User:innen fühlen sich missverstanden. Der Grundbaustein der Kommunikation ist, dass man sich verstanden fühlt. Dementsprechend müssen Chatbots in der Lage sein, einen echten Dialog zu führen und die Frage vollumfänglich zu verstehen.
(3) Der Chatbot besitzt zu wenige Inhalte. Ein bekanntes Problem von nicht qualitativen Chatbots ist, dass sie zu wenige Inhalte besitzen. Hier ist gemeint, dass die wichtigsten Kundenanfragen nicht im Chatbot abgebildet werden. Dazu kommt es, wenn der Bot nicht an die Erfahrungswerte des Unternehmens oder die Support-Anfragen ausgerichtet ist.
Chatbot Testing – für qualitative Bots
Das Team hinter melibo erstellt seit mittlerweile 3 Jahren KI-Chatbots. Durch die Erfahrung haben wir einige Learnings herausgefunden, welche dein Chatbot Testing sofort verbessern und zu deutlich besseren Ergebnissen führen.
Use-Case richtig definieren
Wofür soll dein Chatbot stehen? Was sind deine wichtigsten Kundenanfragen? Ein gutes Chatbot Testing beginnt mit den Chatbot Inhalten und dem richtigen Fokus.
70/30 Approach: du deckst mit dem Chatbot 70 % der Anfragen ab und exotische Anfragen beantwortest du nicht. Dieser Rahmen sorgt dafür, dass dein Fokus beim Chatbot Testing nicht auf den komplizierten Anfragen liegt, sondern den wiederkehrenden Standardanfragen. Typischerweise fragen 90 % der User:innen gerade mal 10 % der Themen deines Chatbots ab. Konzentriere dich dementsprechend, auf die wirklich wichtigen Themen und trainiere die frequentierten Chats.
Die Customer Journey nachvollziehen
Was sind, die erklärungsbedürftigsten Punkte deines Produktes/ deiner Dienstleistung? Ab welchem Punkt benötigen deine User:innen Hilfe?
Bei der Customer Journey musst du nachvollziehen, in welchem Zyklus deine User:innen stehen und welche Fragen sie haben. Typischerweise gelangen deine Kunden:innen über Marketing, Empfehlungen oder Zufall auf deine Website. Als Neukunde haben sie natürlich Fragen zu dem Produkt/der Dienstleistung und möchten beraten werden. Mit den Chat Flows von melibo kannst du deine User:innen sicher ans Ziel navigieren und deine Conversions steigern. Beim Chatbot Testing ist hierbei besonders wichtig, dass du deine Flows auf Plausibilität und auf Vollständigkeit prüfst. Verstehen deine User:innen dein Produkt/deine Dienstleistung durch den Chatbot besser? Als Tipp: versuche, die Customer Journey auch retrospektiv aufzubauen. Was führt zu einem erfolgreichen Lead und zu einem Kauf? Prüfe deine Chats auf die wichtigsten Punkte und sorge für eine qualitative Kundenberatung.
Chatbot Testing durch die Zielgruppe
Du kennst deine User:innen am besten. Nachdem du die Zielgruppe, die den Chatbot nutzt, ausfindig gemacht und die Merkmale identifiziert hast, kannst du mit dem Chatbot Aufbau beginnen. Dabei überlegst du dir anhand der Zielgruppe, welche Fragen deine User:innen dem Bot stellen könnten. Mit diesem Gedanken erstellst du die Chatbot Inhalte, welche am Ende über die Qualität entscheiden.
Wer stellt bessere Fragen als deine User:innen? Keiner. So einfach wie es klingt, aber die besten Trainingsdaten und Inhalte bekommst du von deiner Zielgruppe. Dementsprechend solltest du versuchen, durch Testphasen an diese Daten zu gelangen. Erstelle den Chatbot nach deinen Vorstellungen und validiere das Ergebnis anhand deiner Zielgruppe. Dadurch testest du, ob die Anfragen von deinen Ideen und Inhalten abweichen. Am Ende stellst du dadurch sicher, dass der Bot auch wirklich auf die Anfragen deiner User:innen trainiert ist und das User-Erlebnis steigert.
Umfragen für gezieltes Chatbot Testing
Aufbauend auf Punkt 3.) kannst du auch auf Social-Media oder per E-Mail Umfragen starten. Finde über Umfragen auf LinkedIn heraus, welche Inhalte und Themen deinen Kunden:innen wichtig sind. Ein relevanter Punkt im Chatbot Testing ist die Vollständigkeit. Erfasst du die wichtigsten Anfragen deiner User:innen? Über eine Umfrage kannst du gezielt nachfragen und prüfen, wie deine User:innen deinen Chatbot benutzen würden. Brauchen sie Hilfe bei einem Produkteinkauf, Rabattaktionen oder möchten Sie Retouren schneller abwickeln? Die Umfrage hilft dir, zu verstehen, ob dein Projekt auf dem richtigen Weg ist.
Chatbot Testing durch interne Testphasen
Für ein Anliegen gibt es verschiedene Möglichkeiten zu fragen. Dementsprechend hilft es beim Chatbot testen, wenn dein Chatbot eine interne Testphase durchläuft. Frage Mitarbeiter:innen oder andere Kontakte aus deinem Umfeld, ob sie deinem Chatbot Fragen stellen können. Setze hierfür einen Rahmen und weise darauf hin, welche Themen der Chatbot beantworten kann. Dadurch legst du die Bereiche fest, indem Fragen gestellt werden können. Du wirst schnell merken, dass zu einem Thema unterschiedliche Fragen/Aussagen getätigt werden. Dein Chatbot Testing profitiert hierbei davon, dass du Daten sammelst und verschiedene Fragevariationen im Bot abdecken kannst.
Insights und Bot-Gym
Einer der zentralen Punkte im Chatbot Testing ist die Phase, nachdem du deinen Chatbot online gestellt hast. Unabhängig von den Testphasen und dem Aufbau erfährst du erst in der Praxis, ob und wie dein Chatbot ankommt. Wir empfehlen, dass du deshalb nicht zu lange mit dem Go-Live wartest, sondern anhand von praktischen Trainingsdaten deinen KI-Chatbot verbesserst. Gerade in den ersten Wochen nach dem Go-Live solltest du deine Insights regelmäßig prüfen und schauen, welche Fragen dein Chatbot nicht beantworten kann. Alles zum Chatbot-Training erfährst du hier.
Zusammenfassung – Chatbot Testing
In diesem Artikel haben wir dir sechs Tipps gegeben, um dein Chatbot Testing zu verbessern und gezeigt wie du deinen Bot qualitativ aufbaust. Wichtig ist zu erwähnen, dass du nicht alle Tipps berücksichtigen musst, damit dein Chatbot einsatzfähig ist. Tatsächlich lernen Chatbot über die Praxisdaten am schnellsten dazu. Also zögere nicht zu lange mit dem Go-Live und profitiere von praktischen Tests.
Wir wünschen viel Spaß beim Los fahren!
.jpg)
.jpg)
