Arbeitsprobe · WBS-Weiterbildung · Modul 6
Qualitätsmonitoring mit Power BI
In zwei Tagen habe ich mein erstes Power-BI-Dashboard gebaut. Für das Qualitätsmanagement in meiner WBS-Weiterbildung bekam ich bewusst Beispieldaten: 300 Tickets und 209 KI-Protokolle. Den Ablauf kannte ich aus der Aufgabenbeschreibung.
Ich wollte aus den Logs erkennen, wann die Termintreue einbrach, wo sich die Bearbeitung staute und welche Fälle ich mit dem Fachbereich zuerst prüfen würde.
Der Dezember fällt aus der Reihe
SeitenanfangÜber den gesamten Zeitraum wurden 129 von 269 abgeschlossenen Tickets fristgerecht bearbeitet. Im November waren es noch rund 66 %, im Dezember nur rund 6 %. Auch KI-Qualität und Kundenzufriedenheit gingen in diesem Zeitraum zurück. Die Ursache lässt sich aus dem gemeinsamen Verlauf allein nicht ablesen.
Originalaufnahmen aus Power BI
Wie ich aus den Logs Kennzahlen gemacht habe
SeitenanfangDas Übungsszenario beschreibt einen Anfrageprozess mit E-Mail, Webportal und Telefon-Bot. Die Ticketdaten liefern Zeitstempel, Priorität und Status. Aus den KI-Protokollen lässt sich ablesen, wie Antworten bewertet, nachbearbeitet oder an einen Menschen übergeben wurden.
- fristgerecht abgeschlossen
- 129
- verspätet abgeschlossen
- 140
- ohne Bearbeitung
- 31
Der Nenner gehört zur Kennzahl
Die Fristquote bezieht sich auf abgeschlossene Tickets: 129 von 269 ergeben rund 48 %. Für die Verteilung aller 300 Tickets sind dieselben 129 Fälle 43 %. Die 31 unbearbeiteten Tickets bleiben als eigener Befund sichtbar.
Fristverletzungen aus Zeitstempeln berechnen
Die Qualitätsprüfung enthielt jeweils nur einen Befund je Ticket. Wer allein dieses Feld zählt, übersieht laut Auswertung 18 Fristverletzungen. Deshalb habe ich für die Fristquote die Zeitstempel ausgewertet.
Weitere Kennzahlen und Zielwerte
Neben der Fristquote zeigt die Übersicht die mittlere Kundenzufriedenheit, die mediane Durchlaufzeit, die Protokollquote, den KI-Qualitätsscore, die Übergabequote an Menschen und die Nachbearbeitungsquote. Die Ziellinie von 80 % Fristtreue ist eine Annahme für die Übung.
Der Stau entsteht nach dem Bearbeitungsstart
SeitenanfangDie mediane Durchlaufzeit stieg von 32 auf 76 Stunden. Das Anfragevolumen nahm im Dezember nicht zu, und bis zum Bearbeitungsstart vergingen weiter zwei bis drei Stunden. Die zusätzliche Zeit fiel damit in der Bearbeitung an.
Originalaufnahmen aus Power BI
Welche Fälle würde ich zuerst prüfen?
Ich würde mit kritischen und unbearbeiteten Vorgängen aus dem Dezember anfangen und mit dem Fachbereich prüfen, an welchen Bearbeitungsschritten sie hängen blieben.
Was sich bei den KI-Antworten verändert
SeitenanfangIm Dezember stieg der Anteil der Übergaben an einen Menschen von rund 16 % auf 40 %. Der Anstieg zeigte sich bei beiden eingesetzten Modellen. Zusätzlich waren 9 von 32 direkt versendeten Antworten fehlerhaft. Das führte zu einer konkreten Prüffrage: Welche Antworten sollen vor dem Versand zur Sachbearbeitung?
KI-Entwürfe und Verspätung
Im Dezember waren Tickets mit KI-Entwurf im Schnitt 34,4 Stunden verspätet, Tickets ohne Entwurf 42 Stunden. Beide Gruppen lagen deutlich über Oktober. Die Auswertung zeigt einen Zusammenhang in den Beispieldaten.
Auffällige Prompt-Vorlage
Die Vorlage „Allgemein“ übergab rund 45 % ihrer Fälle an Menschen, „Abrechnung“ rund 7 %. Für einen nächsten Prüfzyklus würde ich Fälle der Vorlage „Allgemein“ genauer ansehen.
Teams mit unterschiedlichem Fallmix vergleichen
SeitenanfangEin Team mit vielen kritischen Fällen im Dezember hat andere Ausgangsbedingungen. Ich habe deshalb die beobachteten Verspätungsstunden mit dem Wert verglichen, der beim jeweiligen Mix aus Monat und Priorität zu erwarten war. In der Auswertung fiel kein Team deutlich aus dem Rahmen.
Was ich am Teamvergleich verbessern würde
Die erwarteten Stunden brauchen eine kurze Erklärung direkt neben der Kennzahl. In der nächsten Fassung würde ich den Fallmix benennen und die Abweichung als mehr oder weniger Stunden gegenüber der Erwartung beschriften.
Vom Befund zum nächsten Test
SeitenanfangAus der Auswertung habe ich Maßnahmen und eine Teststrategie für das Übungsszenario abgeleitet.
Begonnene Tickets im Blick behalten
Eine Meldung an die Teamleitung ist vorgesehen, wenn ein begonnener Vorgang nach 24 Stunden noch offen ist. Damit setzt die Maßnahme dort an, wo sich die Bearbeitung im Datensatz verzögerte.
Früh auf sinkende Termintreue reagieren
Die Frühwarnung soll auslösen, wenn eine Woche mehr als fünf Tickets unter dem angenommenen Ziel liegt. Rückblickend hätte sie im Beispieldatensatz am 24. November ausgelöst.
KI-Direktversand absichern
Beschwerden, Abrechnungen und Antworten mit einer Konfidenz unter 0,9 sollen als Entwurf zur Sachbearbeitung gehen. Alle fehlerhaften Direktversendungen lagen bei höchstens 0,86.
So würde ich die Freigaberegel testen
Ich würde Fälle je Kategorie und knapp unter sowie über der Schwelle prüfen. Bei Änderungen an Prompt, Modell oder Regel soll der gesamte feste Testsatz erneut laufen. Zusätzlich sieht das Konzept monatlich eine Stichprobe von 20 versendeten Antworten vor.
Die gewählte Schwelle hätte im Beispieldatensatz auch 9 der 23 fehlerfreien Direktantworten zur manuellen Prüfung gegeben. Diesen zusätzlichen Aufwand würde ich im Betrieb mitmessen.
Warum die Oberfläche so aufgebaut ist
Die Übersicht beantwortet zuerst die Frage nach dem Zeitpunkt. Die Detailseiten zeigen, welche Fälle und Gruppen betroffen sind. Dieselben Filter bleiben oben an derselben Stelle. Die Prozessseite stellt die Ticketliste neben die Zahl der unbearbeiteten Fälle, damit die Sachbearbeitung direkt zu den einzelnen Vorgängen kommt.