Konversationsagenten analysieren

Die Seite Analytics in Copilot Studio bietet einen aggregierten Einblick in die Gesamteffizienz Ihres Agents in analytics-Sitzungen. Die Seite ist in Kernbereiche unterteilt, die sich auf verschiedene Leistungskontexte konzentrieren. Auf der Seite werden außerdem folgende Bereiche angezeigt: Übersicht, der allgemeine KPI-Metriken (Key Performance Indicator) für Ihren Agent bereitstellt, Einsparungen, der Zeit- und Kosteneinsparungen analysiert, die auf Ihren Agent oder die Tools Ihres Agents zurückzuführen sind, sowie Zusammenfassung, der wichtige analytische Einblicke in die Leistung Ihres Agents bietet.

Es gibt vier Hauptabschnitte, auf die sie sich konzentrieren müssen, wenn Sie die Effektivität von Unterhaltungsagenten überprüfen und verbessern.

• Der Abschnitt "Zusammenfassung", "Übersicht" und "Einsparungen " zeigt wichtige Analyseeinblicke zu Ihren Agenten zusammen mit Abrechnungs- und Kosteneinsparungenstatistiken; weitere Informationen zu den einzelnen Unterabschnitten finden Sie unter "Zusammenfassung", "Übersicht" und "Einsparungen ".
• Im Abschnitt "Benutzerdefinierte Metriken " können Sie geschäftsspezifische Metriken für Ihre Agents-Anwendungsfälle definieren.
• Der Abschnitt "Effektivität " hilft Ihnen, die Qualität der Benutzererfahrungen zu bewerten, indem sie zeigen, wo Unterhaltungen erfolgreich sind, wo sie aufbrechen und wie Benutzer sich über Ergebnisse verhalten.
• Im Abschnitt "Verwenden" können Sie die betriebliche Leistung verbessern, indem Sie zeigen, wie gut Ihr Agent Fragen beantwortet, wie zuverlässig Tools und Wissensquellen diese Antworten unterstützen und wo gezielte Updates die Abdeckung und Konsistenz erhöhen können.

Sie können Analysen für Ereignisse anzeigen, die in den letzten 90 Tagen aufgetreten sind.

Benutzerdefinierte Metriken

Im Abschnitt "Benutzerdefinierte Metriken " können Sie bis zu drei geschäftsspezifische Metriken in natürlicher Sprache definieren und verfolgen, wie oft jedes Ergebnis in stichprobenbezogenen Sitzungen angezeigt wird. Verwenden Sie diese Metriken, um Ihre standardmäßigen Analyseeinblicke durch Indikatoren zu ergänzen, die die Ziele und die geschäftliche Nutzung Ihres Agenten widerspiegeln. Informationen zum Erstellen, Testen und Verfeinern von benutzerdefinierten Metriken finden Sie unter Analysieren Ihres Agents mit benutzerdefinierten Metriken.

Wirksamkeit

Im Abschnitt "Effektivität " werden Benutzerfeedback angezeigt, die aus Reaktionen, Agentantworten, Umfrageergebnissen und Stimmungsbewertungen für eine Sitzung gesammelt wurden. Die Effektivität wird auf viele Unterabschnitte aufgeteilt:

• Gesprächsergebnisse: Wenn Sie das Endergebnis eines Gesprächs kennen, fällt es Ihnen leichter zu erkennen, wo Ihr Agent erfolgreich ist und wo Verbesserungsbedarf besteht.
• Reaktionen: Rückmeldungen von Benutzern, einschließlich Daumen hoch/Daumen runter und Benutzerkommentaren zu bestimmten Agentenantworten.
• Kundenzufriedenheit: Anzeigen der Kundenzufriedenheitsbewertung (CSAT).
• Stimmung (Vorschau): Eine KI-basierte Stimmungsanalyse für die gesamte Sitzung.
• Agents: Zeigt Anrufvolumenmetriken, Erfolgsraten und den aktuellen Status für untergeordnete und verbundene Agenten an.

Feedbackdaten werden in der Transkripttabelle für Unterhaltung in Dataverse gespeichert. Eine Liste der Kanäle, die diese Funktion unterstützen, finden Sie unter Details zu der Funktion.

Gesprächsergebnisse

Der Abschnitt Unterhaltungsergebnisse zeigt ein Diagramm, das den Ergebnisstyp für jede Sitzung zwischen Ihrem Agenten und den Benutzern verfolgt.

Das Diagramm, unabhängig davon, ob es sich um ein gestapeltes Histogramm oder ein gestapeltes Flächendiagramm handelt, visualisiert die relativen Volumen der Ergebnisse, die farbkodiert und nach Typen gestapelt sind. Behoben, Eskaliert, Abgebrochen und Nicht aktiviert werden für jeden Datenpunkt in ihrer jeweiligen Farbe dargestellt. Die Y-Achse gibt die Anzahl der Sitzungen an.

Um Metriken zu einzelnen Ergebnissen anzuzeigen, die spezifisch für einen Datenpunkt (bestimmter Tag) sind, bewegen Sie den Mauszeiger über einen Bereich, der die Farbe eines interessanten Ergebnisses (z. B. blaugrün für „Abgebrochen“) für den Tag darstellt, an dem Sie interessiert sind.

Um Unterhaltungsergebnisdaten herunterzuladen (daten im Diagramm visualisiert), wählen Sie das Menüsymbol aus, und wählen Sie "CSV herunterladen" aus.

Wenn Sie einen Seitenbereich mit detaillierten Informationen zu Unterhaltungsergebnissen öffnen möchten, wählen Sie im Diagramm die Option Details anzeigen aus. Die Seitenleiste Unterhaltungsergebnisse umfasst:

• Eine Aufschlüsselung in Form eines Kreisdiagramms der Sitzungsergebnisse mit relativer Gewichtung (ausgedrückt in Prozent) der Ergebnisse Behoben, Eskaliert und Abgebrochen.
• Ein gestapeltes Balkendiagramm mit der relativen Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe Abgeschlossen (bestätigt) und Abgeschlossen (angenommen), die alle behobenen Sitzungsergebnisse beschreiben.
• Ein gestapeltes Balkendiagramm, das die relative Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe System beabsichtigt, System unbeabsichtigt und Vom Benutzer angefordert zeigt, die alle eskalierten Sitzungsergebnisse beschreiben.
• Die wichtigsten Themen, die zu jedem Ergebnis geführt haben.

Eine Sitzung fällt in einen der folgenden zwei Zustände:

• Nicht aktiviert: Eine Sitzung beginnt, wenn ein Benutzender mit Ihrem Agenten interagiert oder wenn der Agent eine proaktive Nachricht an den Benutzenden sendet. Die Sitzung beginnt in einem nicht aktiven Zustand.

• Eingebunden: Der Benutzer interagiert aktiv mit dem Agent. Es gibt einen Unterschied im Verhalten basierend auf dem Orchestrierungsmodus des Agents.

  • Klassische Orchestrierung: Eine Sitzung wird aktiv, wenn eines der folgenden Themen ausgelöst wird:

    • Benutzerdefiniertes Thema, das direkt vom Benutzer ausgelöst wird
    • Thema eskalieren
    • Fallback-Thema
    • Thema "Gesprächsförderung"

  • Generative KI-Orchestrierung: Eine Sitzung wird aktiv, wenn ein Benutzer einen Plan direkt auslöst und eines der folgenden Elemente enthält:

    • Nicht-Systemthema
    • Thema eskalieren
    • Fallback-Thema
    • Eine Wissensquelle
    • Ein Tool

Eine aktive Sitzung hat eines der folgenden Ergebnisse:

Sie können das Ergebnis auch für Tools mit dem conversationOutcome Parameter mithilfe des Toolcode-Editors festlegen. Zum Beispiel conversationOutcome: ResolvedConfirmed für bestätigten Erfolg oder conversationOutcome: ResolvedImplied für angedeuteten Erfolg.

Siehe die Leitfaden zur Messung des Engagements für Vorschläge und Best Practices, wie man das Engagement messen und verbessern kann.

Reaktionen

Im Abschnitt „Reaktionen“ wird Benutzerfeedback angezeigt, das aus Reaktionen auf Agentenantworten gesammelt wurde. Das Diagramm zählt, wie oft Benutzer entweder die Schaltfläche Daumen hoch (positiv) oder Daumen runter (negativ) ausgewählt haben, die für jede Antwort verfügbar ist, die sie von Ihrem Agenten erhalten haben.

Die Funktion "Reaktionen" ist standardmäßig aktiviert . Sie können dieses Feature bei Bedarf deaktivieren. Sie können auch einen Haftungsausschluss für Benutzer hinzufügen oder bearbeiten, in dem dargelegt ist, wie ihr Feedback verwendet wird:

1. Öffnen Sie den Agent, wechseln Sie dann zu "Einstellungen", und suchen Sie den Abschnitt " Benutzerfeedback" .

2. Schalten Sie Benutzerreaktionen auf Agentnachrichten entweder Ein oder Aus.

3. Fügen Sie einen Haftungsausschluss hinzu (oder bearbeiten Sie einen vorhandenen Haftungsausschluss), damit Benutzer wissen, wie ihr Feedback verwendet wird. Sie können auch Datenschutzinformationen und Tipps bereitstellen.

Benutzer mit den Berechtigungen "Bot-Transkriptanzeige" können einen Drilldown zu Agentantworten für einzelne Reaktionen ausführen und nach Benutzerkommentaren filtern.

Anzeigen von Reaktionstrends im Laufe der Zeit

Wählen Sie "Details anzeigen " auf der Kachel " Reaktionen " aus, um den Seitenbereich " Reaktionen " zu öffnen. Die Anzeige zeigt, wie sich positive und negative Reaktionen (von Daumen nach oben und Daumen nach unten) im Laufe der Zeit entwickeln.

Kundenzufriedenheit

Im Abschnitt " Kundenzufriedenheit " werden Informationen zur Benutzerzufriedenheit basierend auf den Ergebnissen der Benutzerumfrage angezeigt:

• Zufriedenheitsbewertung: Eine Bewertung von 5, die aus den durchschnittlichen CSAT-Bewertungen (Customer Satisfaction) für Sitzungen berechnet wird, in denen Benutzer auf End-of-Session-Anfragen geantwortet haben, um eine Umfrage zu führen.

  Note

  Die Bewertungen von 1 und 2 werden zugeordnet als Nicht zufrieden, eine Bewertung von 3 wird als Neutral betrachtet, und die Bewertungen von 4 und 5 werden zugeordnet als Zufrieden.

• Zufriedenheit nach Sitzung: Ein gestapeltes Balkendiagramm, das die relative Gewichtung für jede der Umfragebewertungskategorien darstellt, nämlich Dissatisfied, Neutral, und Satisfied. Fahren Sie mit der Maus über jedes Segment des Diagramms, um die Größe der Stichprobe und den numerischen Wert der Gewichtung jeder Score-Kategorie zu sehen. Für Benutzer mit den Berechtigungen "Bot-Transkriptanzeige" können Sie einen Drilldown zu einer Liste der Kundensitzungen ausführen , die basierend auf dem ausgewählten Teil des Balkensegments gefiltert wurden.

Wählen Sie "Details anzeigen " aus, um den Trend "Zufriedenheitsbewertung" im ausgewählten Zeitraum anzuzeigen.

Stimmung (Vorschau)

[Dieser Abschnitt ist die Vorabveröffentlichungsdokumentation und unterliegt Änderungen.]

Die Stimmungsanalyse verwendet KI, um Benutzernachrichten aus einer Stichprobe von Sitzungen zu analysieren, um eine allgemeine Benutzerstimmung für den Agenten auszuwerten. Der numerische Wert stellt den Prozentsatz der Sitzungen mit negativer Nutzerstimmung dar.

Wählen Sie "Details anzeigen" aus, um die Stimmungsdaten für die relative Gewichtung der einzelnen Stimmungskategorien (Positive, Neutral und Negative) anzuzeigen.

Sie können die Stimmungsanalyse für Ihren Agent unter "Einstellungen" aktivieren und deaktivieren. Wenn die Stimmungsanalyse deaktiviert ist, werden die Benutzerstimmungen während Sitzungen nicht analysiert.

1. Wechseln Sie zu "Einstellungen" , und wählen Sie "Erweitert" aus.

2. Aktivieren oder deaktivieren Sie die Stimmungsanalyse.

   

Agenten

Die Agents-Liste zeigt allgemeine Volumen-, Leistungs- und Statusmetriken für verbundene und untergeordnete Agents Ihres Haupt-Agents an. Die Liste gibt den Beziehungstyp an, den der aufgelistete Agent zu Ihrem Hauptagenten in der Spalte Typ hat. Wenn ein Agent ein untergeordneter Agent ist, lautet sein Typ Child. Verbundene Agents haben einen aufgelisteten Typ, der angibt, wo sie erstellt wurden (z. B. Copilot Studio, Azure AI Foundry ). Die Metrik Anrufe für jeden aufgelisteten Agent beschreibt das Volumen von Anrufen vom Haupt-Agent an den verbundenen oder untergeordneten Agent. Die Erfolgsquote gibt den Anteil der Anrufe (als % aller Anrufe) an, die erfolgreich abgeschlossen wurden. Status gibt den einzelnen Administrationsstatus für jeden verbundenen und untergeordneten Agent an.

Standardmäßig werden in der Liste Agents die fünf (5) wichtigsten verbundenen und untergeordneten Agents Ihres Haupt-Agents angezeigt, sortiert von der höchsten bis zur niedrigsten Gesamtzahl an Fragen. Wenn mehr als fünf Agents vorhanden sind, wählen Sie Alle anzeigen aus, um alle Agents anzuzeigen.

Verwendung

Der Abschnitt "Verwendung" hilft Ihnen zu verstehen, wie Benutzer mit Ihrem Agent interagieren und wo die Zuverlässigkeit der Antwort verbessert werden kann. Die Verwendung wird in viele Unterabschnitte aufgeteilt:

• Designs: Designs helfen Ihnen, Analyseeinblicke zu gewinnen, indem Sie Benutzerfragen in KI-vorgeschlagene Kategorien gruppieren.
• Generierte Antwortrate und -qualität: Verstehen, wann agent mit Antworten auf Benutzerfragen zu kämpfen hat und wie sie Wissensquellen verwendet, können Ihnen helfen, Möglichkeiten zu finden, um die Antwortrate und Qualität Ihres Agenten zu verbessern.
• Toolverwendung: Lernen, wie oft Tools verwendet werden und wie oft sie erfolgreich sind, können Ihnen helfen zu verstehen, ob diese Tools für Benutzer nützlich und erfolgreich sind.
• Verwendung der Wissensquelle: Erfahren Sie, wie oft einzelne Wissensquellen verwendet werden und wie oft Fehler zurückgegeben werden, um die Qualität und Abdeckung der Antworten Ihres Agenten zu verbessern.

Generierte Antwortrate und -qualität

Mit generativen Antworten kann Ihr Agent KI verwenden, um Antworten auf Benutzerabfragen mithilfe von Wissensquellen und den von Ihnen bereitgestellten Anweisungen zu generieren. Ihr Agent kann jedoch möglicherweise nicht alle Benutzerabfragen beantworten. Der Abschnitt Generierte Antwortrate und Qualität verfolgt, organisiert und analysiert unbeantwortete Abfragen und Antwortqualität, um Ihnen Anleitungen zur Verbesserung der Antwortleistung Ihres Agent zu geben.

Die Antwortrate zeigt die Anzahl der beantworteten und nicht beantworteten Fragen innerhalb des ausgewählten Zeitraums und die prozentuale Änderung im Laufe der Zeit an.

Antwortqualität misst die Qualität der Antworten mithilfe von KI. Copilot Studio untersucht eine Beispielmenge von beantworteten Fragen und analysiert verschiedene Qualitätsaspekte, einschließlich Vollständigkeit, Relevanz und Fundiertheit einer Antwort. Wenn die Antwort einen festgelegten Standard erfüllt, beschriftet Copilot Studio die Antwort als gute Qualität. Copilot Studio kennzeichnet Antworten, die diesen Standard nicht erfüllen, mit mangelhafter Qualität. Bei "Schlechte Antworten" weist Copilot Studio einen Grund für die Qualitätsbewertung zu und zeigt den Prozentsatz der Antworten an, die jeder Kategorie zugewiesen wurden.

Bewegen Sie den Mauszeiger über ein beliebiges Segment eines Balkens im Diagramm, um die relative Gewichtung eines einzelnen Grunds für die Qualitätsbezeichnung Gut oder Schlecht anzuzeigen. Die QuickInfo zeigt auch die Anzahl der Antworten an, die zur Berechnung des Prozentwerts herangezogen wurden.

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eine der Qualitätsbezeichnungsgründe, um diesen Grund im Diagramm hervorzuheben.

Wählen Sie ein Segment des Balkendiagramms aus, um eine Seite mit Benutzerfragen zu öffnen, die nach dieser Antwortqualität gefiltert sind. Wählen Sie "Fragen anzeigen " aus, um eine ungefilterte Liste aller Fragen innerhalb des konfigurierten Zeitraums anzuzeigen.

Werkzeuggebrauch

Der Abschnitt Toolnutzung zeigt ein Diagramm und Metriken an, mit denen nachverfolgt wird, wie oft Ihre Tools im Laufe der Zeit gestartet werden und wie oft Ihr Agent diese Tools erfolgreich verwendet hat. Außerdem werden Trendindikatoren für die Häufigkeit der Verwendung der einzelnen Tools durch den Agent und der Prozentsatz der aufgerufenen Tools angezeigt, die erfolgreich verwendet werden.

Die Grafik zeigt die fünf meistgenutzten Tools im oben auf der Seite Analysen definierten Zeitraum an.

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eines der Tools, um dieses Tool im Diagramm hervorzuheben.

Wenn Sie einen Seitenbereich mit einer Liste aller Tools öffnen möchten, die in dem angegebenen Zeitraum verwendet wurden, zusammen mit Trendindikatoren, wählen Sie im Diagramm Details anzeigen aus. Im Bereich Toolnutzung können Sie Berechnungen des Prozentsatzes der für jedes Tool verwendeten Fragen anzeigen. Wenn Ihr Agent über untergeordnete Agents verfügt, können Sie festlegen, dass Berechnungen sowohl für den Haupt-Agent als auch für untergeordnete Agents angezeigt werden sollen (Alle) oder nur für den Haupt-Agent oder nur für den Untergeordneten Agent.

Wissensquelle nutzen

Der Abschnitt "Verwendung der Wissensquellen" bietet Einblicke in die Verwendung Ihrer Wissensquellen und wie oft diese Quellen Fehler melden. Ausführliche Informationen zu den verfügbaren Metriken, Filtern und Drilldownfunktionen finden Sie unter Verwendung der Wissensquelle.