Gesprächsqualität (Chat Quality)

Der Tab Chat Quality bewertet automatisch die Antworten, die Mira Gästen in eigenen Worten schreibt, und listet die problematischen für Sie auf. Er beantwortet eine einzige Frage: „Wie zuverlässig sind Miras Antworten, und wo kommt sie ins Stolpern?“ Diese Seite erklärt, was jede Zahl und jede Bezeichnung auf dem Bildschirm bedeutet und wie Sie ein Problem beheben.

Was auf dem Bildschirm zu sehen ist#

Klicken Sie im linken Menü unter der Überschrift Analytics auf Chat Quality (das Symbol ist ein Schild mit Häkchen). Von oben nach unten ist die Seite so aufgebaut:

Die Überschrift Chat Quality und darunter die Beschreibung „The self-evaluated quality score of the AI's free-text replies.“ (der selbst bewertete Qualitätswert der frei formulierten KI-Antworten).
Vier Übersichtskarten (auf einem breiten Bildschirm nebeneinander, auf dem Smartphone untereinander).
Ein kurzer Infokasten mit dem Titel What are the evaluation criteria?
Die Liste Flagged Replies: „The most recent replies that triggered at least one quality criterion.“ (die neuesten Antworten, die mindestens ein Qualitätskriterium ausgelöst haben).

Die Seite ist vollständig schreibgeschützt: Sie speichern, löschen oder markieren hier nichts. Die Korrektur nehmen Sie auf den Seiten vor, aus denen die Antwort stammt (siehe unten).

Übersichtskarten#

Karte	Was sie zeigt	Hinweis
Evaluated Replies	Die Gesamtzahl der bisher bewerteten Mira-Antworten	Gezählt werden nur Antworten, die bewertet werden (siehe „Welche Antworten bewertet werden“ unten)
Average Confidence	Der durchschnittliche Konfidenzwert aller bewerteten Antworten in Prozent	Zeigt 0 %, solange es noch keine Antworten gibt
Flagged Replies	Die Anzahl der Antworten, die mindestens ein Qualitätskriterium ausgelöst haben	Rote Karte
Clean Rate	Der Anteil der bewerteten Antworten, die überhaupt kein Kriterium ausgelöst haben	(Bewertet − Markiert) ÷ Bewertet

Der Infokasten zu den Bewertungskriterien#

Der Kasten unter den Karten fasst die Kriterien in einem Satz zusammen: Jede Antwort wird anhand ihres eigenen Textes bewertet, ohne zusätzlichen KI-Aufruf. Diese Funktion verursacht also keine Kosten und lässt den Gast nicht länger auf eine Antwort warten. Die Kriterien werden unten ausführlich erklärt.

Die Liste „Flagged Replies“#

Die Liste zeigt die 100 neuesten Antworten mit mindestens einer Markierung, die neueste zuerst. Jede Zeile zeigt:

den Namen des Gastes und, falls vorhanden, seine Telefonnummer (Unnamed guest, wenn kein Name vorliegt),
Datum und Uhrzeit der Antwort,
rechts ein bernsteinfarbenes Badge Confidence: (der Prozentwert dieser Antwort),
rechts eine Schaltfläche View Conversation, die die Detailseite dieses Gesprächs öffnet,
kleine rote Markierungs-Badges (eines für jedes Kriterium, das die Antwort ausgelöst hat),
darunter die ersten 220 Zeichen der Antwort (mit „…“ am Ende, wenn sie länger ist).

Die unsichtbare Markierung, die Mira einer Antwort hinzufügt, um die Kontaktkarte aufzurufen, wird in dieser Vorschau nicht angezeigt; Sie sehen nur den Text, den der Gast gelesen hat.

Leere Zustände#

Wenn noch keine Antwort bewertet wurde, sehen Sie No evaluated replies yet. Ältere Antworten, die vor Einführung dieser Funktion geschrieben wurden, werden nicht nachträglich bewertet; die Liste füllt sich, während Gäste chatten.
Wenn Antworten bewertet wurden, aber keine eine Markierung trägt, sehen Sie No flagged replies: „None of the evaluated replies currently trigger any quality flag.“ (keine der bewerteten Antworten löst derzeit eine Qualitätsmarkierung aus).

Welche Antworten bewertet werden#

Einige von Miras Antworten werden direkt aus den Daten in Ihrem Panel mit einer fertigen Vorlage erzeugt (Preise, Verfügbarkeitskarten, Facilities, Extra Services, Felder der Business Info, der Buchungsablauf, eine Antwort aus der Wissensdatenbank, die genau einem Eintrag entspricht, Begrüßungen usw.). Diese Antworten stammen aus Daten, die Sie selbst geschrieben haben, bergen also kein Risiko erfundener Inhalte und werden nicht bewertet.

Zwei Arten von Antworten werden bewertet:

Antworttyp	Wann er vorkommt	Hinweis
Frei formulierte Antwort	Mira schreibt die Antwort in eigenen Worten und nutzt dabei Ihre Wissensdatenbank und Ihre Betriebsinformationen	Alle sechs Kriterien werden geprüft
Antwort „keine verifizierten Informationen“	Der Gast hat etwas zu Ihrem Betrieb gefragt, aber nichts in Ihrem Panel passt dazu; Mira hat die Kontaktkarte angezeigt	Erhält immer die Markierung Missing info. Sie wird bewusst einbezogen, denn für Sie lautet die eigentliche Frage: „Hat der Gast eine echte Antwort bekommen?“

Die Abgrenzungsantwort auf themenfremde Fragen („Was ist die Hauptstadt der Türkei?“) wird nicht bewertet; das ist kein Fehler, sondern eine bewusste Grenze.

Die Kriterien im Einzelnen#

Jede Antwort startet mit 100 % Konfidenz. Für jedes ausgelöste Kriterium werden die unten genannten Punkte abgezogen. Eine Antwort kann mehrere Kriterien gleichzeitig auslösen; der Wert fällt nie unter 5 %.

Markierung (im Panel)	Wann sie gesetzt wird	Abzug
Missing info	Mira hat gesagt „Dazu habe ich derzeit keine verifizierten Informationen“ oder die Kontaktkarte angezeigt (Call Us / WhatsApp / Send an Email)	−30
Translation issue	Mira hat die Antwort in einer anderen Sprache als der des Gastes geschrieben (z. B. Türkisch an einen englischsprachigen Gast); das System hat versucht, die Antwort zu übersetzen, dies ist aber fehlgeschlagen, und der Gast hat statt einer übersetzten Antwort die Kontaktkarte erhalten	−40
Too short	Die Antwort ist nach Entfernen der führenden und nachgestellten Leerzeichen kürzer als 12 Zeichen	−30
Too long	Die Antwort ist länger als 1600 Zeichen	−15
Hedging language	In der Antwort kommen mindestens zwei verschiedene Ausdrücke der Unsicherheit vor. Türkisch: „sanırım“, „galiba“, „emin değilim“, „olabilir“, „tahmin ediyorum“; Englisch: „i think“, „i'm not sure“, „might be“, „probably“, „i guess“; deutsche und russische Entsprechungen werden ebenfalls geprüft	−20
Repetitive text	Derselbe Satz mit mindestens 20 Zeichen wird in der Antwort wortwörtlich dreimal oder öfter wiederholt	−30

So lesen Sie den Konfidenzwert#

Wert	Bedeutung
100 %	Die Antwort hat kein Kriterium ausgelöst. Sie erscheint nicht in der Liste.
85 %	Nur eine lange Antwort. Meist kein Problem.
80 %	Die Antwort enthält Ausdrücke der Unsicherheit. Das kann bedeuten, dass die Information unklar ist.
70 %	Ein ernstes Problem: meist Missing info.
30 % und darunter	Mehrere Probleme zusammen. Sehen Sie sich diese zuerst an.

Es handelt sich um einen Näherungswert: Die Regeln betrachten den Text und können nicht erkennen, ob der Inhalt der Antwort korrekt ist. Zuverlässig erkannt werden dagegen: Fragen, auf die der Gast keine Antwort bekommen hat, Antworten in der falschen Sprache sowie fehlerhafter, sich wiederholender Text.

Qualitätsinformationen in der Gesprächsdetailansicht#

Dieselbe Bewertung erscheint auch auf der Seite Conversations. Wenn Sie ein Gespräch öffnen, sehen Sie unter jeder bewerteten Antwort von Mira rechts:

eine Zeile AI • Confidence: (der Wert dieser Antwort),
bei vorhandenen Markierungen kleine bernsteinfarbene Markierungs-Badges (Missing info, Hedging language usw.).

Diese Zeilen erscheinen nicht bei Vorlagenantworten oder bei Nachrichten, die vor Einführung dieser Funktion geschrieben wurden. Details finden Sie auf der Seite Gespräche.

Die Markierungen werden in der Panel-Sprache (Türkisch oder Englisch) angezeigt. Die Sprache, die der Gast spricht (TR/EN/DE/RU), ist davon unabhängig; die Bewertung funktioniert in allen vier Sprachen.

Schritt für Schritt: Eine markierte Antwort beheben#

Öffnen Sie den Tab Chat Quality und scrollen Sie nach unten zur Liste Flagged Replies.
Beginnen Sie mit den Zeilen mit dem niedrigsten Confidence:-Wert oder mit denen, bei denen dieselbe Markierung immer wieder auftaucht.
Klicken Sie in der Zeile auf die Schaltfläche View Conversation. Lesen Sie, was der Gast gefragt hat, zusammen mit Miras Antwort; die Liste zeigt nur die Antwort, die Frage sehen Sie im Gespräch.
Ermitteln Sie anhand der Tabelle unten die richtige Seite für die Markierung und ergänzen oder korrigieren Sie die Information.
Testen Sie es selbst: Öffnen Sie Widget → Guest Link und stellen Sie dieselbe Frage (bei Bedarf in derselben Sprache). Prüfen Sie in der Liste Chat Quality oder in der Gesprächsdetailansicht, dass die neue Antwort keine Markierung hat.

Was bei welcher Markierung zu tun ist#

Markierung	Wahrscheinliche Ursache	Wo Sie es beheben
Missing info	Das Thema ist in Ihrem Panel gar nicht vorhanden, oder das gefragte Detail (Uhrzeit, Preis, Entfernung) steht nicht im Eintrag	Für feste Themen (Check-in/Check-out, Haustiere, Stornierung, WLAN, Kontakt) nutzen Sie Betriebsinformationen; für Einrichtungen wie Pool oder Frühstück Einrichtungen; für kostenpflichtige Leistungen Zusatzleistungen; für alles andere die Wissensdatenbank. Der einfachste Weg: Knowledge Base → Missing Topics
Translation issue	Mira hat versucht, einen in Ihrer Inhaltssprache verfassten Eintrag weiterzugeben, ihn aber nicht in die Sprache des Gastes übersetzen können	Schreiben Sie den betreffenden Wissensdatenbank-Eintrag in kurzen, einfachen Sätzen neu; prüfen Sie, ob Business Info → Regional Settings → Content language richtig eingestellt ist. War es ein einmaliger Ausfall, hilft es, dieselbe Frage erneut zu stellen
Too short	Der Eintrag, auf dem die Antwort beruht, ist sehr kurz oder besteht aus einem einzigen Wort	Schreiben Sie den Eintrag als vollständigen Satz: statt „Ja“ lieber „Ja, unser Pool ist von 08:00 bis 20:00 Uhr geöffnet.“
Too long	Ein Wissensdatenbank-Eintrag behandelt mehrere Themen, oder viele Einträge passen zur selben Frage	Teilen Sie lange Einträge in kurze Einträge mit jeweils einem Thema auf
Hedging language	Die Information im Eintrag ist vage („normalerweise“, „je nach Situation“), oder zwei Einträge widersprechen sich	Schreiben Sie eindeutige Informationen; schalten Sie einen der widersprüchlichen Einträge mit Turn Off AI Usage ab oder löschen Sie ihn
Repetitive text	Ein seltener Fehler des Modells	Ein Einzelfall ist unwichtig. Wiederholt es sich bei derselben Frage, vereinfachen Sie den betreffenden Eintrag und geben Sie uns unter support@airoomier.com Bescheid

Zusammenhang mit „Missing Topics“#

Chat Quality und Knowledge Base → Missing Topics zeigen dasselbe Problem aus zwei verschiedenen Blickwinkeln:

	Missing Topics	Chat Quality
Was aufgelistet wird	Die Fragen, die Mira nicht beantworten konnte	Miras problematische Antworten
Gruppierung	Gleiche Fragen in einer Zeile, mit dem Zähler N time(s) asked	Jede Antwort in einer eigenen Zeile
Umfang	Nur fehlende Informationen	Sechs Kriterien (fehlende Information, Übersetzung, Länge, Unsicherheit, Wiederholung)
Aktionen	Add to Knowledge Base, Mark Resolved, über Nacht vorbereitete Vorschläge	Schreibgeschützt; View Conversation

In der Praxis haben die meisten mit Missing info markierten Antworten eine passende Zeile in Missing Topics. Die empfohlene Arbeitsweise ist daher:

Schließen Sie Informationslücken über Missing Topics: Dort sind die Fragen gruppiert, die am häufigsten gestellte steht oben, und sie kommen mit einem fertigen Titelentwurf.
Nutzen Sie Chat Quality, um die Probleme zu finden, die Missing Topics nicht zeigt: Translation issue, Hedging language, Too long, Repetitive text. Das sind Fälle, in denen Mira zwar geantwortet hat, die Antwort aber nicht gut war.

Unterschiede zwischen den beiden Listen:

Antworten, die wegen eines Translation issue die Kontaktkarte angezeigt haben, erhalten ebenfalls die Markierung Missing info, werden aber nicht in Missing Topics eingetragen.
Wird eine Frage, auf die Mira in einer frei formulierten Antwort „Dazu habe ich keine Informationen“ gesagt hat, als themenfremd eingestuft, wird sie nicht in Missing Topics eingetragen, die Antwort erscheint aber trotzdem mit der Markierung Missing info.
Wenn Sie ein Thema in Missing Topics mit Mark Resolved schließen, werden alte markierte Antworten nicht aus Chat Quality entfernt. Die Liste zeigt den Verlauf; die Wirkung Ihrer Korrektur sehen Sie an neuen Antworten.

Wer den Tab sieht, Tarifbeschränkungen#

Der Tab Chat Quality ist in den Tarifen Basic und Pro identisch; es gibt kein eigenes Limit und keinen Pro-exklusiven Bereich.
Jeder Benutzer außer der Rolle Staff sieht diese Seite und kann sie öffnen; Staff-Benutzer sehen nur das Board der Gästeanfragen (Team und Rollen).
Wenn Sie den Einrichtungsassistenten noch nicht abgeschlossen haben, leitet Sie auch dieser Tab zuerst zum Assistenten weiter (Erste Schritte).
Da die Bewertung keinen zusätzlichen KI-Aufruf ausführt, verbraucht sie auch nichts von Ihrem monatlichen KI-Kontingent.

Beispielszenario: ein Hotel mit 30 Zimmern#

Sie führen ein Hotel mit 30 Zimmern in Antalya. Am Ende einer Woche zeigt der Tab Chat Quality: Evaluated Replies 120, Average Confidence 86 %, Flagged Replies 24, Clean Rate 80 %.

Beim Herunterscrollen zur Liste:

14 Zeilen haben nur Missing info, alle mit Confidence: 70 %. Über View Conversation sehen Sie, dass Gäste nach „Spa“, „Massage“ und „Parkgebühr“ gefragt haben. In Knowledge Base → Missing Topics stehen dieselben Themen bereits mit den Zählern 5 time(s) asked und 4 time(s) asked. Sie legen eine Facility für Spa und Massage sowie einen Wissensdatenbank-Eintrag für die Parkgebühr an und schließen die Themen dann mit Mark Resolved.
4 Zeilen haben Translation issue und Missing info zusammen (Confidence: 30 %). Alle stammen von deutschsprachigen Gästen, die nach „Frühstück“ gefragt haben. Sie stellen fest, dass Ihre Frühstücksinformationen in einem langen Wissensdatenbank-Eintrag aus einem einzigen Absatz stehen. Sie übertragen sie in kurzen Sätzen in eine Facility namens „Frühstück“.
5 Zeilen haben Hedging language: Mira hat Fragen zum späten Check-out mit „Ich denke, das könnte möglich sein“ beantwortet. Sie formulieren den Wissensdatenbank-Eintrag „Später Check-out ist je nach Situation möglich“ eindeutig: „Später Check-out ist bis 14:00 Uhr kostenlos; für spätere Zeiten wenden Sie sich bitte an die Rezeption.“
1 Zeile hat Too long; das ist ein Einzelfall, also ignorieren Sie ihn.

In der folgenden Woche steigen Average Confidence und Clean Rate, während neue Antworten eingehen; die alten 24 markierten Antworten bleiben in der Liste.

Tipps und häufige Fehler#

„Ich habe es behoben, aber die markierte Antwort steht noch in der Liste“: Das ist normal. Die Liste zeigt vergangene Antworten, und keine Antwort wird später neu bewertet. Stellen Sie dieselbe Frage erneut über den Guest Link und sehen Sie sich die neue Antwort an.
„Evaluated Replies ist viel niedriger als die Anzahl der Nachrichten in Conversations“: Das ist normal. Antworten zu Preisen, Verfügbarkeit, Einrichtungen, Leistungen und Buchungen werden aus Vorlagen erzeugt und nicht bewertet. Je vollständiger Ihr Panel ausgefüllt ist, desto mehr Vorlagenantworten gibt Mira.
Eine hohe Average Confidence bedeutet nicht, dass alles in Ordnung ist. Die Regeln prüfen nicht, ob der Inhalt einer Antwort korrekt ist. Lesen Sie weiterhin ab und zu Gespräche.
Beheben Sie zuerst die wiederkehrenden Fälle. Taucht dasselbe Thema in mehreren Zeilen auf, behebt ein einziger Eintrag Dutzende künftiger Antworten.
Schließen Sie fehlende Informationen über Missing Topics. Dort sind die Fragen gruppiert und kommen mit Vorschlagsentwürfen; für diese Aufgabe geht es dort schneller (Wissensdatenbank).
Vereinfachen Sie bei Übersetzungsproblemen Ihre Einträge. Kurze, klare Sätze lassen sich zuverlässiger übersetzen. Details zur Arbeit mit mehreren Sprachen finden Sie unter So arbeitet Mira.
Schauen Sie einmal pro Woche hinein. Ein wöchentlicher Blick auf diesen Tab zusammen mit Missing Topics hält die Qualität von Miras Antworten dauerhaft hoch.