Вкладка Chat Quality автоматически оценивает ответы, которые Mira пишет гостям своими словами, и показывает вам проблемные. Она отвечает на один вопрос: «Насколько надёжны ответы Mira и где она ошибается?» На этой странице объясняется, что означает каждое число и каждая надпись на экране и как исправить проблему.
Что находится на экране#
В левом меню под заголовком Analytics нажмите Chat Quality (значок — щит с галочкой). Сверху вниз страница устроена так:
- Заголовок Chat Quality и под ним описание «The self-evaluated quality score of the AI's free-text replies.» (самооценка качества свободных ответов ИИ).
- Четыре сводные карточки (на широком экране — рядом, на телефоне — друг под другом).
- Небольшой информационный блок с заголовком What are the evaluation criteria?
- Список Flagged Replies: «The most recent replies that triggered at least one quality criterion.» (последние ответы, сработавшие хотя бы по одному критерию качества).
Страница полностью только для чтения: здесь вы ничего не сохраняете, не удаляете и не отмечаете. Исправления вносятся на тех страницах, откуда взят ответ (см. ниже).
Сводные карточки#
| Карточка | Что показывает | Примечание |
|---|---|---|
| Evaluated Replies | Общее число ответов Mira, оценённых на данный момент | Учитываются только оцениваемые ответы (см. ниже «Какие ответы оцениваются») |
| Average Confidence | Средний показатель уверенности по всем оценённым ответам в процентах | Показывает 0%, пока ответов нет |
| Flagged Replies | Число ответов, сработавших хотя бы по одному критерию качества | Красная карточка |
| Clean Rate | Доля оценённых ответов, не сработавших ни по одному критерию | (Оценённые − Отмеченные) ÷ Оценённые |
Блок с критериями оценки#
Блок под карточками описывает критерии одним предложением: каждый ответ оценивается по его собственному тексту, без дополнительного обращения к ИИ. Поэтому функция ничего не стоит и не заставляет гостя дольше ждать ответа. Подробно критерии описаны ниже.
Список «Flagged Replies»#
В списке показаны 100 последних ответов, имеющих хотя бы одну отметку, новые сверху. В каждой строке:
- имя гостя и, если есть, его телефон (Unnamed guest, если имени нет),
- дата и время ответа,
- справа янтарный значок Confidence: (процентная оценка этого ответа),
- справа кнопка View Conversation, открывающая страницу этого диалога,
- маленькие красные значки отметок (по одному на каждый сработавший критерий),
- ниже первые 220 символов ответа (с «…» в конце, если он длиннее).
Невидимая метка, которую Mira добавляет к ответу, чтобы вызвать карточку контактов, в этом превью не отображается; вы видите только текст, который прочитал гость.
Пустые состояния#
- Если ни один ответ ещё не оценён, вы увидите No evaluated replies yet. Старые ответы, написанные до появления этой функции, задним числом не оцениваются; список заполняется по мере общения гостей.
- Если ответы оценены, но ни у одного нет отметки, вы увидите No flagged replies: «None of the evaluated replies currently trigger any quality flag.» (ни один из оценённых ответов сейчас не вызывает отметок качества).
Какие ответы оцениваются#
Часть ответов Mira формируется напрямую из записей в вашей панели по готовому шаблону (цены, карточки наличия мест, Facilities, Extra Services, поля Business Info, процесс бронирования, ответ из базы знаний, совпадающий ровно с одной записью, приветствия и т. п.). Эти ответы основаны на данных, которые вы написали сами, поэтому риска выдуманной информации нет, и они не оцениваются.
Оцениваются два вида ответов:
| Тип ответа | Когда возникает | Примечание |
|---|---|---|
| Свободный ответ | Mira пишет ответ своими словами, используя вашу базу знаний и информацию о бизнесе | Проверяются все шесть критериев |
| Ответ «нет проверенной информации» | Гость спросил что-то о вашем объекте, но в панели нет ничего подходящего; Mira показала карточку контактов | Всегда получает отметку Missing info. Такие ответы учитываются намеренно, ведь для вас главный вопрос — «получил ли гость настоящий ответ?» |
Ответ-ограничение на вопросы не по теме («Какая столица Турции?») не оценивается; это не сбой, а намеренное ограничение.
Критерии по порядку#
Каждый ответ начинается со 100% уверенности. За каждый сработавший критерий вычитаются указанные ниже баллы. Ответ может сработать сразу по нескольким критериям; оценка никогда не опускается ниже 5%.
| Отметка (в панели) | Когда ставится | Вычет |
|---|---|---|
| Missing info | Mira сказала «У меня сейчас нет проверенной информации об этом» или показала карточку контактов (Call Us / WhatsApp / Send an Email) | −30 |
| Translation issue | Mira написала ответ не на языке гостя (например, по-турецки англоязычному гостю); система попыталась перевести ответ, но не смогла, и вместо переведённого ответа гость получил карточку контактов | −40 |
| Too short | После удаления начальных и конечных пробелов ответ короче 12 символов | −30 |
| Too long | Ответ длиннее 1600 символов | −15 |
| Hedging language | В ответе встречаются как минимум два разных выражения неуверенности. Турецкие: «sanırım», «galiba», «emin değilim», «olabilir», «tahmin ediyorum»; английские: «i think», «i'm not sure», «might be», «probably», «i guess»; немецкие и русские аналоги тоже проверяются | −20 |
| Repetitive text | Одно и то же предложение длиной не менее 20 символов дословно повторяется в ответе три раза или больше | −30 |
Как читать показатель уверенности#
| Оценка | Значение |
|---|---|
| 100% | Ответ не сработал ни по одному критерию. В списке не появляется. |
| 85% | Только длинный ответ. Обычно не проблема. |
| 80% | В ответе есть выражения неуверенности. Возможно, информация неясна. |
| 70% | Одна серьёзная проблема: чаще всего Missing info. |
| 30% и ниже | Несколько проблем сразу. Смотрите их в первую очередь. |
Это приблизительная мера: правила анализируют текст и не могут определить, верно ли содержание ответа. Зато они надёжно выявляют вопросы, на которые гость не получил ответа, ответы на неправильном языке и сломанный, повторяющийся текст.
Информация о качестве в карточке диалога#
Та же оценка отображается и на странице Conversations. Открыв диалог, под каждым оценённым ответом Mira справа вы увидите:
- строку AI • Confidence: (оценка этого ответа),
- при наличии отметок — маленькие янтарные значки (Missing info, Hedging language и т. д.).
Эти строки не появляются у шаблонных ответов и у сообщений, написанных до появления функции. Подробнее см. на странице Диалоги.
Названия отметок отображаются на языке панели (турецком или английском). Язык, на котором говорит гость (TR/EN/DE/RU), от этого не зависит; оценка работает на всех четырёх языках.
Пошагово: исправление отмеченного ответа#
- Откройте вкладку Chat Quality и прокрутите вниз до списка Flagged Replies.
- Начните со строк с самой низкой оценкой Confidence: или с тех, где одна и та же отметка повторяется снова и снова.
- Нажмите кнопку View Conversation в строке. Прочитайте, о чём спросил гость, вместе с ответом Mira; в списке виден только ответ, вопрос вы увидите в диалоге.
- По таблице ниже найдите нужную страницу для этой отметки и добавьте или исправьте информацию.
- Проверьте сами: откройте Widget → Guest Link и задайте тот же вопрос (при необходимости на том же языке). Убедитесь в списке Chat Quality или в карточке диалога, что у нового ответа нет отметки.
Что делать при каждой отметке#
| Отметка | Вероятная причина | Где исправить |
|---|---|---|
| Missing info | Темы вообще нет в вашей панели, или в записи не указана запрошенная деталь (время, цена, расстояние) | Для постоянных тем (заезд/выезд, домашние животные, отмена, Wi-Fi, контакты) — Информация о бизнесе; для удобств вроде бассейна или завтрака — Удобства; для платных услуг — Дополнительные услуги; для всего остального — База знаний. Самый простой путь: Knowledge Base → Missing Topics |
| Translation issue | Mira пыталась передать запись, написанную на вашем языке контента, но не смогла перевести её на язык гостя | Перепишите соответствующую запись базы знаний короткими простыми предложениями; проверьте, правильно ли задано Business Info → Regional Settings → Content language. Если это был разовый сбой, помогает повторить тот же вопрос |
| Too short | Запись, на которую опирается ответ, очень короткая или состоит из одного слова | Пишите запись полным предложением: вместо «Да» — «Да, наш бассейн открыт с 08:00 до 20:00.» |
| Too long | Одна запись базы знаний охватывает несколько тем, или одному вопросу соответствует много записей | Разделите длинные записи на короткие, по одной теме в каждой |
| Hedging language | Информация в записи расплывчатая («обычно», «в зависимости от ситуации»), или две записи противоречат друг другу | Пишите чёткую информацию; отключите одну из противоречащих записей кнопкой Turn Off AI Usage или удалите её |
| Repetitive text | Редкий сбой модели | Единичный случай неважен. Если это повторяется на один и тот же вопрос, упростите соответствующую запись и сообщите нам на support@airoomier.com |
Связь с «Missing Topics»#
Chat Quality и Knowledge Base → Missing Topics показывают одну и ту же проблему с двух разных сторон:
| Missing Topics | Chat Quality | |
|---|---|---|
| Что в списке | Вопросы, на которые Mira не смогла ответить | Проблемные ответы Mira |
| Группировка | Одинаковые вопросы в одной строке, со счётчиком N time(s) asked | Каждый ответ в отдельной строке |
| Охват | Только отсутствующая информация | Шесть критериев (нет информации, перевод, длина, неуверенность, повторы) |
| Действия | Add to Knowledge Base, Mark Resolved, предложения, подготовленные за ночь | Только чтение; View Conversation |
На практике у большинства ответов с отметкой Missing info есть соответствующая строка в Missing Topics. Поэтому рекомендуемый порядок работы такой:
- Закрывайте пробелы в информации через Missing Topics: там вопросы сгруппированы, самый частый — наверху, и к ним прилагается готовый черновик заголовка.
- Используйте Chat Quality, чтобы находить проблемы, которых Missing Topics не показывает: Translation issue, Hedging language, Too long, Repetitive text. Это случаи, когда Mira ответила, но ответ получился неудачным.
Различия между двумя списками:
- Ответы, показавшие карточку контактов из-за Translation issue, тоже получают отметку Missing info, но не записываются в Missing Topics.
- Если вопрос, на который Mira в свободном ответе сказала «У меня нет информации», классифицирован как не относящийся к теме, он не записывается в Missing Topics, но ответ всё равно попадает в список с отметкой Missing info.
- Закрытие темы кнопкой Mark Resolved в Missing Topics не убирает старые отмеченные ответы из Chat Quality. Список показывает историю; эффект исправления виден по новым ответам.
Кто видит вкладку, ограничения тарифов#
- Вкладка Chat Quality одинакова в тарифах Basic и Pro; отдельного лимита и разделов только для Pro нет.
- Эту страницу видят и могут открыть все пользователи, кроме роли Staff; пользователи Staff видят только доску запросов гостей (Команда и роли).
- Если вы ещё не завершили мастер настройки, эта вкладка тоже сначала отправит вас в мастер (Начало работы).
- Поскольку оценка не делает дополнительных обращений к ИИ, она не расходует и ваш ежемесячный лимит ИИ.
Пример: отель на 30 номеров#
У вас отель на 30 номеров в Анталье. В конце недели вкладка Chat Quality показывает: Evaluated Replies 120, Average Confidence 86%, Flagged Replies 24, Clean Rate 80%.
Прокручиваете вниз к списку:
- В 14 строках только Missing info, у всех Confidence: 70%. Через View Conversation вы видите, что гости спрашивали про «спа», «массаж» и «плату за парковку». В Knowledge Base → Missing Topics эти темы уже есть со счётчиками 5 time(s) asked и 4 time(s) asked. Вы добавляете Facility для спа и массажа и запись базы знаний о плате за парковку, затем закрываете темы кнопкой Mark Resolved.
- В 4 строках одновременно Translation issue и Missing info (Confidence: 30%). Все они от немецкоязычных гостей, спрашивавших про «Frühstück». Вы замечаете, что информация о завтраке находится в длинной записи базы знаний из одного абзаца. Вы переносите её короткими предложениями в Facility под названием «Завтрак».
- В 5 строках Hedging language: на вопросы о позднем выезде Mira отвечала «Думаю, это может быть возможно». Вы делаете запись базы знаний «Поздний выезд возможен в зависимости от ситуации» чёткой: «Поздний выезд бесплатный до 14:00; о более позднем времени, пожалуйста, спросите на ресепшене.»
- В 1 строке Too long; это единичный случай, поэтому вы его игнорируете.
На следующей неделе, по мере поступления новых ответов, Average Confidence и Clean Rate растут; старые 24 отмеченных ответа остаются в списке.
Советы и частые ошибки#
- «Я исправил, но отмеченный ответ всё ещё в списке»: Это нормально. Список показывает прошлые ответы, и ни один ответ позже не переоценивается. Задайте тот же вопрос через Guest Link и посмотрите на новый ответ.
- «Evaluated Replies намного меньше, чем число сообщений в Conversations»: Это нормально. Ответы о ценах, наличии мест, удобствах, услугах и бронировании формируются по шаблонам и не оцениваются. Чем полнее заполнена ваша панель, тем больше шаблонных ответов даёт Mira.
- Высокий Average Confidence не означает, что всё в порядке. Правила не проверяют, верно ли содержание ответа. Продолжайте время от времени читать диалоги.
- Сначала исправляйте повторяющееся. Если одна и та же тема встречается в нескольких строках, одна запись исправит десятки будущих ответов.
- Закрывайте недостающую информацию через Missing Topics. Там вопросы сгруппированы и снабжены черновиками предложений; для этой задачи так быстрее (База знаний).
- При проблемах с переводом упрощайте записи. Короткие ясные предложения переводятся надёжнее. Подробнее о работе с несколькими языками — в разделе Как работает Mira.
- Заглядывайте раз в неделю. Еженедельный просмотр этой вкладки вместе с Missing Topics поддерживает стабильно высокое качество ответов Mira.