Договоритесь, что считать полезным
Единица подсчёта — одно исходное сообщение. Три сообщения разных жителей об одной протечке считаются тремя сообщениями. Отдельные проблемы можно учитывать дополнительно, но их число нельзя подставлять в формулы для сообщений.
Полезным считайте сообщение, которое сотрудник должен был увидеть по вашему заранее записанному правилу. Добавьте примеры спорных случаев до сверки с результатом бота. Повторную доставку одного и того же исходного сообщения учитывайте один раз, а сам повтор отмечайте отдельно.
Проверьте исходную переписку и рабочий чат
Зафиксируйте конкретные чаты и период. Относите сообщение к периоду по времени его публикации в исходном домовом чате. Затем проверьте, какие именно сообщения из этого набора были переданы в рабочий чат.
Отдельно запишите момент сверки доставки: сообщение у границы периода может прийти позже. Такие случаи сначала отмечайте как ожидающие проверки, затем пересмотрите. Это позволяет не смешивать задержку доставки с подтверждённым пропуском.
Чтобы оценить полноту, сотрудник должен просмотреть весь исходный поток выбранного участка. По одному рабочему чату полноту не посчитать: пропущенных сообщений в нём нет. Если проверили только часть переписки, вывод относится только к этой части.
Ведите короткий лист наблюдений
После ручной проверки заводите строку для каждого полезного сообщения и каждого сообщения, переданного ботом. Для остальных достаточно общего числа просмотренных сообщений. Спорные оценки полезно разобрать со вторым сотрудником.
Используйте условные обозначения домов и не копируйте в таблицу лишние личные данные. Неверную категорию, повторную или задержанную доставку отмечайте отдельно: эти наблюдения нельзя автоматически считать пропусками.
| Поле | Что записать |
|---|---|
| Исходное сообщение | Чат, время и разрешённая внутри команды ссылка или условный идентификатор |
| Краткая суть | Описание без лишних личных данных |
| Полезное | Да / нет по заранее принятому правилу |
| Передано ботом | Да / нет после сверки доставки |
| Категория и замечания | Спорная категория, повтор, задержка или причина ручной оценки |
Посчитайте долю полезных и полноту
Найденные — уникальные исходные сообщения выбранного участка, переданные ботом. Полезные найденные — те из них, которые сотрудник признал полезными по принятому правилу. Для процентов умножьте результат деления на 100.
Пропуски и лишние уведомления разбирайте отдельно. Лишние требуют времени на проверку. Пропуски показывают, какие полезные сообщения сотрудник не получил через бота. Если знаменатель равен нулю, соответствующую долю не рассчитывают: отметьте «нет данных для расчёта».
- Доля полезных среди найденных = полезные найденные / все найденные.
- Полнота = полезные найденные / все полезные во вручную проверенном исходном потоке.
- Пропуски = все полезные в исходном потоке − полезные найденные.
- Лишние = все найденные − полезные найденные.
Учебный пример: одинаковая база для всех расчётов
Все числа в этом примере придуманы для объяснения формул. Сотрудник просмотрел 300 исходных сообщений и признал полезными 20. Из того же набора бот передал 25 уникальных сообщений; 15 из них сотрудник признал полезными. Доставка сверена на согласованный момент.
| Показатель | Расчёт | Результат |
|---|---|---|
| Доля полезных среди найденных | 15 / 25 × 100 | 60% |
| Полнота | 15 / 20 × 100 | 75% |
| Пропущенные полезные сообщения | 20 − 15 | 5 |
| Лишние уведомления | 25 − 15 | 10 |
Замерьте время и разберите ошибки
Сравнивайте работу на сопоставимых участках: одинаковые чаты, близкие объёмы и характер нагрузки, одинаковый состав учитываемых действий. Спокойную смену нельзя напрямую сравнивать со сменой во время массовой неисправности. Повторная обработка уже знакомых сообщений тоже может исказить результат.
Учитывайте чтение, проверку контекста, разбор лишнего, исправления и тот ручной просмотр исходных чатов, который планируете сохранить. Отдельно запишите разовые затраты на оценку пилота. Экономию можно обсуждать только после такого замера; сама установка бота её не доказывает.
Разберите каждое пропущенное важное сообщение и повторяющиеся причины лишних уведомлений. Затем решите, какие правила уточнить и достаточно ли наблюдений для расширения. Результат небольшого участка не гарантирует такого же качества в других домах. Лист проверки можно обсудить при подготовке пилота.