ИИ-модерация в Telegram: как понять, нужна ли она вашему чату
Как проверить пользу ИИ-антиспама на обычных сообщениях, посчитать ошибки и выбрать безопасные последствия. Отдельно разбираем два сценария проверки Defendy.
ИИ-антиспам стоит пробовать, когда нежелательные сообщения меняют формулировки, а словарь запретов уже мешает нормальному общению. Но сначала нужно понять, какие ошибки вы готовы исправлять. Удалённая просьба о помощи и пропущенная реклама создают разные проблемы, даже если в отчёте обе считаются одной ошибкой.
Представим районный чат. «Продам велосипед» в нём разрешено по субботам, а приглашения в инвестиционные проекты запрещены всегда. Модель может распознать рекламную подачу, но без ваших правил не узнает про субботу. Это условный пример: полезность ИИ зависит не только от языка сообщения, но и от того, какие сведения проверка действительно получает.
Если вы решаете, поручать ли модели разбор конкретного сообщения, отдельно изучите роль ChatGPT в модерации: кто принимает итоговое решение и какие сведения допустимо передавать на проверку.
Сначала выберите задачу, которую можно проверить
Задача «сделать чат приятным» слишком размыта для испытания. «Ловить посторонние рекламные приглашения и сохранять разрешённые объявления» уже позволяет составить примеры и проверить результат.
| Проблема | С чего начать | Что оставить человеку |
|---|---|---|
| Один и тот же нежелательный адрес | Фильтр ссылок и точные исключения | Проверку полезных ссылок на тот же ресурс |
| Реклама с постоянно новым текстом | Испытание текстового антиспама, затем ИИ-слоя | Разбор ошибочно удалённых объявлений |
| Оскорбления, ирония, затяжной спор | Правила поведения и работа модератора | Оценку разговора и соразмерности вмешательства |
| Неясно, разрешена ли самореклама | Уточнение правил группы | Само решение о границе допустимого |
Если люди расходятся во мнениях уже на этом этапе, сначала договоритесь о правиле. Добавление модели не разрешает спор между администраторами. О вопросах с оскорблениями подробнее рассказываем в материале о токсичности.
Что именно проверяет Defendy
В Defendy есть два разных сценария ИИ-проверки спама. Их нельзя оценивать одним тестом и считать взаимозаменяемыми.
Автоматическая верификация текстового антиспама. Сначала работает локальный детектор. Дополнительная ИИ-проверка применяется к подходящим сообщениям из промежуточной зоны его оценки, если включена и доступна. На отбор влияют длина текста, статус новичка и внутренние условия доверия. Однозначные для первого этапа результаты не обязательно отправляются модели.
В текущей реализации внешняя проверка получает первые 300 символов сообщения и название группы. Предыдущая переписка и ваши полные правила в этот запрос не входят. Это ограничение входных данных, а не обещание, что модель «поймёт контекст чата». Если ИИ недоступен, решение в этой ветке возвращается к выбранной строгости локального фильтра. Сообщение при этом всё ещё может быть признано спамом.
В мини-приложении путь настройки: Антиспам → Текст. Для ИИ есть переключатель и период новичка: 3, 7, 14 или 30 дней. Условие «только для новичков» в текущем интерфейсе не редактируется. Доступность проверки зависит также от конфигурации сервиса. ИИ-функции описаны как beta; наличие кода или переключателя не подтверждает работу во всех группах. См. настройки текстового антиспама.
Ручная команда /spam. Её отправляют ответом на выбранное сообщение. При включённой функции команда доступна участникам, а сообщения администраторов не являются допустимой целью. Проверка анализирует текст выбранного сообщения, без истории разговора. При вердикте «спам» запускается удаление: человек инициирует проверку, но не подтверждает её результат перед удалением. Отдельной безопасной «предпросмотрной» командой это не является.
У ручного сценария есть месячные лимиты, зависящие от действующей конфигурации. Управляющий ботом может посмотреть /spamstatus; не переносите увиденную квоту на автоматическую верификацию. Отсутствие удаления или ответа не доказывает успешную проверку: возможны неподходящая цель, лимит или сбой. Условия разобраны в руководстве по /spam.
Соберите набор, на котором неприятно ошибиться
Начните с небольшого, но разнообразного набора обезличенных или вымышленных сообщений. В нём должны быть:
- запрещённая реклама с разными формулировками;
- обычные вопросы, в которых встречаются слова «купить», «заработать» или «скидка»;
- разрешённые объявления и ответы на просьбу порекомендовать услугу;
- предупреждение о мошенничестве, цитирующее рекламную фразу;
- длинный текст, смысл которого уточняется в конце;
- языки, сленг и смешанная письменность, которыми действительно пользуется группа.
До запуска проверки отметьте ожидаемое решение и конкретный пункт правил. Случаи, в которых два модератора не согласны, вынесите отдельно. Не подгоняйте правильный ответ под вывод модели задним числом.
Проверяйте в закрытой тестовой группе, с добровольным участником без прав администратора и без ценных сообщений. Запишите настройки, дату, наблюдаемое действие и доступную причину срабатывания. Вывод ручной /spam не показывает, что автоматическая ветка проверила бы тот же текст: у них разные входы и условия запуска. Повторные запросы могут использовать сохранённый результат, поэтому десять одинаковых ответов не равны десяти независимым испытаниям.
Считайте оба вида ошибок
Ложное срабатывание означает, что разрешённое сообщение признали спамом. Пропуск означает, что запрещённое оставили. Общая доля правильных ответов может скрывать цену первого вида ошибок.
Ниже вымышленный расчёт, не результаты Defendy. Пусть модераторы заранее разметили 100 сообщений: 20 нежелательных и 80 разрешённых.
| Оценка модератора | Система пометила как спам | Система пропустила |
|---|---|---|
| 20 нежелательных | 18 верных срабатываний | 2 пропуска |
| 80 разрешённых | 4 ложных срабатывания | 76 верных пропусков |
Получилось 94 верных решения из 100. При этом среди 22 помеченных сообщений четыре были полезными: примерно каждое пятое срабатывание потребует исправления. Кроме того, пропущены два из двадцати нежелательных сообщений. Обе величины важнее красивого общего процента. Маленькая искусственная выборка не даёт прогноза точности для реального потока.
Отдельно считайте случаи, где вообще неизвестно, состоялась ли проверка. Их нельзя записывать в верные пропуски. Затем сравните ошибки по категориям: объявления, цитаты, новые участники, языки. Именно там обычно становится понятно, что менять в правилах или настройках.
Включайте только с понятным планом исправления
До рабочего запуска назначьте человека для обращений и укажите контакт в правилах. Включите журнал нужных событий, если собираетесь на него опираться, и проверьте, что тестовое событие действительно приходит. Журнал не следует считать полной копией переписки.
Не путайте действие над участником с удалением сообщения. У текстового антиспама значение «ничего» для наказания не гарантирует сохранение текста: удаление по схеме включено отдельно, а отдельного переключателя удаления на текущем экране нет. Предупреждение тоже может сопровождаться удалением и накоплением баллов. Безопасность испытания обеспечивает прежде всего тестовая группа.
При ошибке сохраните минимально необходимое описание случая, отмените ошибочное ограничение, если оно было применено, и скорректируйте причину сбоя. Не обещайте восстановить удалённое сообщение: автору может понадобиться отправить его заново. Отключение ИИ-слоя возвращает локальную проверку, поэтому при продолжающихся ошибках проверьте и её.
Наконец, оцените данные: проверяемый текст может уходить провайдеру модели. Не используйте секреты и личные документы; уточните у оператора провайдера и сроки хранения, если это условие запуска. Текущая политика оставляет эти сведения на уточнение и не даёт основания обещать нулевую передачу данных.
В NIST AI RMF 1.0, приложение C отдельно разбираются распределение человеческой ответственности и риск потери контекста при формализации решений. Для администратора практический вывод такой: назначьте ответственного за ошибки до включения автоматических последствий.
Проверка источников и описанной реализации: 5 октября 2026 года. Испытаний точности на реальных чатах в этой статье нет.
