Токсичные сообщения в Telegram: где автоматической проверки недостаточно
Почему грубость, травля и цитата требуют разных решений. Как задать правила, проверить ошибки фильтра и организовать человеческий разбор без вымышленного детектора токсичности.
«Ну ты гений» может быть благодарностью, дружеским поддразниванием или публичной насмешкой. Если бот видит только эти три слова, ему неоткуда узнать, что произошло минутой раньше. Даже человеку иногда нужно прочитать соседние реплики и уточнить обстоятельства.
Автоматические фильтры полезны для конкретных правил: например, запрета определённых выражений. Но оценка поведения требует более аккуратного процесса. В Defendy ИИ-проверка предназначена для спама; отдельного детектора токсичности, шкалы тяжести конфликта или автоматической очереди спорных разговоров здесь нет. Ниже разберём, как работать с этой границей.
Договоритесь, что именно нарушает правила
Слово «токсичность» удобно в разговоре, но плохо объясняет участнику, что нужно изменить. В одной группе оно означает мат, в другой — переход на личности, в третьей — систематическое преследование. Эти случаи могут пересекаться, но требуют разных доказательств.
Разделите хотя бы четыре ситуации:
- Запрещённая лексика. Само употребление слова нарушает опубликованное правило. Уточните, распространяется ли запрет на цитаты и обсуждение терминов.
- Личная атака. Вместо аргумента участник унижает собеседника. Нужны адресат и содержание реплики.
- Повторяющееся преследование. Отдельное сообщение может выглядеть безобидно; важны серия действий и реакция на просьбу остановиться.
- Жёсткое несогласие. Критика решения, продукта или идеи может быть неприятной, но сама по себе не обязательно нарушает правила.
Формулировка «не оскорбляйте участников и не продолжайте направленные на них насмешки после просьбы остановиться» даёт модератору больше опоры, чем «не будьте токсичными». При этом конкретные угрозы и публикация чужих личных данных требуют своевременного человеческого вмешательства: не ждите, пока накопится условный балл модели.
Одинаковые слова, разные основания для решения
Все ситуации в таблице вымышлены. Она не предлагает универсальных вердиктов; она показывает, чего не хватает проверке отдельной строки.
| Текст | Возможный контекст | Что проверить |
|---|---|---|
| «Ну ты гений» | Благодарность за помощь или насмешка после ошибки | Кому отвечают и какие реплики были перед этим |
| «Он написал мне: “ты идиот”» | Жалоба, содержащая цитату оскорбления | Цитирует ли автор чужую реплику или использует её для новой атаки |
| «Тебя никто не спрашивал» | Разовая грубость или часть серии ответов одному человеку | Повторение, адресата и уже сделанные замечания |
| «Это решение бессмысленно» | Критика предложения | Есть ли личная атака или только резкая оценка идеи |
Контекст не означает автоматического оправдания. «Мы давно знакомы» не отменяет просьбу прекратить шутки. Популярность участника также не должна давать ему отдельный стандарт поведения. Но и неприятное впечатление модератора не заменяет указание нарушенного правила.
Что об этом показывают исследования
Джон Павлопулос и соавторы в исследовании ACL 2020 изучали комментарии Wikipedia, добавляя предыдущую реплику и название обсуждения. Контекст мог как усиливать, так и смягчать воспринимаемую токсичность. При этом авторы не нашли улучшения качества у проверенных ими контекстных классификаторов. Это важное ограничение: «дать модели больше переписки» не означает автоматически решить проблему. Работа не является оценкой современных моделей или Defendy.
Пол Рёттгер и соавторы в HateCheck, ACL 2021 предложили функциональные тесты детекторов языка ненависти, чтобы выявлять слабые места, скрытые общей метрикой. Для администратора полезен сам подход: проверять конкретные различия между случаями. Язык ненависти и бытовая грубость не тождественны, поэтому результаты этой работы нельзя переносить на любой конфликт или конкретный бот.
Какие средства есть в Defendy
Антимат работает с выбранным словарём и исключениями. В текущем интерфейсе есть системный, пользовательский и комбинированный режимы, настройка проверки подписей к медиа, удаление сообщения и действие над участником. Это лексический фильтр. Его срабатывание не доказывает, что автор кого-то преследует; отсутствие срабатывания не доказывает доброжелательность.
Стоп-слова позволяют задать собственные лексические условия. Выбирайте режим поиска и последствия под конкретное правило, затем проверяйте обычные слова, цитаты и допустимые обсуждения. Слишком широкое исключение может пропустить нарушение, а слишком короткий фрагмент — задеть невинный текст. Подробности: антимат и стоп-слова.
ИИ-антиспам решает другую задачу. Автоматическая проверка получает ограниченный текст сообщения и название группы, а не весь разговор. В её инструкции обычные вопросы и мнения, даже грубые, отделены от спама. Поэтому проверять ей «токсичность» означает ожидать от инструмента другого результата. Ручная /spam тоже предназначена для спама и при положительном вердикте запускает удаление; это не команда для безопасного разбора конфликта.
Проверьте фильтр на парных примерах
Начните с закрытой тестовой группы. Составьте свои вымышленные пары, в которых меняется один важный признак:
- прямая атака и сообщение о том, что такая атака произошла;
- оскорбление человека и критика его предложения;
- однократная реплика и серия похожих обращений после просьбы остановиться;
- утверждение и его отрицание;
- нейтральное упоминание группы людей и враждебное высказывание о ней.
Перед тестом два модератора независимо отмечают ожидаемый результат и пункт правил. Расхождения обсудите. Если правило не позволяет уверенно решить случай, уточните правило или оставьте его для ручного разбора, а не объявляйте одну из оценок «объективной».
Смотрите на ложные срабатывания: например, фильтр удаляет жалобу за процитированное оскорбление. Смотрите и на пропуски: систематическая насмешка обходится без запрещённых слов. Проверка должна включать реальные для сообщества языки и формы речи. Не выводите качество для одного языка из нескольких примеров на другом.
Если фильтр одинаково реагирует на обе части пары, спросите, соответствует ли это вашей политике. Для абсолютного запрета слова это может быть ожидаемо; для оценки намерения этого недостаточно. Словарю не следует приписывать понимание диалога, которого он не выполняет.
Разберите спор так, чтобы решение можно было пересмотреть
Для ручного разбора достаточно короткой карточки в закрытом рабочем пространстве команды: ссылка на доступное сообщение, минимум нужного контекста, пункт правил, решение и ответственный. Это организационный пример, а не готовая функция Defendy. Не пересылайте жалобы и личные сведения в общедоступный журнал.
Человек проверяет последовательность реплик, отличает цитату от нового нападения и выбирает меру по опубликованной политике. Если контекста не хватает, можно запросить уточнение. Если конфликт продолжается, допустимо сначала пресечь его разрешённым инструментом, а затем разобраться; срок и основание ограничения должны быть понятны команде.
Укажите участникам контакт для обжалования. При пересмотре желательно привлечь другого модератора, если он доступен. Его задача — проверить факты и правило, а не подтвердить первоначальное решение из солидарности с коллегой. Ошибочное ограничение отменяют отдельно; удалённое сообщение может потребоваться отправить заново.
Журнал Defendy полезен только для подключённых и выбранных событий. Не считайте его полным архивом конфликта или автоматической очередью жалоб. Не сохраняйте больше личных данных, чем нужно для решения, и не отправляйте весь спор внешней модели ради удобства. Передача текста требует отдельного внимания к условиям обработки данных.
Итоговая проверка процесса проста: можете ли вы объяснить участнику, какие действия нарушили какое правило и кто пересмотрит ошибку? Если ответ сводится к «система решила, что вы токсичный», основания для такого решения слишком расплывчаты.
Источники и границы функций проверены 5 октября 2026 года. Примеры учебные; измерений качества Defendy или универсального порога токсичности здесь нет.
