Вчера вечером компания Apple временно удалила Telegram из App Store, потому что один пользователь разместил в публичном групповом чате незаконный порнографический контент.

Telegram был восстановлен в течение нескольких часов. Но я хочу объяснить, что произошло, чтобы предупредить других разработчиков приложений и помочь защитить онлайн-сообщества от подобных атак.

🧹Поскольку Telegram быстро удаляет незаконный контент из публичных групп, используя сообщения от пользователей, фильтры искусственного интеллекта, хэши контента и другие инструменты модерации, злоумышленнику пришлось прибегнуть к техническому трюку. Он вставил незаконный контент, измененный с помощью искусственного интеллекта, путем редактирования старого сообщения в активном групповом чате. В результате этот контент был фактически скрыт от участников группы, что не позволяло им его видеть и оперативно сообщать о нем.

Злоумышленник был вымогателем: человеком, который требует выкуп от владельцев групп в обмен на то, что не будет нацеливаться на их сообщества. Эти вымогатели используют автоматизированные аккаунты для размещения незаконного контента в публичных группах, а затем напрямую сообщают об этом в Apple, пытаясь спровоцировать удаление легитимных сообществ, владельцы которых отказались им платить.

🤝 С практической точки зрения, незаконный порнографический контент в публичных группах Telegram не является системной проблемой. Наша система модерации эффективна. Тот факт, что злоумышленникам приходится прибегать к устаревшим, фактически невидимым материалам и другим техническим уловкам, доказывает это.

⚠️ Однако, здесь есть два важных урока для разработчиков приложений и онлайн-сообществ:

— Вымогатели нашли способ манипулировать Apple, заставляя ее реагировать слишком бурно. Apple удалила Telegram из App Store, не связавшись с нами предварительно. Это создает потенциальный системный риск для каждого мобильного приложения, которое размещает контент, созданный пользователями. Если приложение, которым пользуется более миллиарда человек, может быть удалено из App Store без предварительного предупреждения, то это может произойти с любым приложением.

— Тактики, используемые вымогателями, постоянно развиваются, что подвергает риску сообщества на различных платформах. Telegram имеет большой опыт в выявлении уловок, используемых скоординированными группами, и в защите легитимных сообществ (даже если это сопряжено с риском временного удаления нашего собственного приложения из App Store). Другие платформы могут быть не так хорошо подготовлены.

Будьте бдительны! ☝️