Байесовское отравление - это метод, используемый спамерами электронной почты, чтобы попытаться снизить эффективность спам-фильтров, которые полагаются на байесовскую фильтрацию спама . Байесовская фильтрация основывается на байесовской вероятности для определения того, является ли входящая почта спамом или нет. Спамер надеется, что добавление случайных (или даже тщательно отобранных) слов, которые вряд ли появятся в спам-сообщении, заставит спам-фильтр поверить в подлинность сообщения - статистическая ошибка типа II .
Спамеры также надеются повысить частоту ложных срабатываний спам-фильтра, превратив ранее невинные слова в спам-слова в байесовской базе данных (статистические ошибки типа I ), потому что пользователь, который настраивает свой спам-фильтр на зараженное сообщение, будет указывать на фильтр, что слова, добавленные спамером, являются хорошим признаком спама.
эмпирические результаты
Грэм-Камминг
На конференции по спаму, проходившей в Массачусетском технологическом институте в 2004 году, Джон Грэм-Камминг представил две возможные атаки на байесовский движок POPFile . [1] Одно было неудачным, а другое работало, но было непрактично. При этом они определили два типа атак отравления: пассивные (когда слова добавляются без какой-либо обратной связи со спамером) и активные (когда спамер получает обратную связь после получения спама).
Пассивный метод добавления случайных слов в небольшой спам оказался неэффективным в качестве метода атаки: было доставлено только 0,04% измененных спам-сообщений. Активная атака включала добавление случайных слов в небольшой спам и использование веб-ошибки для определения того, был ли получен спам. Если это было так, то другая байесовская система обучалась с использованием тех же ядовитых слов. Отправив 10 000 спама одному пользователю, он определил небольшой набор слов, которые можно использовать для передачи спама.
Простая контрмера по отключению удаленных изображений ( веб-ошибок ) в электронных письмах устраняет эту проблему.
Виттель и Ву
На конференции по электронной почте и защите от спама в 2004 году Виттель и Ву представили доклад [2], в котором они показали, что пассивное добавление случайных слов к спаму неэффективно против CRM114 , но эффективно против SpamBayes с добавлением 100 слов на спам.
Они также показали, что более умная пассивная атака с добавлением общеупотребительных английских слов все еще неэффективна против CRM114, но еще более эффективна против SpamBayes. Им нужно было добавить к спаму всего 50 слов, чтобы пройти через SpamBayes.
Тем не менее, тестирование Виттела и Ву подверглось критике из-за минимального количества информации в заголовке, которое присутствовало в электронных письмах, которые они использовали; большинство байесовских фильтров спама широко используют информацию заголовка и другие метаданные сообщения для определения вероятности того, что сообщение является спамом. Обсуждение результатов SpamBayes и некоторые контрдоказательства можно найти в архиве списка рассылки SpamBayes. [3]
Все эти атаки относятся к типу II: атаки, направленные на доставку спама. Атака типа I пытается вызвать ложные срабатывания, превращая ранее невинные слова в спамерские слова в байесовской базе данных.
Стерн, Мейсон и Шеперд
Кроме того, в 2004 году Штерн, Мейсон и пастух написал технический отчет в Университете Далхаузи , [4] , в котором они подробно пассивный тип II атаки. Они добавляли общеупотребительные английские слова в спам-сообщения, используемые для обучения и тестирования спам-фильтра.
В двух тестах они показали, что эти общие слова снизили точность спам-фильтра (процент сообщений, классифицированных как спам, которые действительно являются спамом) с 84% до 67% и с 94% до 84%. Изучение их данных показывает, что отравленный фильтр был склонен полагать, что сообщения с большей вероятностью могут быть спамом, чем "ветчина" (хорошая электронная почта), что увеличивало количество ложных срабатываний.
Они предложили две контрмеры: игнорирование общих слов при выполнении классификации и сглаживание вероятностей на основе достоверности слова. Слово имеет достоверную вероятность, если злоумышленник вряд ли сможет угадать, входит ли оно в личный словарь. Таким образом, общие слова не заслуживают доверия, и их вероятность будет сглажена до 0,5 (что сделает их нейтральными).
Лоуд и Мик
На конференции по электронной почте и защите от спама в 2005 году Лоуд и Мик представили доклад [5], в котором они продемонстрировали, что пассивные атаки, добавляющие в спам случайные или обычные слова, неэффективны против наивного байесовского фильтра. (Фактически, они показали, как продемонстрировал Джон Грэм-Камминг еще в 2004 году, что добавление случайных слов улучшает точность фильтрации спама.)
Они продемонстрировали, что добавление неаккуратных слов - слов, которые с большей вероятностью появятся в ветке (не спам-сообщениях электронной почты), чем в спаме, - было эффективным против наивного байесовского фильтра и позволило спаму проскользнуть. Далее они подробно описали две активные атаки (атаки, требующие обратной связи со спамером), которые были очень эффективны против фильтров спама. Конечно, предотвращение любой обратной связи со спамерами (например, отчетов о недоставке, ошибок уровня SMTP или веб-ошибок) тривиально побеждает активную атаку.
Они также показали, что переобучение фильтра эффективно предотвращает все типы атак, даже если данные переобучения были отравлены.
Опубликованные исследования показывают, что добавление случайных слов в спам-сообщения неэффективно как форма атаки, но активные атаки очень эффективны и что добавление тщательно подобранных слов в некоторых случаях может работать. Для защиты от этих атак очень важно, чтобы спамеры не получали обратной связи и чтобы статистические фильтры регулярно переобучались.
Исследование также показывает, что продолжение расследования атак на статистические фильтры имеет смысл. Были продемонстрированы работающие атаки, и необходимы контрмеры, чтобы гарантировать, что статистические фильтры остаются точными.
Смотрите также
Рекомендации
- ^ "Архивная копия" . Архивировано из оригинала на 2006-10-12 . Проверено 24 ноября 2006 . CS1 maint: не рекомендуется параметр ( ссылка ) CS1 maint: заархивированная копия как заголовок ( ссылка )
- ^ «Архивная копия» (PDF) . Архивировано из оригинального (PDF) 29 апреля 2013 года . Проверено 13 февраля 2012 . CS1 maint: не рекомендуется параметр ( ссылка ) CS1 maint: заархивированная копия как заголовок ( ссылка )
- ^ "The spambayes-dev Сентябрь 2004 г. Архив по ветке" .
- ^ «Технические отчеты - факультет компьютерных наук» .
- ^ http://www.ceas.cc/2005/125.pdf [ постоянная мертвая ссылка ]
Внешние ссылки
- Существует ли байесовское отравление? (требуется регистрация)