Эта статья требует дополнительных ссылок для проверки . ( июль 2009 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) |
В компьютерном управлении журналами и разведках , анализе журнала (или система и анализ сетевого журнала ) это искусство и наука стремится разобраться в созданном компьютере записей (также называемый журнал или журнал аудита записи). Процесс создания таких записей называется регистрацией данных .
Типичные причины, по которым люди проводят анализ журналов:
- Соблюдение политик безопасности
- Соблюдение аудита или нормативных требований
- Устранение неполадок системы
- Судебно-медицинская экспертиза (во время расследования или в ответ на повестку в суд )
- Реагирование на инциденты безопасности
- Понимание поведения пользователей в Интернете
Журналы создаются сетевыми устройствами, операционными системами, приложениями и всевозможными интеллектуальными или программируемыми устройствами. Поток сообщений во временной последовательности часто включает журнал. Журналы могут быть направлены в файлы и сохранены на диске или направлены как сетевой поток в сборщик журналов.
Сообщения журнала обычно должны интерпретироваться с учетом внутреннего состояния их источника (например, приложения) и сообщать о событиях, связанных с безопасностью или операциями (например, о входе пользователя в систему или о системной ошибке).
Журналы часто создаются разработчиками программного обеспечения, чтобы помочь в отладке работы приложения или понимании того, как пользователи взаимодействуют с системой, например поисковой системой. Синтаксис и семантика данных в сообщениях журнала обычно зависят от приложения или поставщика. Терминология также может отличаться; например, аутентификация пользователя в приложении может быть описана как вход в систему, вход в систему, соединение пользователя или событие аутентификации. Следовательно, анализ журнала должен интерпретировать сообщения в контексте приложения, поставщика, системы или конфигурации, чтобы проводить полезные сравнения с сообщениями из разных источников журналов.
Формат или содержание сообщения журнала не всегда могут быть полностью задокументированы. Задача аналитика журнала - побудить систему выдать полный диапазон сообщений, чтобы понять весь домен, из которого сообщения должны интерпретироваться.
Аналитик журналов может отображать различную терминологию из разных источников журналов в единую нормализованную терминологию, чтобы отчеты и статистику можно было получать из гетерогенной среды. Например, сообщения журнала из Windows, Unix, сетевых брандмауэров, баз данных могут быть объединены в «нормализованный» отчет для аудитора. Разные системы могут сигнализировать о разных приоритетах сообщений с помощью разного словаря, например, «ошибка» и «предупреждение» по сравнению с «ошибкой», «предупреждением» и «критическим».
Следовательно, методы анализа журналов существуют на всем протяжении от поиска текста до обратного проектирования программного обеспечения.
Функции и технологии [ править ]
Распознавание образов - это функция выбора входящих сообщений и сравнения с книгой шаблонов для фильтрации или обработки по-разному.
Нормализация - это функция преобразования частей сообщения в один и тот же формат (например, общий формат даты или нормализованный IP-адрес).
Классификация и тегирование - это упорядочивание сообщений по разным классам или их тегирование разными ключевыми словами для последующего использования (например, фильтрация или отображение).
Корреляционный анализ - это технология сбора сообщений из разных систем и поиска всех сообщений, относящихся к одному событию (например, сообщения, созданные злонамеренной деятельностью в разных системах: сетевых устройствах, межсетевых экранах, серверах и т. Д.). Обычно это связано с системами оповещения.
Искусственное незнание - это тип машинного обучения, который представляет собой процесс отбрасывания заведомо неинтересных записей журнала. Искусственное незнание - это метод обнаружения аномалий в работающей системе. При анализе журнала это означает распознавание и игнорирование обычных, общих сообщений журнала, которые возникают в результате нормальной работы системы и поэтому не слишком интересны. Однако новые сообщения, которые раньше не появлялись в журналах, могут сигнализировать о важных событиях, и поэтому их следует изучить. [1] [2] Помимо аномалий, алгоритм определяет общие события, которых не было. Например, не удалось запустить обновление системы, которое запускается каждую неделю.
Анализ журналов часто сравнивают с другими инструментами аналитики, такими как управление производительностью приложений (APM) и мониторинг ошибок. Хотя большая часть их функций явно перекрывается, разница коренится в процессе. APM делает упор на производительность и чаще всего используется в производстве. Мониторинг ошибок управляется разработчиками, а не операциями, и интегрируется в код в блоки обработки исключений .
См. Также [ править ]
- Контрольный журнал
- Регистратор данных
- Журнал сервера
- Системный монитор
- ПО для анализа веб-журналов
- Список программ веб-аналитики
Ссылки [ править ]
- ^ «Искусственное незнание: практическое руководство» . www.ranum.com .
- ^ "Журнал классификации сообщений с помощью syslog-ng [LWN.net]" . lwn.net .