• Защита электронного банкинга

    Надежные решения в области аутентификации, электронной подписи

  • Информационная безопасность

    Комплекс программных средств эффективной защиты конечных точек - Lumension

  • Инструментальный анализ (аудит)

    Комплексный технический анализ корпоративных информационных систем

Система обработки машинных данных Splunk


Splunk 

Cистема обработки машинных данных для сбора, индексации и использования данных, созданных вашей ИТ-инфраструктурой и физическими, виртуальными и облачными системами.

Splunk позволяет найти и устранить проблемы с приложениями и расследовать нарушения системы безопасности за считанные минуты, не допустить ухудшения обслуживания или простоев, обеспечить соответствие требованиям при меньших затратах и собрать новые ценные сведения для ИТ и бизнеса. Это автономный пакет программного обеспечения, совместимый со всеми основными операционными системами.

Splunk выполняет сбор и индексацию в режиме реального времени всех ваших машинных данных - физических, виртуальных и облачных. Эта программа обеспечивает доступность, простоту использования и ценность данных. Полная индексация делает возможными полную визуализацию, экспертизу, а также поиск и устранение неполадок. 

Splunk  позволяет создавать специализированные отчеты для выявления трендов или контроля за соблюдением требований, разрабатывать действующие в режиме реального времени информационные панели для мониторинга нарушений системы безопасности и атак, соглашений об уровне обслуживания приложений и других ключевых показателей производительности. В режиме реального времени анализирует пользовательские транзакции, поведение клиентов и машин, угрозы безопасности, мошенническую деятельность и многое другое.

Основные характеристики:

  • Splunk индексирует все типы машинных данных из любых источников в режиме реального времени. Продукт позволяет проводить мониторинг обновляющихся в реальном времени файлов журналов, включить мониторинг изменений в файловой системе или реестре Windows или задавать график выполнения сценария для сбора метрик системы;
  • Серверы пересылки данных Splunk обеспечивают безопасный, распределенный сбор универсальных данных с десятков тысяч конечных точек в режиме реального времени. Они способны проводить мониторинг файлов журналов локальных приложений, осуществлять по графику захват выходных данных команд состояния, осуществлять захват метрик производительности виртуальных и невиртуальных источников или отслеживать конфигурацию файловой системы, разрешения и изменения атрибутов;
  • С помощью Splunk можно сопоставлять сложные события, охватывающие множество источников данных в вашей среде. Splunk поддерживает пять типов сопоставления:
    - Сопоставление на основе времени для выявления взаимосвязей исходя из времени, расположения или расстояния;
    - Сопоставление на основе транзакций для отслеживания серии связанных событий как единой транзакции с целью измерения длительности, состояния или иного анализа;
    - Вложенный поиск, при котором результаты одного поиска используются для проведения другого поиска;
    - Операции поиска, обеспечивающие сопоставление с внешними источниками данных за пределами Splunk;
    - Операции соединения для поддержки SQL-подобных внутренних и внешних соединений.
  • Splunk  создан для больших объемов данных. Архитектура масштабирования Splunk основана на MapReduce, поэтому по мере увеличения ежедневных объемов данных и количества источников можно наращивать производительность просто путем добавления типовых серверов. Автоматическое балансирование нагрузки оптимизирует рабочие нагрузки и время ответа, а также обеспечивает поддержку отказоустойчивости. Готовый набор функциональных возможностей подготовки отчетов и аналитики устраняет необходимость развертывания сторонних инструментов создания отчетов. Splunk можно настроить на использование SAN или других запоминающих устройств для долгосрочного хранения данных;
  • Splunk  обеспечивает масштабирование центров обработки данных. Распределенная архитектура Splunk позволяет во время поиска охватывать несколько развернутых подсистем в пределах одного центра обработки данных или в глобальном масштабе всех центров обработки данных. Ролевая модель доступа позволяет регулировать область поиска, доступную конкретному пользователю;
  • Splunk  обеспечивает ролевую модель безопасности. Осуществляется аутентификация каждой транзакции Splunk, включая действия пользователей через веб-интерфейс и интерфейс командной строки, а также действия системы через Splunk API. Splunk также интегрируется с внешними LDAP-совместимыми серверами каталогов и серверами Active Directory для обеспечения соблюдения корпоративной политики безопасности. Интеграция с SSO также доступна для сквозной аутентификации учетных данных.

 Что такое машинные данные?


Журналы приложений

Большинство разрабатываемых самостоятельно и приобретаемых приложений создает локальные файлы журналов, часто через встроенные в промежуточное ПО службы ведения журналов—серверы приложений J2EE, такие как Weblogic, Websphere и JBoss, .Net, PHP и другие. Эти файлы крайне важны для повседневной отладки производственных приложений разработчиками и службой поддержки приложений. Они часто являются самым лучшим средством создания отчетов о деловой и пользовательской активности, а также обнаружения мошеннических сценариев, поскольку содержат все сведения о транзакциях. Если разработчики включают в журналы информацию о времени событий, то их также можно использовать для мониторинга и создания отчетов о производительности приложений.

Журналы веб-доступа

Журналы веб-доступа содержат отчеты обо всех запросах, обработанных веб-сервером: IP-адрес клиента, от которого поступил запрос, URL-адрес, указанный в запросе, URL-адрес, с которого производилось обращение, и данные об успешном выполнении или ошибке запроса. Чаще всего они обрабатываются для создания отчетов по веб-аналитике в маркетинговых целях: для ежедневного подсчета посетителей, получения сведений о наиболее часто запрашиваемых страницах и т.п.

Также они неоценимы в качестве отправной точки при расследовании проблем, о которых сообщают пользователи, поскольку в журнале, где зарегистрирована ошибка запроса, может быть указано точное время ошибки. Веб-журналы являются достаточно стандартными и хорошо структурированными. Единственная сложность—это огромный объем данных у популярных веб-сайтов, как правило, получающих миллиарды запросов ежедневно.

Журналы прокси-сервера

Практически все предприятия, поставщики услуг, учреждения и государственные организации, предоставляющие сотрудникам, клиентам и гостям веб-доступ, используют тот или иной тип веб-прокси для контроля и мониторинга доступа. В журналах прокси-сервера регистрируются все веб-запросы, сделанные пользователями через прокси-сервер. Они могут включать имена корпоративных пользователей и URL-адреса, к которым были обращения. Эти журналы критически важны для мониторинга и расследования случаев нарушения "условий предоставления услуг" или корпоративной политики использования веб-ресурсов, а также являются жизненно важным компонентом эффективного мониторинга и расследования утечки данных.

Детализация вызова

Детализация вызова (CDR), записи данных о списаниях, записи данных о событиях -- это некоторые из названий тех машинных данных, которые содержат сведения о событиях, зарегистрированных в журнале сетевыми коммутаторами. CDR содержит прошедшие через коммутатор полезные сведения о вызове или услуге, такие как номер вызывающего абонента, номер вызываемого абонента, время, продолжительность и тип вызова и т.п. По мере перехода услуг связи к сервисам на основе интернет-протокола, эти данные также получили название IPDR. Они содержат сведения об IP-адресе, номере порта и т.п. Характеристики, форматы и структура этих файлов сильно различаются, и отслеживание всех преобразований традиционно является сложной задачей. Тем не менее, содержащиеся в CDR данные крайне важны для выставления счетов, гарантирования доходов, обеспечения доверия клиентов, урегулирования взаимоотношений с партнерами, маркетинговых исследований и другой деятельности. Splunk может быстро проиндексировать эти данные и объединить их с другими деловыми данными, позволяя пользователям извлечь новую уникальную информацию из этих обширных сведений об использовании.

Данные о посещениях

Использование веб-страницы на веб-сайте фиксируется путем сбора данных о посещениях. Это обеспечивает понимание действий пользователей, приносит пользу при анализе удобства использования веб-сайта, стимулировании сбыта и исследованиях общего характера. Эти данные имеют нестандартные форматы, а действия могут регистрироваться во многих местах, таких как веб-сервер, маршрутизаторы, прокси-серверы, серверы объявлений и т.д. Существующие инструменты мониторинга рассматривают частичное представление данных из конкретного источника. Существующие продукты для веб-аналитики и хранилищ данных часто осуществляют выборку данных, упуская общий обзор поведения и не предусматривая анализа в режиме реального времени.

Очереди сообщений

Технологии организации очередей сообщений, например, TIBCO, JMS и AquaLogic, используются для передачи данных и задач между компонентами служб и приложений на основе публикации и подписки. Подписка на эти очереди сообщений является хорошим способом устранения проблем в сложных приложениях, поскольку вы сможете увидеть точные данные, полученные следующим компонентом цепочки от предыдущего компонента. По отдельности очереди сообщений все чаще используются как магистральный элемент архитектуры ведения журналов для приложений.

Пакетные данные

Создаваемые сетями данные обрабатываются с помощью таких инструментов, как tcpdump и tcpflow, которые формируют данные захвата пакетов (pcaps) и другую полезную информацию уровня пакетов и уровня сеансов. Эта информация необходима для решения вопросов, связанных с ухудшением производительности, превышением времени ожидания, узкими местами или подозрительной деятельностью, свидетельствующей о том, что сеть может быть скомпрометирована или стать объектом удаленной атаки.

Файлы конфигурации

Отсутствует замена текущим, активным конфигурациям систем, позволяющая понять принципы создания инфраструктуры. Прошлые конфигурации нужны при устранении отказов, которые возникли в прошлом и могут повториться в будущем. При изменении конфигурации важно знать, какие именно изменения были внесены и когда это произошло, были ли эти изменения санкционированы, или злоумышленник успешно скомпрометировал систему во время атаки с использованием путей обхода системы защиты, зловредных программ с таймером действия или других скрытых угроз.

Журналы и таблицы аудита баз данных

Базы данных содержат часть наиболее уязвимых корпоративных данных—сведения о клиентах, финансовые данные, медицинские карты пациентов и т.п. Записи аудита всех запросов к базам данных жизненно важны для понимания того, кто и когда осуществлял доступ к конкретным данным или изменял их. Журналы аудита баз данных также полезны для выяснения способов использования баз данных приложениями с целью оптимизации запросов. Некоторые базы данных записывают данные аудита в файлы, в то время как другие поддерживают доступные через SQL таблицы аудита.

Журналы аудита файловых систем

Уязвимые данные, хранящиеся за пределами баз данных, находятся в файловых системах, часто используемых совместно. В некоторых отраслях, например, в здравоохранении, наибольшему риску утечки данных подвергаются записи о клиентах в совместно используемых файловых системах. Различные операционные системы, инструменты сторонних производителей и технологии хранения предоставляют различные возможности аудита доступа для чтения к уязвимым данным на уровне файловой системы. Эти данные аудита являются жизненно важным источником сведений для мониторинга и расследования доступа к уязвимым данным.

Управление и ведение журналов API

Все чаще поставщики предоставляют критически важные для управления данные и регистрируемые события через стандартизированные и специализированные API, а не через файлы журналов. Контрольная точка ограничивает доступ к журналу через OPSEC Log Export API (OPSEC LEA). Поставщики средств виртуализации, в том числе VMware и Citrix, предоставляют сведения о конфигурации, журналы и данные о состоянии систем через собственные API.

Метрики ОС, состояние и диагностические команды

Операционные системы предоставляют такие ключевые метрики, как использование ЦПУ и памяти и сведения о состоянии при помощи утилит, работающих в режиме командной строки, например, ps и iostat в Unix и Linux и perfmon в Windows. Эти данные обычно используются инструментами мониторинга серверов, но редко сохраняются, хотя их потенциальная ценность весьма высока при поиске и устранении неполадок, анализе трендов для выявления скрытых проблем и расследования нарушений системы безопасности.

Системный журнал, WMI и другие журналы...

Существует бесчисленное множество других полезных и важных источников машинных данных помимо тех, которые включены в этот список: журналы хранилища исходного кода, журналы системы физической защиты и т.д. Вам также понадобятся журналы брандмауэра и IDS для создания отчетов о сетевых подключениях и атаках. В журналах ОС, в том числе в системном журнале Unix и Linux (syslog) и в журналах событий Windows, записываются сведения о том, кто выполнил вход в систему на ваших серверах, какие административные действия были предприняты этими пользователями, когда был осуществлен запуск и остановка служб или произошла критическая ошибка ядра. Журналы DNS, DHCP и других сетевых служб содержат записи о том, кто назначал IP-адреса и какие именно, а также о разрешении доменов. Системные журналы ваших маршрутизаторов, коммутаторов и сетевых устройств регистрируют состояние сетевых подключений и отказы критически важных компонентов сети. Дело в том, что машинные данные не ограничиваются только журналами, и существует значительно больше разновидностей журналов, чем могут поддерживать традиционные решения по управлению журналами.


Назад