Разработка алгоритма предподготовки данных для детектирования аномалий: суть темы

В теме разработки алгоритма предподготовки данных для подсистемы детектирования аномалий разбирают этапы приведения сырых логов и метрик к единому формату и выделяют ключевую задачу — обеспечение качества и однородности временных рядов и событий перед подачей в движок обнаружения аномалий.

Что включает работа

• анализ типов источников данных и форматов (логи, метрики, трассировки) и выявление особенностей, влияющих на обнаружение аномалий;
• очистка и нормализация: удаление дубликатов, обработка пропусков, приведение временных меток к единой зоне и разрешению;
• агрегация и выработка признаков: скользящие статистики, сезонные компоненты, категориальные признаки и индикаторы событий;
• согласование схемы данных для индексирования в OpenSearch и подготовка мэппинга полей и типов;
• проверки качества: метрики пропусков, распределений и устойчивости признаков во времени.

На что обращают внимание

Особое внимание в такой работе уделяют сохранению причинно-следственной информативности признаков при фильтрации, а также тому, как предподготовка влияет на ложные срабатывания и чувствительность алгоритмов детектирования. Описывают критерии отбора преобразований, способы генерации синтетических или аннотированных наборов для тестирования и требования к масштабируемости конвейера в OpenSearch.

Чем помогаем: подготавливаем структуру пояснительной записки, формулируем научную новизну применительно к предподготовке данных, описываем алгоритмические шаги и примеры преобразований, а также перечень тестовых сценариев и критериев качества. Предоставляем доработки по замечаниям преподавателя до 21 дня после сдачи. Оставьте задание в заявке, чтобы получить расчёт и дальнейшие инструкции.