# EDA «Коммуникации в Городе»

## Кратко о данных
- 118189 строк, 8339 клиентов, 35 исходных столбцов + инженерные (totals, CTR/CR, флаги).
- Диапазон дат: 2025‑01‑09 — 2025‑11‑04 (284 дня).
- Категории сервисов: ent, super, transport, shopping, hotel, avia; активные и пассивные показы/клики, заказы по категориям.
- Дубликаты по ключу (id, business_dt): нет.

## Качество данных
- Пропуски: несущественные (NaN почти нет), отрицательных значений не обнаружено.
- Возраст: 15–80 лет, p1/p99 = 22/68, мусора (<14 или >100) нет.
- Гендер: 68.5% M, 31.5% F. Платформа после нормализации: ~52.5% iOS, ~46.7% Android, 1.1% iPadOS.
- Признаки «заспамленности» и агрегаты на клиента добавлены: imp/click/order totals, CTR/CR, contact_days, avg_impressions_per_contact_day, order_categories_count.

## Каналы и эффективность (агрегировано по всем строкам)
- Active impressions ≈ 219.5k, passive impressions ≈ 473.1k.
- Active clicks ≈ 147.3k (CTR_active ≈ 0.67), passive clicks ≈ 18.1k (CTR_passive ≈ 0.038).
- Заказы всего: 12439; CR click→order ≈ 7.5%, CR imp→order ≈ 1.8%.
- Дневных точек: 284; daily агрегаты подготовлены (CTR/CR, day_of_week).

## Демография и устройство vs эффективность (по клиентским агрегатам)
- Таблицы по полу/возрастным группам/платформам готовы в `04_clients_segmentation.ipynb` (средние impressions/clicks/orders и CTR/CR).
- Гипотезы: в 05-м ноутбуке добавлены примеры Mann–Whitney по CTR active vs passive и по полу; можно расширять на платформы и возраст.

## Лаги и сезонность
- Дневные ряды и метрики CTR/CR по времени и по дням недели — см. `03_time_and_lags.ipynb`.
- Лаги: реализованы кросс-корреляции orders vs impressions/clicks (hotel, avia) для lag 0–7; по клиентам — first_imp/click/order и распределения дней до заказа.

## Сегменты и «усталость»
- Сегменты каналов: only_active / only_passive / both + метрики; бины по числу категорий заказов.
- «Заспамленность»: bin по avg_impressions_per_contact_day с CTR/CR; stacked доли категорий заказов по возрасту.

## Модели как часть EDA
- На клиентском уровне собран датасет для задачи `has_any_order`; pipeline с OHE + StandardScaler + LogisticRegression и RandomForest (ROC-AUC и важности).
- Выводы по коэффициентам/важности доступны в `05_exploratory_models.ipynb`.

## Что делать дальше
- Прогнать все ноутбуки end-to-end (данные готовы, зависимости в `.venv`): `jupyter lab` или `jupyter nbconvert --execute`.
- Уточнить нормализацию категорий (при необходимости) и при желании сохранить `dataset/ds_clean.parquet` (флаг в `01_load_and_clean.ipynb`).
- Добавить/актуализировать бизнес-гипотезы (категории, платформы, возраст) и зафиксировать p-value в таблице гипотез.
- При необходимости усилить визуализацию: календарные heatmap по CTR, ECDF лагов по каждой категории, PDP для топ-фичей модели.