# План полноценного преданализа датасета «Коммуникации в Городе»

Основано на описании датасета: есть ежедневные коммуникации с клиентами в экосистеме «Город Т-Банка», активные/пассивные каналы, показы/клики и заказы по категориям (ent, super, transport, shopping, hotel, avia), а также демография и устройство.

Обозначения:

- `*_imp_*` — показы (impressions) активных/пассивных каналов по категориям (`ent`, `super`, `transport`, `shopping`, `hotel`, `avia`).
- `*_click_*` — клики/касания по тем же категориям.
- `orders_amt_*` — число заказов по категориям.
- `gender_cd`, `age`, `device_platform_cd` — демография и устройство.

---

## 0. Технический скелет проекта

Файлы/ноутбуки:

1. `01_load_and_clean.ipynb` — загрузка, чистка, базовые описания.
2. `02_univariate_bivariate.ipynb` — распределения и связи признаков.
3. `03_time_and_lags.ipynb` — время, лаги, сезонность.
4. `04_clients_segmentation.ipynb` — агрегаты по клиенту, сегменты.
5. `05_exploratory_models.ipynb` — простые модели как часть EDA.
6. `eda_report.md` / `eda_report.ipynb` — итоговый отчёт.

---

## 1. Загрузка и структура данных

### Таблицы/выводы

1. `df.info()` — список столбцов, типы, количество ненулевых.
2. `df.head(5)` — первые строки для визуальной проверки.
3. Размерность:
   - `n_rows`, `n_cols`
   - `n_unique_clients = df['id'].nunique()`
   - диапазон дат: `min(business_dt)`, `max(business_dt)`
4. Проверка ключа:
   - таблица: `df.groupby(['id', 'business_dt']).size().value_counts().head()`  
     (показывает, есть ли дубликаты по ключу)
5. Среднее число дней на клиента:
   - `df.groupby('id').size().describe()`

### Графики

1. Количество записей по датам:
   - `bar/line`: X = `business_dt`, Y = `count(*)`
   - цель: увидеть провалы/пики выгрузки

---

## 2. Качество данных и аномалии

### Таблицы/метрики

1. Пропуски:
   - таблица: колонка → количество пропусков → доля пропусков
2. Базовый `describe` по числовым:
   - `df[num_cols].describe().T`
3. Доля нулей:
   - таблица: колонка → доля нулей → min/max → 95-й, 99-й перцентили
4. Логические проверки:
   - все `*_imp_*`, `*_click_*`, `orders_amt_*` должны быть `>= 0`
   - поиск отрицательных/странных значений
5. Возраст:
   - мин/макс, перцентили (1-й, 99-й), доля мусора (например, `<14` или `>100`)
6. Категориальные:
   - уникальные значения `gender_cd`, `device_platform_cd`
   - приведение к единому формату (trim, upper, `unknown`)

### Графики

1. Boxplot возраста:
   - Y = `age`
   - цель: выбросы и мусор
2. Barplot пропусков:
   - X = столбец, Y = доля NaN (только где NaN > 0)

---

## 3. Одномерный анализ (univariate)

### 3.1. Числовые признаки (показы/клики/заказы)

#### Таблицы

1. Для каждой группы (`active_imp_*`, `passive_imp_*`, `active_click_*`, `passive_click_*`, `orders_amt_*`):
   - `count, mean, median, std, min, q25, q75, max, share_zero, p95, p99`
2. Агрегаты по всем категориям:
   - создать `active_imp_total`, `passive_imp_total`, `active_click_total`, `passive_click_total`, `orders_amt_total`
   - таблица `describe()` для них

#### Графики

1. Гистограммы (лог-масштаб или `log1p`) для каждой категории и типа:
   - `active_imp_ent`, `active_click_ent`, `passive_imp_ent`, `orders_amt_ent`, …
2. Boxplot для агрегатов:
   - `active_imp_total`, `passive_imp_total`, `active_click_total`, `passive_click_total`, `orders_amt_total`

### 3.2. Категориальные признаки

#### Таблицы

1. Распределение `gender_cd`: counts, доли, `unknown`
2. Распределение `device_platform_cd`: counts, доли
3. Возрастные группы:
   - `<25`, `25–34`, `35–44`, `45–54`, `55+`
   - таблица: группа → число клиентов → доля

#### Графики

1. Barplot пола: X = `M/F/Unknown`, Y = доля
2. Barplot платформ: X = platform, Y = доля
3. Гистограмма возраста

---

## 4. Время и сезонность

Создать дневные агрегаты:

- сумма показов/кликов/заказов по дням
- метрики:
  - `CTR_active = active_click_total / active_imp_total`
  - `CTR_passive = passive_click_total / passive_imp_total`
  - `CR_click2order = orders_amt_total / (active_click_total + passive_click_total)`
  - `CR_imp2order = orders_amt_total / (active_imp_total + passive_imp_total)`
- день недели: `day_of_week`

### Таблицы

1. `daily.describe()` по дневным агрегатам
2. Таблица по дням недели:
   - `day_of_week` → среднее `impressions, clicks, orders, CTR, CR`

### Графики

1. Линейные временные ряды:
   - `business_dt` vs total impressions
   - `business_dt` vs total clicks
   - `business_dt` vs total orders
2. Линии CTR/CR во времени (rolling mean 7 дней по желанию):
   - `active_ctr`, `passive_ctr`, `cr_click2order`
3. Сезонность по дням недели:
   - barplot для `active_ctr`, `passive_ctr`, `cr_click2order`
4. (Опционально) календарная heatmap заказов/CTR

---

## 5. Парные связи (bivariate)

### Таблицы

1. Корреляции Спирмена (на уровне клиента/дня):
   - между всеми числовыми признаками + `age`
2. Для каждой категории:
   - биннинг показов по квантилям → средний `imp, click, CTR, orders, CR`

### Графики

1. Scatter/hexbin «показы → клики»:
   - `active_imp_*` vs `active_click_*`
   - `passive_imp_*` vs `passive_click_*`
2. Scatter «клики → заказы»:
   - `*_click_*` vs `orders_amt_*`
3. CTR по бинам показов (линия/бар)
4. CR по бинам кликов (линия/бар)
5. Heatmap корреляций

---

## 6. Демография и устройство vs эффективность

Агрегировать по клиенту:

- суммы показов/кликов/заказов
- CTR/CR на уровне клиента
- добавить `gender_cd`, `age_group`, `device_platform_cd`

### Таблицы

1. По полу:
   - средние `impressions, clicks, orders, CTR, CR`
2. По возрастным группам:
   - те же метрики
3. По платформам:
   - те же метрики
4. Тесты гипотез (Mann–Whitney / t-test):
   - разница CTR/CR между группами

### Графики

1. Barplot CTR/CR по полу
2. Barplot CTR/CR по возрастным группам
3. Barplot CTR/CR по платформам
4. Boxplot заказов по возрастным группам
5. Stacked bar: возраст → доли категорий заказов (наполнение корзины сервисами)

---

## 7. Поведение по клиенту и сегментация

### 7.1. Простые сегменты

Флаги на уровне клиента:

- `has_active_comm`, `has_passive_comm`
- `has_any_order`
- `order_categories_count` (в скольких категориях есть заказ)

#### Таблицы

1. Сегменты каналов:
   - `only_active`, `only_passive`, `both`
   - доля клиентов, средние заказы, CTR/CR
2. Сегменты мультикатегорийности:
   - `1`, `2`, `3+` категорий заказов
   - средние коммуникации/заказы, демография

#### Графики

1. Barplot по сегментам каналов:
   - средние заказы, CTR/CR
2. Barplot по числу категорий заказов
3. Stacked bar: сегменты → пол/возраст (по желанию)

### 7.2. Кластеризация (расширенный EDA)

1. Вектор фичей:
   - суммы по категориям + CTR/CR + доли заказов
2. Нормализация
3. KMeans / GMM, 3–7 кластеров

#### Таблицы

- кластер → размер → средние фичи → краткая интерпретация

#### Графики

1. Профили кластеров (bar/radar)
2. Scatter PCA/UMAP: цвет = кластер

---

## 8. Воронка: показы → клики → заказы

### Таблицы

1. Общая воронка:
   - `channel_type`, `category`, `impressions`, `clicks`, `orders`, `CTR`, `CR_click2order`, `CR_imp2order`
2. Воронка по сегментам:
   - пол/возраст/платформа → те же метрики

### Графики

1. Funnel chart active vs passive (общий)
2. Barplot CTR по категориям + сравнение active/passive
3. Barplot CR по категориям + сравнение active/passive
4. Funnel/Bar по возрастным группам

---

## 9. Временные лаги между коммуникациями и заказами

С учётом «поздних покупок» (особенно travel).

### 9.1. Лаги на дневном уровне

#### Таблицы

1. Лаговые признаки `lag1..lag7` для показов/кликов
2. Кросс-корреляция:
   - lag → corr(orders*t, impressions*{t-lag})

#### Графики

1. Линия «lag vs корреляция» по:
   - `hotel`, `avia` (и др. при желании)
   - active vs passive

### 9.2. Лаги на клиентском уровне

#### Таблицы

1. `first_imp_date`, `first_click_date`, `first_order_date`
2. `days_to_order`
3. Квантили `days_to_order` по категориям

#### Графики

1. Гистограмма/ECDF `days_to_order` по категориям

---

## 10. Мультиканальность и «заспамленность»

### Таблицы

1. `contact_days`, `avg_impressions_per_contact_day`, `max_impressions_per_day`
2. Бины по `avg_impressions_per_contact_day` → средний CTR/CR

### Графики

1. Гистограмма `avg_impressions_per_contact_day`
2. Линия/бар: CTR/CR vs уровень спама

---

## 11. Простые модели как часть EDA

### 11.1. Бинарная модель «есть заказ / нет заказа»

Target:

- `has_any_order`

Features:

- суммы показов/кликов по типам и категориям
- CTR/CR
- демография и платформа

#### Таблицы

1. Логистическая регрессия:
   - коэффы, p-value, odds ratio
2. Feature importance из дерева/лесов

#### Графики

1. Barplot важностей
2. (Опционально) partial dependence для 2–3 ключевых фичей

---

## 12. Гипотезы и статтесты

### Примеры гипотез

1. `CTR_active > CTR_passive`
2. CR различается между категориями сервисов
3. CTR/CR различаются по полу/возрасту/платформе
4. «заспамленность» снижает CTR/CR после порога

### Таблица гипотез

- гипотеза, H0/H1, тест, p-value, вывод, бизнес-интерпретация

Графики для поддержки — использовать из разделов 4–10 (барчики/боксплоты).

---

## 13. Итоговая документация

1. Резюме выводов:
   - качество данных
   - эффективность каналов/категорий
   - сегменты, где коммуникации лучше/хуже работают
   - лаги (как быстро покупают после контактов)
   - признаки «усталости» от коммуникаций
2. Список проблем данных и принятых решений по чистке
3. Список инсайтов для бизнеса
4. Список фичей для будущих моделей
5. Следующие шаги:
   - подготовка ML-пайплайна
   - список A/B-гипотез
   - какие данные добрать (если нужно)

---