122 lines
10 KiB
Markdown
122 lines
10 KiB
Markdown
# DANO 2025/2026 — исследование FinalTry.exe
|
||
|
||
Аналитический проект команды FinalTry.exe: исследуем связь пользовательских коммуникаций и заказов, проверяем форму зависимости (тренд, квадратичная регрессия) по общим и категорийным метрикам. Данные лежат в `dataset/ds.csv`, итог — собранная SQLite, статичные PNG и интерактивные HTML-графики.
|
||
|
||
## Table of Contents
|
||
- [Quickstart](#quickstart)
|
||
- [Repository Tree](#repository-tree)
|
||
- [Repository Structure Explained](#repository-structure-explained)
|
||
- [Reproduce the Analysis](#reproduce-the-analysis)
|
||
- [Methodology](#methodology)
|
||
- [Hypotheses](#hypotheses)
|
||
- [Results and Takeaways](#results-and-takeaways)
|
||
- [FAQ (for the jury)](#faq-for-the-jury)
|
||
- [Notes](#notes)
|
||
|
||
## Quickstart
|
||
```bash
|
||
# 1) создать окружение
|
||
python -m venv .venv
|
||
source .venv/bin/activate # win: .venv\Scripts\activate
|
||
|
||
# 2) установить зависимости
|
||
pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn altair vl-convert-python
|
||
# альтернатива для Altair: pip install altair_saver && установка node
|
||
|
||
# 3) подготовить данные
|
||
cp <your-ds.csv> dataset/ds.csv
|
||
python migrate.py # соберёт dataset/ds.sqlite
|
||
|
||
# 4) запустить ключевые скрипты
|
||
python main_hypot/best_model_and_plots.py # базовые облака/тренды (PNG)
|
||
python main_hypot/quadreg.py # общая квадратика (PNG)
|
||
python main_hypot/category_quadreg.py # категории: корреляции + квадратика (PNG)
|
||
python main_hypot/new_plots.py # интерактивные HTML-графики
|
||
python new_divided_scatters.py # интерактив: активные/пассивные/общие
|
||
```
|
||
|
||
## Repository Tree
|
||
```
|
||
.
|
||
├── dataset/ # вход: ds.csv; выход: ds.sqlite
|
||
├── migrations/ # шаги подготовки данных (0001, 0002)
|
||
├── migrate.py # исполнитель миграций
|
||
├── preanalysis/ # EDA-утилиты (нормализация, агрегаты)
|
||
├── main_hypot/ # основной пайплайн графиков/регрессий
|
||
│ ├── best_model_and_plots.py
|
||
│ ├── category_quadreg.py
|
||
│ ├── quadreg.py
|
||
│ └── new_plots.py
|
||
├── new_divided_scatters.py # интерактивные облака по типам показов
|
||
├── old_data/ # архив ранних скриптов/данных (не в основном пайплайне)
|
||
└── README.md
|
||
```
|
||
|
||
## Repository Structure Explained (folder + file guide)
|
||
- `dataset/`
|
||
- `ds.csv` — входной CSV (кладёте сами).
|
||
- `ds.sqlite` — результат миграций, таблица `communications`, источник для всех скриптов.
|
||
- `migrations/`
|
||
- `0001_csv_to_sqlite.py` — читает CSV чанками, нормализует дату, пишет таблицу, создаёт индексы.
|
||
- `0002_cap_orders_to_one.py` — каппинг заказов: все значения >1 приводятся к 1 по дневным категориям.
|
||
- `migrate.py` — менеджер миграций (`--list`, `--force`, настраиваемые пути); обновляет `migrations_state.json`.
|
||
- `preanalysis/`
|
||
- `eda_utils.py` — нормализация пола/платформы, возрастные группы, суммарные метрики, флаги, агрегации по дням и клиентам.
|
||
- `main_hypot/`
|
||
- `best_model_and_plots.py` — загрузка клиентов из SQLite, фильтр выбросов, тренды LOWESS/Savitzky–Golay, плотностные облака; PNG в `main_hypot/orders_amt_total/`.
|
||
- `quadreg.py` — накладывает квадратичную регрессию на общий график заказов; вывод в ту же папку.
|
||
- `category_quadreg.py` — агрегации по категориям/комбо, корреляции и квадратичные регрессии; PNG в `main_hypot/category_analysis/`.
|
||
- `new_plots.py` — интерактивные Altair-графики (total + категории); HTML в `main_hypot/new_plots/`.
|
||
- `new_divided_scatters.py` — интерактивные облака активных/пассивных/общих показов; HTML в `new_plots/final_result/`.
|
||
- `old_data/` — архив ранних скриптов/данных, не участвует в текущем пайплайне.
|
||
|
||
## Reproduce the Analysis
|
||
1) **Подготовить данные:** положить `dataset/ds.csv`.
|
||
2) **Собрать SQLite:** `python migrate.py` (или вручную 0001 → 0002). Итог: `dataset/ds.sqlite`.
|
||
3) **Базовые графики:** `python main_hypot/best_model_and_plots.py` → PNG в `main_hypot/orders_amt_total/`.
|
||
4) **Общая квадратика:** `python main_hypot/quadreg.py` → PNG в `main_hypot/orders_amt_total/`.
|
||
5) **Категории:** `python main_hypot/category_quadreg.py` → PNG/корреляции в `main_hypot/category_analysis/`.
|
||
6) **Интерактив:**
|
||
- `python main_hypot/new_plots.py` → HTML в `main_hypot/new_plots/`;
|
||
- `python new_divided_scatters.py` → HTML в `new_plots/final_result/`.
|
||
Все скрипты читают `dataset/ds.sqlite`; без него упадут.
|
||
|
||
## Methodology
|
||
- **Модели/метрики:** AUC для вероятности заказа, R² по тренду, p-value и коэффициенты b1/b2 квадратичной регрессии `y ~ 1 + x + x²`.
|
||
- **Тренды:** сглаживание LOWESS или Savitzky–Golay для выявления формы зависимости.
|
||
- **Квадратичная форма:** базовый способ поймать нелинейность и насыщение/спад заказов при росте показов.
|
||
- **Очистка:** фильтрация выбросов по IQR и ограничение диапазонов осей.
|
||
|
||
## Hypotheses
|
||
- **H0:** заказы не зависят от среднего числа показов.
|
||
- **H1:** больше показов → больше заказов (монотонный рост).
|
||
- **H_add:** для некоторых категорий (например, avia/hotel) при высоких показах эффект насыщается или разворачивается вниз (негативный b2).
|
||
Проверка: визуальные тренды, квадратичная регрессия, AUC/R² и значимость коэффициентов.
|
||
|
||
## Results and Takeaways
|
||
- Пайплайн выдаёт: очищенные облака, трендовые линии, квадратичные кривые и метрики AUC/R²/p-values.
|
||
- Для total и категорий видны зоны насыщения/редкого спроса, что помогает подобрать лимиты показов.
|
||
- Комбинации категорий (например, avia+hotel) позволяют увидеть перекрёстный спрос.
|
||
- Плотностные альфы показывают концентрации клиентов и помогают читать облака без шума.
|
||
- Корреляционные матрицы подсвечивают связки «показы → клики → заказы» внутри категорий.
|
||
Бизнес-применение:
|
||
1) Тестировать потолки показов в сегментах с убывающей отдачей.
|
||
2) Приоритизировать категории с устойчивым положительным b1/b2.
|
||
3) Для насыщенных категорий использовать частоту/каппинг или смену креативов.
|
||
4) Отдельно мониторить avia/hotel-комбинации для выявления сезонности/пересечений спроса.
|
||
5) Использовать AUC для оценки пригодности скорингов/сегментов на заказ.
|
||
|
||
## FAQ (for the jury)
|
||
- **Что такое корреляция?** Мера линейной связи (-1…1) между двумя величинами.
|
||
- **Почему корреляция ≠ причинность?** Связь может быть опосредована или вызвана третьим фактором; нужны эксперименты/каузальные методы.
|
||
- **Что означает AUC?** Площадь под ROC-кривой: шанс, что модель верно ранжирует случайную пару (позитив/негатив).
|
||
- **Что означает R²?** Доля объяснённой вариации целевой величины моделью.
|
||
- **Почему binarize orders (0/1)?** Для расчёта AUC по факту наличия заказа, независимо от суммы.
|
||
- **Ограничения исследования?** Зависимость от структуры `ds.csv`, чувствительность Savitzky–Golay к размеру выборки, отсутствуют продакшн-оптимизации.
|
||
- **Чем отличается avia+hotel?** Комбинированная категория для ловли перекрёстного спроса; может показывать насыщение или иной профиль b2.
|
||
|
||
## Notes
|
||
- Altair сохранение требует `vl-convert-python` или `altair_saver` + node.
|
||
- Savitzky–Golay окно по умолчанию большое (~501); на малых выборках уменьшайте, иначе будет ошибка.
|
||
- `old_data/` — архив, не трогает основной пайплайн.
|