FinalTry.exe — исследование коммуникаций (2025/2026)

1. Описание проекта

• Исследовательский репозиторий команды FinalTry.exe.
• Задача: изучить связь между коммуникациями пользователей и их заказами, проверить гипотезы о форме зависимости (тренды, квадратика), посмотреть по категориям.
• Результат: собранная SQLite-база, набор статичных и интерактивных графиков, сравнения по категориям/total.

2. Структура репозитория

• dataset/ — исходный CSV (ds.csv) и собранный SQLite (ds.sqlite, таблица communications).
• migrations/ + migrate.py — пошаговая сборка данных: CSV → SQLite, правка значений заказов.
• preanalysis/ — утилиты EDA (нормализация, агрегаты по дням и клиентам).
• main_hypot/ — основной пайплайн: подготовка клиентских фичей, облака, тренды, квадратичные регрессии, интерактивные графики.
• new_divided_scatters.py — интерактивные облака для активных/пассивных/общих показов.
• old_data/ — архивный подвал с ранними скриптами/данными; не входит в основной пайплайн, оставлен для истории и воспроизводимости.

3. Подготовка данных

# 1) положите исходник
dataset/ds.csv

# 2) соберите SQLite
python migrate.py
# или вручную:
python migrations/0001_csv_to_sqlite.py
python migrations/0002_cap_orders_to_one.py

Итог: dataset/ds.sqlite с таблицей communications.

4. Установка зависимостей

Обязательные пакеты:

• pandas
• numpy
• scipy
• statsmodels
• scikit-learn
• matplotlib
• seaborn
• altair
• vl-convert-python (для сохранения Altair в HTML; альтернатива — altair_saver + установленный node)

5. Запуск и работа

• Миграции:

  python migrate.py          # прогнать все шаги
  python migrate.py --list   # посмотреть статус
  

• Базовые облака и тренды (PNG):

  python main_hypot/best_model_and_plots.py
  

  Результаты: main_hypot/orders_amt_total/.
• Общая квадратичная регрессия (PNG):

  python main_hypot/quadreg.py
  

  Результаты: main_hypot/orders_amt_total/.
• Категорийные корреляции и квадратика (PNG):

  python main_hypot/category_quadreg.py
  

  Результаты: main_hypot/category_analysis/.
• Интерактивные графики Altair (HTML):

  python main_hypot/new_plots.py
  python new_divided_scatters.py
  

  Результаты: main_hypot/new_plots/ и new_plots/final_result/.

6. Примечания

• Все скрипты опираются на структуру dataset/ds.sqlite; без миграций данные не загрузятся.
• Если в ds.csv нет ожидаемых колонок или файл пустой, миграции упадут.
• Altair требует vl-convert-python (или node + altair_saver) для Chart.save.
• Савицкий–Голай окна по умолчанию большие (≈501); на малых выборках стоит снижать окно, иначе будет ошибка.
• Проект исследовательский: код может быть не оптимизирован под продакшн, а old_data/ — лишь исторический архив.