ML System на fastapi и react

Описание Проекта

Этот проект позволяет обучать модели машинного обучения на основе загруженного пользователем датасета и дает предсказания. Бэк реализован на FastAPI, а фронт на React

Что сделано:

Загрузка данных: можно загружать CSV или XLSX файлы для обучения моделей

Обучение моделей: загруженные данные используются для обучения моделей машинного обучения в фоновом режиме

Скачивание моделей: обученные модели могут быть загружены

Загрузка и использование внешних моделей: возможность загрузки заранее обученных моделей (.joblib или .pkl) и использования их для предсказаний

Использование БД: база данных SQLite используется для хранения информации о задачах и их статусах

Зависимости

Backend

FastAPI, uvicorn, pandas, scikit-learn, joblib, python-multipart, SQLAlchemy, catboost

Можно установить зависимости, используя pip install -r requirements.txt

Frontend

React

Запуск проекта

Backend

Перейти в корневую директорию проекта -> python -m venv .venv -> source .venv/bin/activate(для macos/linux) -> pip install -r requirements.txt -> uvicorn app.main:app --host 0.0.0.0 --port 8000 --reload

Frontend

cd frontend -> npm install -> npm start

Альтернативы?

SQLite: Легковесная и простая в настройке база данных, подходящая для данного проекта

Улучшения?

Быстрые:

Аутентификация/Авторизация: для защиты API

Долгосрочные:

Расширение моделей: добавление поддержки других ML моделей

Управление версиями моделей: внедрить систему для управления версиями - mlflow

Автоматизированное развертывание: использовать Docker и Kubernetes для упрощения развертывания

Асинхронные задачи: celery/redis

Облачные сервисы: для хранения файлов/медиа - хранилище S3