В настоящее время существует множество различных решений для обслуживания моделей машинного обучения в производственных средах в связи с ростом популярности MLOps.
Одним из наиболее популярных решений является TensorFlow Serving, разработанный командой TensorFlow для развертывания и обслуживания своих моделей в производственных средах. В ответ на это развитие был создан TorchServe, чтобы дать пользователям PyTorch возможность легко развертывать свои модели.
TorchServe — это гибкий и простой в использовании инструмент для обслуживания моделей PyTorch. Это платформа с открытым исходным кодом, которая позволяет легко и эффективно развертывать обученные модели PyTorch в любом масштабе без необходимости писать собственный код. TorchServe обеспечивает легкое обслуживание с низкой задержкой, поэтому вы можете развертывать свои модели для высокопроизводительного вывода. TorchServe является экспериментальным и может еще претерпеть некоторые изменения, но в любом случае он предлагает некоторые интересные функции.
Основные возможности:
Мультимодельное обслуживание
Управление версиями модели для A/B-тестирования
Метрики для мониторинга
Конечные точки RESTful для интеграции приложений
Поддерживает любую среду машинного обучения, включая Amazon SageMaker, Kubernetes, Amazon EKS и Amazon EC2.
TorchServe можно использовать для многих типов вывода в производственных условиях.
Предоставляет простой в использовании интерфейс командной строки.
Об остальных инструментах можно почитать здесь: Best Tools to Do ML Model Serving
В данной статье мы рассмотрим процесс обучения и развертывания сверточной модели с переносом обучения с использованием ResNet в качестве backbone. Эта модель классифицирует изображения, полученные из части известного датасета, названного Cat_Dog_data
Интересные статьи
Интересные статьи
