Первая ML-платформа для трекинга экспериментов, которую мне довелось использовать в проде - это MLFlow. В далёком 2018 мне это показалось чудом - это что же, теперь не надо заносить результаты обучения в Эксель-табличку??
Душа, однако, всегда требует перемен - хочется обновить куду, версию пайторча и фон в зуме. Так что, когда в июне 2019 открылся ML-отдел Цельса, мой взор упал на свеженький, прям из печки Trains AI, ныне известный как ClearML. Может показаться, что базировать ML-инфрастуктуру компании на продукте в бета-версии было слегка рискованно. Отчасти это так, но на самом деле даже сейчас переезд на какое-то аналогичное решение вряд ли стал бы катастрофой. Например, интеграция ClearML в код - это буквально строчки три на сложный проект.
Если вы хотите узнать ещё больше об организации процессов ML-разработки, подписывайтесь на наш Телеграм-канал Варим ML
Материалов про ClearML даже на русском немало (хотя и меньше, чем про аналогичные платформы), правда, они в основном дублируют сайт продукта и его документацию. Здесь я хочу рассказать про топ-5 фичей и особенностей, которые деляют ClearML бесценным инструментом именно для меня и Цельса. Конечно же, с картинками и настоящими примерами.
Предупреждение:
Для вашего сценария применения список может сильно отличаться.
Я не утверждаю, что в других инструментах этих фичей нет. MLFlow и W&B я последний раз использовал в 2019-2020, а какой-нибудь Neptune - никогда.
Экспериментирование из любой точки мира
Я люблю перед сном посмотреть, что там происходит с моими экспериментами. Да-да, у меня нет ворк-лайф баланса, я через месяц выгорю, и всё такое. Так или иначе, иногда с экспериментами что-то происходит - CUDA out of memory, градиенты взорвались, метрики ниже ожидаемого, багуля в коде, в конфиге указали не ту версию библиотеки, полный фриз в конце концов. Терять целую ночь драгоценного трейна - это грустно, и ClearML позволяет в несколько кликов перезапустить исправленную версию экспа.
Далее покажу ряд картинок, которые дадут представление о возможностях для изменения настроек экспериментов и мониторинга их состояния.
Если нашёлся косячок
Интересные статьи
Интересные статьи
