PyTorch представил фреймворк, который превращает тысячи GPU в один логический компьютер
PyTorch снова делает шаг вперёд в инфраструктуре AI. Команда анонсировала Monarch, систему распределённых вычислений, которая позволяет управлять тысячами графических процессоров из одного простого Python-скрипта. До сих пор разработчики пользовались SPMD-подходом, где каждый узел в кластере выполняет одинаковый код независимо, но Monarch ломает этот принцип. Теперь можно писать одну управляющую программу, а фреймворк сам распределяет вычисления