Компания Google представила второе поколение тензорного процессора (TPU – tensor processing unit) и сообщила, что TPU скоро будут работать в Google Compute Engine и Google Cloud. Новый TPU обеспечивает скорость вычислений с плавающей точкой на уровне 180 терафлопс.
В каждом TPU встроен высокоскоростной сетевой интерфейс, что позволяет собирать суперкомпьютеры на основе TPU, которые в Google называют TPU-подами.
Использование TPU-подов уже дало гигантское ускорение машинного обучения в системах Google. В частности, одной из больших моделей для перевода ранее требовался целый день для обучения на 32-х самых мощных GPU. Теперь обучение модели до такой же точности требует всего лишь полдня, и при этом используется лишь 1/8 мощности TPU-пода.
TPU от Google работает в 15-30 раз быстрее, чем графический процессор K80 от Nvidia или процессор Haswell от Intel. Что касается эффективности энергопотребления, то TPU в 30-80 раз более эффективны, чем обычные или графические процессоры.
TPU могут использоваться в TensorFlow – наиболее популярном фреймворке для машинного обучения. TensorFlow – проект с открытым кодом и доступен на GitHub. Google обещает сделать TPU доступными в Google Compute Engine, где пользователи смогут связывать их с виртуальными машинами.
По материалам HPCWire