Тестирование искусственного интеллекта MLPerf Inference v0.5

Консорциум из 40 технологических компаний, включая такие, как Facebook и Google, собрались вместе, чтобы выпустить набор оценочных тестов для искусственного интеллекта.

Сравнивая продукты ИИ с этими нормами, компании смогут определить оптимальные для них решения и, по мнению консорциума, MLPerf, «поверить» в то, что они внедряют правильные решения и двигаются в верном направлении.

Тесты, названные MLPerf Inference v0.5, сосредоточены вокруг трех общих задач машинного обучения: классификация изображений, распознавание объектов и систематический перевод. Учитывая возможности обработки на разных устройствах, существуют отдельные тесты для ИИ на разных платформах, таких как смартфоны, серверы и чипы.

Надеемся, что предоставляя рекомендации по передовому опыту для компаний в области искусственного интеллекта, эталонные тесты помогут начать дальнейшие инновации, поскольку организации не спешат менять технологию производства.

В своем заявлении генеральный председатель MLPerf Питер Маттсон сказал: «Создавая общедоступные метрики для оценки новых программных платформ машинного обучения, аппаратных ускорителей и платформ облачных и периферийных вычислений в реальных ситуациях, эти тесты создадут равное игровое поле, которое даже самые маленькие компании могут использовать”.