Microsoft и NVIDIA создали крупнейшую в мире генеративную языковую ИИ-модель с 530 миллиардами параметров

0

Microsoft и NVIDIA создали крупнейшую в мире генеративную языковую ИИ-модель с 530 миллиардами параметров

Microsoft и NVIDIA создали крупнейшую в мире генеративную языковую ИИ-модель с 530 миллиардами параметров

Microsoft и NVIDIA совместными усилиями создали модель генерации естественного языка Megatron-Turing Natural Language Generation — она содержит 530 миллиардов параметров, что делает ее самой большой и самой мощной в своем классе.

MT-NLG, созданная в рамках сотрудничества Microsoft и NVIDIA, имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и обеспечивает более высокую точность в широком наборе задач естественного языка.

Microsoft и NVIDIA создали крупнейшую в мире генеративную языковую ИИ-модель с 530 миллиардами параметров
Тенденция изменения размеров современных NLP-моделей с течением времени

Ключевыми сценариями для этой системы являются:

  • Предсказание завершения текста по смыслу;
  • Понимание прочитанного;
  • Генерация логических выводов;
  • Создание заключений на естественном языке;
  • Различение смысла слов с несколькими значениями.

Для обучения столь масштабной модели NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Также партеры создали базы данных естественного языка, включающие сотни миллиардов единиц контента, а разработали новые методы обучения для повышения эффективности и стабильности оптимизации.