Сбер анонсировал Molotilka — новый инструмент для непрерывного обучения фундаментальных нейросетевых моделей В рамках проходящей 23–24 ноября конференции по искусственному интеллекту AI Journey команда SberDevices представила новый инструмент Molotilka (ML Toolkit for Continuous Learning) для работы с пайплайнами больших языковых моделей. В нем реализована автоматизация постоянного дообучения с минимальным забыванием старых знаний. Сервис для использования постоянно дообучаемых при помощи Molotilka больших нейросетевых моделей доступен в Cloud ML Space — платформе для ML-разработки полного цикла. В современном мире поток знаний непрерывен, каждый день происходит множество событий. При обучении большой нейросетевой языковой модели обычно используется срез данных, доступных в интернете или других источниках на текущий момент. Таким образом, модель не будет обладать знаниями о том, что произошло в этом году, если обучили ее в прошлом. Для этого была создана Molotilka, которая обладает актуальными знаниями в каждый момент времени и при этом помнит и старые знания. В первой версии фреймворка была использована языковая модель ruGPT-3, которую команда SberDevices обучила ранее на большом корпусе текстов из различных источников: книги, интернет и т. д. На основе скачанных данных из нескольких новостных источников регулярно формировался небольшой датасет, в который добавлялось немного случайных данных из большого датасета так, чтобы соотношение старых и новых данных соответствовало заданной пропорции. После чего ruGPT-3 дообучалась на смешанном наборе данных с применением современных методов борьбы с катастрофическим забыванием. В ходе этого эксперимента применялись разные подходы, и в результате был выбран вариант на основе adapters — с добавлением специальных слоев и их последующим дообучением. Так появился инструмент, названный Molotilka, который позволяет проводить непрерывное обучение языковых моделей с повторением некоторых заранее заданных действий. Например, таких как скачивание актуальных данных из новостных источников, их предобработка, создание датасета для дообучения языковой модели и ее оценка на разных задачах. ML Toolkit for Continuous Learning может применяться в таких областях: — стандартное применение ruGPT-3 как языковой модели, обладающей актуальными знаниями о мире; — задание кастомизированных задач с постоянным дообучением модели на новых данных: классификация, извлечение информации, диалоговые системы и пр. Теперь при помощи специального сервиса пользователи Cloud ML Space получили через API доступ к наиболее актуальной версии ruGPT-3, которая всегда в курсе свежих новостей, трендов и мемов, а также к предыдущим версиям модели. Пример использований API размещён в открытом доступе. В скором времени к числу постоянно дообучаемых моделей добавятся и другие нейросети Сбера. Molotilka — базовый инфраструктурный элемент «электронного мозга фирмы». Специализированные интернет-краулеры экосистем будущего будут днём и ночью сканировать бездонные просторы всемирной паутины, а мощные тензорные суперкомпьютеры будут постоянно дообучать фермы больших моделей машинного обучения, которые станут интеллектуальным ядром множества продуктов, инструментов и сервисов. При этом на продуктовом уровне возникнет не только возможность опираться на актуальную информацию и тренды, но также и изучать динамику информационного пространства для того, чтобы быстро и качественно принимать важные решения, влияющие на стратегию и тактику компаний на рынке.Сергей МарковРуководитель управления экспериментальных систем машинного обучения, SberDevicesДругие пресс-релизы 15 июня 2023•Пресс-релизЧисло проданных умных устройств Sber с ассистентом Салют превысило 1,5 млнЧисло проданных умных устройств Sber с ассистентом Салют превысило полтора миллиона. 6 июня 2023•Пресс-релизSberDevices и ГК Softline заключили соглашение о стратегическом сотрудничествеВ рамках партнерства ГК Softline и SberDevices предлагают рынку флагманские B2B-решения вендора: сервис видеоконференций SberJazz, корпоративный мессенджер Dialog, платформу речевых сервисов SaluteSpeech и конструктор для создания чат-ботов SaluteBot. 23 мая 2023•Пресс-релизSberDevices получили награду за проект «Построение импортонезависимой аналитической платформы» на Data Award 202318 мая состоялось официальное объявление итогов и награждение лауреатов Премии Data Award 2023, учрежденной издательством «Открытые системы» и порталом об ИТ-менеджменте «Директор информационной службы». В номинации «За реализацию антикризисного проекта» победителем был признан проект SberDevices «Построение импортонезависимой аналитической платформы».