Пользователи умного дома Яндекса теперь могут обращаться к нему на естественном языке — так, как им удобно. Алиса в устройствах стала понимать не только стандартные команды, но и заданные в свободной форме. Например, если сказать «Алиса, пора прибраться», она запустит робот-пылесос. Это стало возможным благодаря технологии вызова функций (tool calling), которая сейчас работает в режиме тестирования.

Теперь пользователям не нужно вспоминать точные команды и названия устройств. Языковая модель проанализирует запрос и определит, что нужно сделать. Например, если сказать «Алиса, мне завтра нужно встать в семь», она поставит будильник, а в ответ на «Алиса, слишком темно» — прибавит свет. Она поймёт также, что «включи свет на столе» — это то же самое, что «включи настольную лампу», а «гостиная» — то же самое, что «зал». Это касается и названия цветов. В частности, Алиса включит «бирюзовый» свет, даже если в палитре умного дома он называется голубым. 

Умный дом стал учитывать контекст беседы, во время которой прозвучала команда. Например, теперь можно спросить Алису, при какой температуре нужно заваривать чёрный чай, а потом сказать «Включи чайник на эту температуру». Раньше нужно было дать чёткую инструкцию: «Алиса, включи чайник на температуру 90 градусов». Таким образом, управление умным домом становится естественной частью диалога с Алисой. 

Одной фразой теперь можно дать устройству сразу несколько команд. Так, раньше нужно было сначала сказать «Алиса, включи жёлтый свет», а затем «яркость — сорок процентов». Сейчас достаточно одной фразы: «Алиса, включи жёлтый свет на сорок процентов». Умный дом научился также понимать просьбы со словами вроде «кроме». Например, можно сказать «Алиса, выключи свет везде, кроме кухни».

Технология вызова функций (tool calling) выступает в роли диспетчера, который координирует работу языковой модели. Благодаря ей модель анализирует запрос, разбивает сложные запросы на простые и определяет, какие устройства нужно задействовать. По мере обучения нейросети умный дом будет понимать всё больше команд, заданных в разговорной форме.

Больше картинок — на Яндекс Диске.