Сбер анонсировал первый в России смарт-дисплей с акустикой от Harman/Kardon и виртуальными ассистентами Салют на борту Москва, 24 сентября 2020. Сбер представил первый на российском рынке смарт-дисплей SberPortal с интегрированными виртуальными ассистентами Салют и акустикой от Harman/Kardon. Устройством можно управлять голосом, жестами и прикосновениями. SberPortal поступит в продажу ближе к концу 2020 года. SberPortal объединяет в себе богатые мультимедийные возможности, продвинутую акустику, видеозвонки, множество полезных навыков ассистентов семейства Салют и способность управлять функциями умного дома. Дизайн SberPortal раскрывает потенциал современных компонентов акустической системы от Harman/Kardon. В основе интегрированной аудиосистемы — уникальный внутренний дизайн камеры с 70-миллиметровым широкополосным динамиком и 84-миллиметровым пассивным излучателем и продвинутым цифровым процессором. Вместе они выдают глубокие басы, кристальные верха и насыщенную середину. При этом высокое качество звука равномерно во всей зоне вокруг устройства (360-градусов). У SberPortal большой 10-дюймовый Full HD экран и широкоугольная AI-камера. Благодаря этим элементам управление устройством мультимодально — помимо речи оно распознает жесты и управляется сенсорным интерфейсом. SberPortal позволяет слушать музыку, смотреть фильмы, сериалы и телеканалы в одном удобном интерфейсе, а также дает возможность делегировать различные рутинные задачи виртуальному ассистенту, понимающему естественную речь. Например, виртуальный ассистент поможет с записью в салон красоты или в поликлинику*, ответит на вопросы, покажет пошаговый видеорецепт, включит или выключит свет и электроприборы или сделает видеозвонок. Интерфейсы и управление SberPortal Голосовое управление Смарт-дисплей оснащен сложной микрофонной матрицей с шестью чувствительными микрофонами, которая разработана совместно с институтом Fraunhofer IIS. Благодаря этому решению устройство способно качественно распознавать голосовые команды пользователя даже в условиях постороннего шума, музыки или удаленности говорящего. Управление жестами Интерфейс специально разработан для удобного взаимодействия с ассистентом. Также поддерживаются жесты для управления ассистентом и плеером воспроизведения медиаконтента. Жестами можно управлять и в специально разработанных для устройства играх. SberPortal понимает базовые жесты: жест V (латинская V, образованная указательным и средним пальцем) для активации ассистента; большой палец вверх или вниз, чтобы поставить «лайк» или «дизлайк» треку при прослушивании музыки; жест «Стоп» (открытая ладонь) для приостановки и продолжения воспроизведения; жест «Mute» (палец к губам) для отключения звука. Управление жестами реализовано совместно с VisionLabs — компании-разработчика продуктов на базе компьютерного зрения. Использованная технология работает на основе быстрых оптимизированных нейронных сетей***. Для обеспечения защищенности данных и высокой скорости работы обработка видео потока происходит прямо на нейропроцессоре SberPortal — без отправки в облако или использования интернета. Сенсорное управление Привычное управление через тачскрин, также возможен вариант использования виртуального пульта для взаимодействия с устройством со смартфона через приложение Сбер Салют. Мультимедийные возможности Фильмы и сериалы Для просмотра десятков тысяч фильмов, сериалов и образовательных лекций SberPortal интегрирован с мультимедийным сервисом Okko. Последние новинки и премьеры, классика мирового кинематографа, актуальные сериалы, концерты, детский контент — вне зависимости от выбранной подписки (в подарок при покупке — пробный период с доступом к 50 000 фильмов и сериалов по подписке «Оптимум» от Okko), всегда найдется, что посмотреть. ТВ-каналы «Из коробки» SberPortal сразу позволяет смотреть 185 цифровых телеканалов от сервиса «Смотрёшка», достаточно лишь подключения к Wi-Fi. Даже после окончания пробного периода подписки, 20 телеканалов доступны всегда и бесплатно. Видеошоппинг Как и в другом устройстве линейки Sber, SberBox, в смарт-дисплее реализована возможность совершать покупки во время просмотра фильмов — технологии искусственного интеллекта распознают, например, одежду героев фильма и находят оригинал или альтернативу в онлайн-магазинах партнеров. В настоящий момент партнерами навыка являются Ozon и Lamoda. Также можно приобрести сувениры с символикой любимых фильмов, не отвлекаясь от просмотра. Видеозвонки Камера SberPortal поддерживает разрешение 4K и оснащена широкоугольной оптикой, благодаря чему говорящий всегда остается в центре кадра во время видеозвонка, даже перемещаясь по комнате. На данный момент поддерживается как связь между двумя устройствами на основе программного обеспечения собственной разработки, так и звонки на мобильные устройства. Музыка Доступ к музыке осуществляется через сервис СберЗвук — это стриминговый аудиосервис, который подбирает музыку к каждому моменту жизни. Понравившиеся композиции можно добавлять в персональную коллекцию и слушать её с разных устройств. В каталоге СберЗвука 40 миллионов композиций, подборок по жанрам и настроениям. Слушайте их с подпиской без ограничений и рекламы. Виртуальный ассистент поможет: Искать нужную песню, исполнителя или альбом Управлять проигрыванием голосом, жестами и с помощью тач-интерфейса Ставить «лайки» и «дизлайки», для лучших рекомендаций в будущем Также Салют может показать текст песни во время воспроизведения. Для этого достаточно сказать: «Салют, покажи текст» и на экране синхронно с воспроизведением покажутся слова, для популярных треков доступен перевод. Чтобы раскрыть весь потенциал акустической системы SberPortal, SberDevices совместно со СберЗвук применили технологию, которая передает на устройство музыку без потери качества. Игры и edutainment На SberPortal будет доступно множество игр и образовательных приложений, в том числе игры из каталога SberBox. Однако отличительной чертой смарт-дисплея станут приложения на основе управления жестами. Например, игра собственной разработки Beat Dancer. Модуль распознавания объектов трансформирует SberPortal и в образовательный инструмент, а специальное закрепленное зеркальце над камерой позволит распознавать объекты, расположенные перед устройством. Например, верно выложенное ребенком слово из карточек с буквами английского алфавита преобразуется в анимационный игровой элемент на экране. SDK для работы с камерой SberPortal и реализации игровых AR-механик разработала Лаборатория AR/VR Сбербанка. Безопасность и приватность В SberPortal виртуальные ассистенты активируются приветствием «Салют!» или жестом V. Микрофоны можно отключить аппаратно — для этого предусмотрена кнопка Mute. Вся обработка видеопотока (распознавание жестов, автофокус во время видеозвонка, распознавание членов семьи по лицу) производится на устройстве, без передачи данных на облако. В комплекте есть магнитная крышка на камеру. Виртуальный ассистент семейства Салют на борту Семейство Салют — это сразу три неповторимых характера: интеллигентный Сбер, жизнерадостная Джой и педантичная Афина. Пользователь сам выбирает, с кем ему комфортнее общаться. Встроенные виртуальные ассистенты семейства Салют могут: найти справочную информацию (общего характера, или, например, подробности о контенте); включить фильм или музыку; найти рецепт и помочь с готовкой; заказать и оплатить снеки**; записать пользователя в салон красоты или к врачу *; поставить будильник, таймер; подсказать точное время в разных городах; инициировать видеозвонок абоненту из списка контактов, в том числе с использованием видеосвязи; рассказать о погоде; поддержать разговор и т. д. Персонализация Встроенная камера позволяет различать пользователей, например, членов семьи для выдачи персонализированной информации и рекомендаций (музыка, фильмы, новости, календарь событий), а также подтверждение оплат. SberPortal поступит в продажу ближе к концу 2020 года. Для использования устройства не требуется быть клиентом Сбербанка или компаний экосистемы, однако максимальные возможности ассистентов Салют на борту реализуются именно в рамках интеграций с компаниями экосистемы Сбер. Для настройки устройства необходимо приложение Сбер Салют. Подробнее на sber.ru/portal «SberPortal — уникальное не только для российского, но и для мирового рынка устройство. Пожалуй, ни в одном смарт-дисплее не реализовано столько инноваций и нововведений сразу. Нам удалось не просто насытить устройство современными возможностями, но и сделать так, чтобы они работали вместе в удобных пользовательских сценариях. Ни один элемент не оказался здесь случайно, каждая деталь служит своей цели в нескольких сценариях. SberPortal — пример слаженной работы многих компаний экосистемы Сбер. Помимо интегрированных пользовательских сервисов, участие в создании устройства принимали и исследовательские лаборатории, и другие компании экосистемы» Константин КругловCEO SberDevices *на 24.09.2020 функция «Дуэт» реализована на территории Москвы, Московской области, Санкт-Петербурга и Ленинградской области. О дальнейшем расширении географии работы сервиса SberDevices сообщит дополнительно. ** в рамках интеграции с сервисом быстрой доставки продуктов «Самокат» и на территории, обслуживаемой сервисом. Для активации навыка достаточно сказать: «Салют, хочу попкорн». ***Точность алгоритмов компании подтверждена международными независимыми тестированиями Национального института стандартов и технологий США (NIST).