Функции сначала будут доступны только платным подписчикам.

OpenAI добавила в ChatGPT новые способы запросов для генерации ответов от чат-бота — кроме текстовых команд, будут доступны загрузка изображений и голосовой чат с нейросетью.

В ближайшие две недели они появятся у подписчиков ChatGPT Plus и корпоративных пользователей чат-бота. Для остальных они будут доступны «вскоре после этого». Голосовые чаты можно использовать только в приложении, изображения — на всех платформах.

Чтобы отправить голосовой запрос, нужно перейти в настройки, выбрать «новые функции приложения» и «разговор голосом». Затем на главном экране появится кнопка с изображением наушников — нажав на неё, можно выбрать для чат-бота один из пяти голосов. Для озвучивания нейросети OpenAI сотрудничала с профессиональными дикторами.

Функция работает на основе модели, которая преобразовывает текст в голос, а также системы распознавания речи Whisper. Её же, например, будет использовать Spotify — для голосового перевода подкастов на другие языки.

Также можно загружать изображения — например, сфотографировать содержимое холодильника, чтобы чат-бот мог предложить рецепт на основе имеющихся продуктов. Или сделать снимок велосипеда и попросить ChatGPT рассказать, как опустить его сиденье. При необходимости можно рисовать на изображении, чтобы выделить детали, и загружать дополнительные картинки.

ИСТОЧНИК: VC