Как попробовать бета-версию Live Captions, чтобы улучшить возможности преобразования звука в текст на устройствах Apple

Функции специальных возможностей сосредоточены на улучшении интерфейса для конкретной инвалидности, но часто они могут улучшить опыт для всех пользователей. Ярким примером является новая функция Live Captions, которая в настоящее время проходит бета-тестирование на определенных устройствах и в определенных странах. Apple стремится превратить весь звук, воспроизводимый вашим устройством, в точно расшифрованный разборчивый текст, так же, как Live Text может извлекать текст из растровых изображений.

Чтобы включить эту функцию, у вас должен быть iPhone 11 или более поздней версии с установленной iOS 16, относительно новый iPad с iPadOS 16 (см. этот список) или Apple Silicon (M1 или M2) Mac с установленной macOS Ventura. Apple заявляет, что для iPhone и iPad Live Captions работает только в том случае, если язык устройства установлен на английский (США) или английский (Канада). В описании macOS в более широком смысле говорится, что бета-версия «доступна не на всех языках, не во всех странах и регионах».

Если вы можете использовать Live Captions (или хотите проверить, можете ли вы это сделать), перейдите на Настройки (iOS/iPadOS)/Настройки системы (Вентура) > Доступность. Если вы видите элемент Live Captions (Beta), вы можете его использовать. Коснитесь или щелкните Живые субтитры включить. Затем вы можете нажать Внешность в iOS/iPadOS или используйте элементы меню верхнего уровня в macOS, чтобы изменить способ отображения подписей. Вы можете отдельно включить или отключить Live Captions в FaceTime, чтобы субтитры отображались в этом приложении.

Live Captions отображаются в виде наложения, которое показывает интерпретацию звука на английском языке для любого звука, воспроизводимого вашей системой. Форма звуковой волны в реальном времени соответствует звуку, который Live Captions «слышит». В iOS и iPadOS вы можете коснуться оверлея и получить доступ к дополнительным элементам управления: свернуть, приостановить, микрофон и полноэкранный режим; в macOS доступны пауза и кнопка микрофона. Если вы коснетесь или щелкните кнопку микрофона, вы можете говорить, и то, что вы говорите, отображается на экране. Это может быть удобно, если вы пытаетесь показать кому-то текст того, что вы говорите.

Текст, созданный в Live Captions, эфемерен: его нельзя скопировать или вставить. Он также устойчив к снимкам экрана мобильных устройств: очевидно, что оверлей создан таким образом, что iOS и iPadOS не могут его захватить.

Live Captions подает большие надежды — за этим стоит следить по мере того, как они улучшаются и расширяются. Я тестировал Live Captions с подкастами, YouTube и аудио в Instagram. Это было не так хорошо, как некоторые транскрипции на основе ИИ, которые я видел, как в видеоконференциях, но это было доблестное усилие, и это было лучше, чем отсутствие субтитров.

Apple может связать Live Captions со своей встроенной функцией перевода, и вы сможете использовать ее, чтобы говорить на своем родном языке и показывать переведенную версию кому-то на их языке, или иметь живые транскрипции видеопотоков, подкастов и других аудио на языке, отличном от того, на котором вы говорите.

Эта статья о Mac 911 является ответом на вопрос, заданный читателем Macworld Кевином.