Синтез речи по шаблонам

С помощью синтеза по шаблонам вы можете синтезировать речь по заранее заготовленным фразам (шаблонам), в которых изменяются отдельные ключевые части — переменные. Новая фраза будет синтезирована целиком, а не склеена из заранее записанного и синтезированного блоков. При этом интонации копируются из шаблона, а речь звучит естественно и неотличима от речи живого человека.

Синтез по шаблонам доступен только для голосов SpeechKit Brand Voice.

Исходные данные для синтеза по шаблонамИсходные данные для синтеза по шаблонам

Каждый запрос для синтеза по шаблонам должен содержать:

• аудиозапись шаблонной фразы;
• текстовый шаблон с разметкой переменных частей;
• значения переменных для синтеза новой фразы;
• временную метку начала и длительность каждой переменной части.

Например, желаемая фраза для синтеза Давайте проверим бронирование. Ваш рейс состоится восьмого сентября в одиннадцать часов двадцать минут. Аэропорт вылета Домодедово, аэропорт прилета Пулково. Всё верно?
Аудиозапись шаблона содержит фразу Давайте проверим бронирование. Ваш рейс состоится двадцать третьего марта в двадцать один час ноль ноль минут. Аэропорт вылета Домодедово, аэропорт прилета Пулково. Всё верно?.
Текстовый шаблон должен выглядеть так: Давайте проверим бронирование. Ваш рейс состоится {date} в {time}. Аэропорт вылета Домодедово, аэропорт прилета Пулково. Всё верно?
Список переменных: variable_name = '{date}', variable_value = 'восьмого сентября', variable_name = '{time}', variable_value = 'одиннадцать часов двадцать минут.

Подробнее о примерах реализации синтеза по шаблонам.

Требования к аудиозаписям шаблоновТребования к аудиозаписям шаблонов

Аудиозаписи шаблонов не должны содержать посторонние шумы и эхо. Допускается минимальная обработка аудиозаписи. Длительность тишины в начале и в конце записи — не более 1 секунды.

Рекомендации для записи аудиоРекомендации для записи аудио

Шумы и эхо при записи напрямую влияют на качество обучения и работы модели для синтеза речи. Поэтому при записи аудио для обучения и дообучения модели или шаблонов для синтеза по шаблонам старайтесь максимально уменьшить отражение звука в помещении. Идеальным местом для записи будет комната, оборудованная акустическими панелями. Если запись происходит в бытовых условиях, снизить эхо помогут мягкие поверхности и мебель: ковер, мягкий диван и т.д.

Используйте одинаково настроенное и расположенное оборудование для записи всех аудио.

Не совмещайте роли звукорежиссера записи, диктора и войскоуча в одном лице. Войскоуч — специалист, который следит, чтобы диктор строго следовал тексту и не менял манеры повествования.

При записи любых аудио, предназначенных для модели синтеза речи, придерживайтесь правила «одна фраза — один файл».

Неточности, микроповторы, оговорки и замены слов недопустимы. Любые дефекты дикции в записях, на основе которых работает модель синтеза, значительно снижают качество синтезируемой речи.

Каждая запись шаблона или фразы для обучения модели должна сопровождаться абсолютно точной текстовой расшифровкой. Шаблоны, обучающие фразы и их расшифровки не должны содержать грамматических ошибок.

Требования к синтезируемым текстамТребования к синтезируемым текстам

Шаблон должен соответствовать желаемому скрипту.

В шаблоне должна быть одна или несколько переменных для замены. Длительность звучания переменной части должна соответствовать образцу в шаблоне. Если длительность звучания переменной части может сильно отличаться, рекомендуем записать несколько шаблонов с примерами разной длины. Нормализованный текст переменной части фразы должен занимать не больше 25% от длины шаблона. То же ограничение действует на длительность переменной части относительно длительности итоговой аудиозаписи.

Например, если в шаблоне Здравствуйте, меня зовут Ирина, я работаю в {company}. длина переменной company может быть очень разной (компании Облака, банке Надежность, региональном представительстве известной зарубежной компании), запишите два шаблона — для коротких и длинных значений. В зависимости от подставляемого значения передавайте при синтезе один из них. Так синтезированная речь останется естественной.

Длинные реплики диктора необходимо разбить на самостоятельные предложения и разные шаблоны. Синтезируемая фраза не может превышать 24 секунды и 250 символов.

• При записи речи на русском языке обязательно указывайте букву «ё» в расшифровке. Использование «е» вместо «ё» в любых текстах для синтеза недопустимо.

• В словах-омографах, где ударение может быть поставлено неоднозначно, явно указывайте ударную гласную знаком +.

  «Он вставил ключ в зам+ок.», ударение падает на второй слог.
  «Михайловский з+амок — главный корпус Пушкинского музея.», ударение падает на первый слог.

• Строки текста для синтеза не должны содержать цифр и сокращений вида «ул. Строителей, д.15 к.3» или «13 руб 10 коп». Цифры и числа записывайте прописью, сокращения — полностью раскрывайте.

  Улица Строителей, дом пятнадцать, корпус три.
  Тринадцать рублей десять копеек.

• В вопросительных предложениях укажите, на какое слово приходится **логическое ударение** — вопросительная интонация предложения.

  Предложение «Кот пошел в лес?» можно прочитать тремя разными способами:

  • **Кот** пошел в лес? — со смыслом «Кто пошел в лес? Это был действительно кот?»
  • Кот **пошел** в лес? — со смыслом «Кот пошел или побежал?» или «Было ли совершено само действие? Кот ушел или нет?»
  • Кот пошел **в лес**? — со смыслом «Куда или за чем пошел кот? В лес, в школу, за колбасой?»

  Во всех предложениях логическое ударение выделяет основной смысл предложения.

Использование синтеза по шаблонамИспользование синтеза по шаблонам

• API v3:

  • Brand Voice Premium и Brand Voice Self Service.
  • SpeechKit Brand Voice Call Center.