Синтез речи по шаблонам в SpeechKit Brand Voice Call Center

import io
import grpc
import pydub
import argparse

import yandex.cloud.ai.tts.v3.tts_pb2 as tts_pb2
import yandex.cloud.ai.tts.v3.tts_service_pb2_grpc as tts_service_pb2_grpc

def synthesize(iam_token, bytes_array) -> pydub.AudioSegment:
    template = "<шаблонная_фраза_с_разметкой>"

    # Пример шаблона: 'Напоминаем, что завтра в {time} ваш ребенок записан на процедуру {procedure}.'
    request = tts_pb2.UtteranceSynthesisRequest(
        output_audio_spec=tts_pb2.AudioFormatOptions(
            container_audio=tts_pb2.ContainerAudio(
                # Здесь используется формат WAV для сжатия аудио. Вы можете указать OGG_OPUS или MP3 вместо WAV для других одноименных форматов.
                container_audio_type=tts_pb2.ContainerAudio.WAV
            )
        ),
        loudness_normalization_type=tts_pb2.UtteranceSynthesisRequest.LUFS,
        text_template = tts_pb2.TextTemplate(
            text_template = template,
            variables = [
                # Задайте список переменных шаблона.
                # Количество элементов tts_pb2.TextVariable() в списке определяется количеством переменных в шаблоне.
                tts_pb2.TextVariable(
                    variable_name = "<имя_переменной_в_template>",
                    # Пример: '{time}'
                    variable_value = "<текст_для_синтеза>"
                    # Пример: 'восемь часов тридцать минут'
                )
            ]
        ),
        hints = [
            tts_pb2.Hints(
                audio_template = tts_pb2.AudioTemplate(
                    audio = tts_pb2.AudioContent(
                        # Загрузите исходное аудио для шаблона.
                        content = bytes_array,
                        audio_spec = tts_pb2.AudioFormatOptions(
                            container_audio = tts_pb2.ContainerAudio(
                                container_audio_type = tts_pb2.ContainerAudio.WAV
                            )
                        )
                    ),
                    text_template = tts_pb2.TextTemplate(
                        text_template = template,
                        variables = [
                            # Задайте список переменных шаблона.
                            # Количество элементов tts_pb2.TextVariable() в списке определяется количеством переменных в шаблоне.
                            tts_pb2.TextVariable(
                                variable_name = "<имя_переменной_в_template>",
                                variable_value = "<текст_переменной_части_фразы_в_аудиофайле_шаблона>"
                            )
                        ]
                    ),
                    variables = [
                        # Задайте список аудиопараметров переменных шаблона.
                        # Количество элементов tts_pb2.AudioVariable() в списке определяется количеством переменных в шаблоне.
                        tts_pb2.AudioVariable(
                            variable_name = "<имя_переменной_в_template>",
                            # Длина переменной части фразы в аудио шаблона (в миллисекундах).
                            variable_length_ms = <длина_переменной>,
                            # Начало переменной части фразы в аудио шаблона (в миллисекундах).
                            variable_start_ms = <время_начала_переменной>
                        )
                    ]
                )
            )
        ],
        # Специальная модель SpeechKit Brand Voice Call Center, предоставляется по запросу 
        model = "zsl"
    )

    # Установите соединение с сервером.
    cred = grpc.ssl_channel_credentials()
    channel = grpc.secure_channel('tts.api.cloud.yandex.net:443', cred)
    stub = tts_service_pb2_grpc.SynthesizerStub(channel)

    # Отправьте данные для синтеза.
    it = stub.UtteranceSynthesis(
        request,
        metadata=(
            # Для тестов можно использовать API-ключ.
            # ('authorization', f'Api-Key {api_key}'),
            # В рабочих решениях лучше использовать IAM-токен.
            ('authorization', f'Bearer {iam_token}'),
        ),
    )

    # Обработайте ответы сервера и запишите результат в файл.
    try:
        audio = io.BytesIO()
        for response in it:
            audio.write(response.audio_chunk.data)
        audio.seek(0)
        return pydub.AudioSegment.from_wav(audio)
    except grpc._channel._Rendezvous as err:
        print(f'Error code {err._state.code}, message: {err._state.details}')
        raise err


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--token', required=True, help='IAM token')
    parser.add_argument('--input', required=True, help='Template WAV file')
    parser.add_argument('--output', required=True, help='Output WAV file with synthesized speech')
    args = parser.parse_args()

    with open(args.input, 'rb') as file:
        speech = file.read()

    audio = synthesize(args.token, speech)
    with open(args.output, 'wb') as fp:
        audio.export(fp, format='wav')

import io
import grpc
import pydub
import argparse

import yandex.cloud.ai.tts.v3.tts_pb2 as tts_pb2
import yandex.cloud.ai.tts.v3.tts_service_pb2_grpc as tts_service_pb2_grpc

def synthesize(iam_token, bytes_array) -> pydub.AudioSegment:
    template = "<шаблонная_фраза_с_разметкой>"
    # Пример шаблона: 'Напоминаем, что завтра в {time} ваш ребенок записан на процедуру {procedure}.'
    request = tts_pb2.UtteranceSynthesisRequest(
        output_audio_spec=tts_pb2.AudioFormatOptions(
            raw_audio=tts_pb2.RawAudio(
                audio_encoding=tts_pb2.RawAudio.LINEAR16_PCM,
                sample_rate_hertz=8000
            )
        ),
        loudness_normalization_type=tts_pb2.UtteranceSynthesisRequest.LUFS,
        text_template = tts_pb2.TextTemplate(
            text_template = template,
            variables = [
                # Задайте список переменных шаблона.
                # Количество элементов tts_pb2.TextVariable() в списке определяется количеством переменных в шаблоне.
                tts_pb2.TextVariable(
                    variable_name = "<имя_переменной_в_template>",
                    # Пример: '{time}'
                    variable_value = "<текст_для_синтеза>"
                    # Пример: 'восемь часов тридцать минут'
                )
            ]
        ),
        hints = [
            tts_pb2.Hints(
                audio_template = tts_pb2.AudioTemplate(
                    audio = tts_pb2.AudioContent(
                        # Загрузите исходное аудио для шаблона.
                        content = bytes_array,
                        audio_spec = tts_pb2.AudioFormatOptions(
                            container_audio = tts_pb2.ContainerAudio(
                                container_audio_type = tts_pb2.ContainerAudio.WAV
                            )
                        )
                    ),
                    text_template = tts_pb2.TextTemplate(
                        text_template = template,
                        variables = [
                            # Задайте список переменных шаблона.
                            # Количество элементов tts_pb2.TextVariable() в списке определяется количеством переменных в шаблоне.
                            tts_pb2.TextVariable(
                                variable_name = "<имя_переменной_в_template>",
                                variable_value = "<текст_переменной_части_фразы_в_аудиофайле_шаблона>"
                            )
                        ]
                    ),
                    variables = [
                        # Задайте список аудиопараметров переменных шаблона.
                        # Количество элементов tts_pb2.AudioVariable() в списке определяется количеством переменных в шаблоне.
                        tts_pb2.AudioVariable(
                            variable_name = "<имя_переменной_в_template>",
                            # Длина переменной части фразы в аудио шаблона (в миллисекундах).
                            variable_length_ms = <длина_переменной>,
                            # Начало переменной части фразы в аудио шаблона (в миллисекундах).
                            variable_start_ms = <время_начала_переменной>
                        )
                    ]
                )
            )
        ],
        # Специальная модель SpeechKit Brand Voice Call Center, предоставляется по запросу
        model = "zsl"
    )

    # Установите соединение с сервером.
    cred = grpc.ssl_channel_credentials()
    channel = grpc.secure_channel('tts.api.cloud.yandex.net:443', cred)
    stub = tts_service_pb2_grpc.SynthesizerStub(channel)

    # Отправьте данные для распознавания
    it = stub.UtteranceSynthesis(
        request,
        metadata=(
            # Для тестов можно использовать API-ключ.
            # ('authorization', f'Api-Key {api_key}'),
            # В рабочих решениях лучше использовать IAM-токен.
            ('authorization', f'Bearer {iam_token}'),
        ),
    )

    # Обработайте ответы сервера и запишите результат в файл.
    try:
        audio = io.BytesIO()
        for response in it:
            audio.write(response.audio_chunk.data)
        audio.seek(0)
        return pydub.AudioSegment.from_raw(
            audio, sample_width=2, frame_rate=8000, channels=1
        )
    except grpc._channel._Rendezvous as err:
        print(f'Error code {err._state.code}, message: {err._state.details}')
        raise err

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--token', required=True, help='IAM token')
    parser.add_argument('--input', required=True, help='Template WAV file')
    parser.add_argument('--output', required=True, help='Output WAV file with synthesized speech')
    args = parser.parse_args()

    with open(args.input, 'rb') as file:
        speech = file.read()

    audio = synthesize(args.token, speech)
    with open(args.output, 'wb') as fp:
        audio.export(fp, format='wav')