Связаться с намиПодключиться

Поставка данных из Yandex Forms в Yandex DataLens с использованием Yandex Cloud Functions и Yandex Query при помощи консоли управления

Статья создана
Обновлена 14 марта 2025 г.

Чтобы настроить интеграцию Forms и DataLens через консоль управления:

  1. Подготовьте инфраструктуру.
  2. Создайте функцию Yandex Cloud Functions.
  3. Создайте форму в Forms.
  4. Настройте подключение и привязку к данным в сервисе Yandex Query.
  5. Настройте получение данных в DataLens.
  6. Протестируйте интеграцию созданных ресурсов.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

В стоимость поддержки инфраструктуры входят:

  • плата за использование бакета Yandex Object Storage (см. тарифы Object Storage);
  • плата за хранение и запросы секретов Yandex Lockbox (см. тарифы Yandex Lockbox);
  • плата за вызовы функций и вычислительные ресурсы, выделенные для выполнения функций (см. тарифы Cloud Functions);
  • плата за объем считанных из источников данных при исполнении запросов Query (см. тарифы Query);
  • плата за использование DataLens в соответствии с тарифным планом (см. тарифы DataLens).

Подготовьте инфраструктуру

Создайте сервисный аккаунт

  1. В консоли управления выберите нужный каталог.
  2. В списке сервисов выберите Identity and Access Management.
  3. Нажмите кнопку Создать сервисный аккаунт.
  4. Введите имя сервисного аккаунта: forms-integration-sa.
  5. Нажмите кнопку Добавить роль и выберите роли:
  6. Нажмите кнопку Создать.

Создайте бакет Object Storage

В бакете Object Storage будут сохраняться данные из Forms.

  1. В консоли управления выберите нужный каталог.
  2. В списке сервисов выберите Object Storage.
  3. Нажмите кнопку Создать бакет.
  4. Введите Имя бакета.
  5. Нажмите кнопку Создать бакет.

Назначьте сервисному аккаунту права доступа на бакет

  1. В консоли управления выберите нужный каталог.

  2. В списке сервисов выберите Object Storage.

  3. Откройте созданный ранее бакет.

  4. Перейдите в раздел Объекты.

  5. Нажмите на кнопку и выберите Настроить ACL.

  6. В открывшемся окне Редактирование ACL:

    1. Начните вводить имя сервисного аккаунта forms-integration и выберите его из выпадающего списка.
    2. Выберите права доступа READ и WRITE .
    3. Нажмите кнопку Добавить.
    4. Нажмите кнопку Сохранить.

Создайте статический ключ для сервисного аккаунта

  1. В консоли управления выберите нужный каталог.
  2. В списке сервисов выберите Identity and Access Management.
  3. Выберите сервисный аккаунт forms-integration.
  4. Перейдите в раздел Обзор.
  5. Нажмите кнопку Создать новый ключ и выберите Создать статический ключ доступа.
  6. Нажмите кнопку Создать.
  7. В открывшемся окне Новый ключ отобразятся Идентификатор ключа и Ваш секретный ключ. Сохраните их — они понадобятся в дальнейшем.

Создайте секрет Yandex Lockbox для статического ключа

  1. В консоли управления выберите нужный каталог.
  2. В списке сервисов выберите Lockbox.
  3. Нажмите кнопку Создать секрет.
  4. Введите Имя секрета — static-key.
  5. В блоке Данные секрета:
    1. Выберите Тип секрета — Пользовательский.
    2. Создайте следующие пары ключ-значение:

      • Идентификатор статического ключа:

        • Ключ — static-key-id.
        • Значение — выберите Текст и введите идентификатор статического ключа, созданного ранее.

      • Значение статического ключа:

        • Ключ — static-key-value.
        • Значение — выберите Текст и введите значение статического ключа, созданного ранее.

Создайте и настройте функцию Cloud Functions

  1. В консоли управления выберите нужный каталог.

  2. В списке сервисов выберите Cloud Functions.

  3. Создайте функцию:

    1. Нажмите кнопку Создать функцию в правом верхнем углу.
    2. Введите Имя функции — forms-function.
    3. Нажмите кнопку Создать.

  4. Создайте версию функции:

    1. В открывшемся окне Редактор выберите среду исполнения — Python.

    2. Отключите опцию Добавить файлы с примерами кода.

    3. Нажмите кнопку Продолжить.

    4. Выберите Способ создания функции — Редактор кода.

    5. В окне редактора функции нажмите кнопку Создать файл.

    6. В открывшемся окне введите Имя файла — forms-integration.py и нажмите кнопку Создать.

    7. Вставьте в созданный файл forms-integration.py код функции:

      import boto3
import os
import json
from botocore.config import Config

def get_answers(raw_answers: json) -> json:
    result = {}
    for name, value in raw_answers.get('answer').get('data').items():
        if name.startswith('answer_choices_'):
            choices = []
            for c in value.get('value'):
                choices.append(c.get('text'))
            result[name] = ','.join(choices)
        else:
            result[name] = value.get('value')
    return result

def handler(event, context):
    headers = event.get('headers')
    form_id = headers.get('X-Form-Id')
    answer_id = headers.get('X-Form-Answer-Id')

    body_json = json.loads(event.get('body'))
    answers_json = get_answers(body_json)

    aws_access_key_id = os.environ['KEY']
    aws_secret_access_key = os.environ['SECRET_KEY']
    bucket_name = os.environ['BUCKET']

    s3 = boto3.client(service_name='s3',
                      aws_access_key_id=aws_access_key_id,aws_secret_access_key=aws_secret_access_key,
                      endpoint_url='https://storage.yandexcloud.net', region_name='ru-central1',
                      config=Config(request_checksum_calculation="when_required"))

    s3.put_object(Bucket=bucket_name, Key=f"{form_id}/{answer_id}.json", Body=json.dumps(answers_json))

    return {
        'statusCode': 200,
        'body': "OK",
        'headers': {
            'Content-Type': 'text/plain',
        }
    }

    8. В окне редактора функции нажмите кнопку Создать файл.

    9. В открывшемся окне введите Имя файла — requirements.txt и нажмите кнопку Создать.

    10. Укажите в созданном файле requirements.txt библиотеку boto3 для работы с Object Storage из функции:

      boto3

    11. В поле Точка входа укажите forms-integration.handler.

    12. В поле Сервисный аккаунт выберите созданный ранее аккаунт forms-integration-sa.

    13. В блоке Переменные окружения создайте переменную с названием бакета, в который будут сохраняться результаты выполнения функции:

      1. Ключ — BUCKET.
      2. Значение — имя созданного ранее бакета.

    14. В блоке Секреты Lockbox:

      1. Создайте переменную KEY для идентификатора статического ключа со следующими параметрами:

        • Переменная окружения — KEY.
        • Идентификатор секрета — выберите секрет static-key-id.
        • Идентификатор версии — выберите версию с пометкой latest.
        • Ключ секрета — выберите static-key-id.

      2. Создайте переменную SECRET_KEY для идентификатора статического ключа со следующими параметрами:

        • Переменная окружения — SECRET_KEY.
        • Идентификатор секрета — выберите секрет static-key-value.
        • Идентификатор версии — выберите версию с пометкой latest.
        • Ключ секрета — выберите static-key-value.

    15. После создания функции на вкладке Обзор включите опцию Публичная функция:

Создайте и настройте форму Forms

Создайте API-ключ

API-ключ нужен для настройки интеграции с Forms.

  1. В консоли управления выберите нужный каталог.
  2. В списке сервисов выберите Identity and Access Management.
  3. Выберите сервисный аккаунт forms-integration.
  4. Перейдите в раздел Обзор.
  5. Нажмите кнопку Создать новый ключ и выберите Создать API-ключ.
  6. Нажмите кнопку Создать.
  7. В открывшемся окне Новый ключ отобразятся Идентификатор ключа и Ваш секретный ключ. Сохраните их — они понадобятся в дальнейшем.

Создайте форму

  1. Перейдите в сервис Forms.

  2. Нажмите кнопку Создать форму.

  3. Добавьте в форму хотя бы два любых поля и настройте произвольные вопросы в них.

  4. Нажмите кнопку Опубликовать.

  5. Сохраните ссылку на опубликованную форму — она понадобится позднее.

Настройте интеграцию с функцией Cloud Functions

  1. Перейдите в сервис Forms.

  2. Откройте созданную ранее форму.

  3. Перейдите на вкладку Настройки.

  4. Откройте раздел Дополнительно.

  5. В блоке Ключ для запуска облачных функций введите данные созданного ранее API-ключа и нажмите кнопку Сохранить.

  6. Откройте вкладку Интеграции.

  7. Нажмите кнопку Cloud Functions, чтобы добавить условие для интеграции.

  8. В поле Код функции введите идентификатор функции Cloud Functions. Вы можете скопировать идентификатор в разделе Обзор функции Cloud Functions в консоли управления.

  9. В поле Показывать сообщение о результате действия выберите Показывать.

  10. Нажмите кнопку Сохранить.

Проверьте работу созданной интеграции

  1. Перейдите по публичной ссылке созданной ранее формы.

  2. Заполните форму и нажмите кнопку Отправить.

  3. Перейдите в сервис Forms.

  4. Откройте созданную ранее форму.

  5. Откройте вкладку Интеграции.

  6. Перейдите на страницу Выполненные интеграции.

  7. Откройте запись о выполненном действии и убедитесь, что в разделе Ответ получен HTTP-ответ 200 — ОК.

  8. Перейдите в консоль управления и откройте созданный ранее бакет. Убедитесь, что в нем появился JSON-файл с данными из заполненной формы.

    Название папки, в которой будет расположен файл, соответствует внутреннему идентификатору формы. Сохраните этот идентификатор — он понадобится для следующих шагов.

    Все последующие результаты заполнения формы будут сохраняться в этой папке.

  9. Заполните форму еще несколько раз, причем одно из полей заполните одинаково хотя бы в двух формах. В дальнейшем это увеличит наглядность при тестировании интеграции.

Настройте подключение и привязку к данным в сервисе Query

  1. Перейдите в консоль управления и откройте сервис Query.
  2. На вкладке Соединения нажмите кнопку Создать.
  3. Создайте соединение со следующими параметрами:
    • Имя — forms-connection.
    • Тип — Object Storage.
    • Бакет — имя созданного ранее бакета.
    • Сервисный аккаунт — forms-integration-sa.
  4. В открывшемся окне задайте параметры привязки к данным:
    • Тип — Object Storage.
    • Соединение — forms-connection.
    • Путь — /<идентификатор_формы>/.
      Вы можете скопировать идентификатор:
      • В разделе Объекты бакета Object Storage. Название папки, в которой расположен файл с результатами заполнения формы, соответствует ее идентификатору.
      • В адресной строке интерфейса Forms на странице просмотра или редактирования формы.
    • Формат — json_each-row.
    • Колонки — создайте колонки для полей, которые вы задали в форме.
      Чтобы Query определил колонки самостоятельно, нажмите кнопку Автоопределить колонки.

Настройте получение данных в DataLens

  1. Перейдите в сервис DataLens.
  2. На панели слева выберите Подключения и нажмите кнопку Создать подключение.
  3. Выберите сервис Query и задайте в открывшемся окне следующие параметры:
    • Облако и каталог — выберите облако и каталог, в котором вы создали остальные ресурсы.
    • Сервисный аккаунт — forms-integration-sa.
  4. Нажмите кнопку Сохранить изменения и в открывшемся окне задайте имя подключения — forms-datalens-connection, затем нажмите кнопку Создать.
  5. Вернитесь на главную страницу сервиса DataLens и нажмите кнопку Создать датасет.
  6. На панели подключений нажмите Добавить и выберите подключение forms-datalens-connection.
  7. В блоке Таблицы выберите нужную таблицу и перетащите ее в рабочую область DataLens.
    После загрузки данные из таблицы появятся на панели Предпросмотр.
  8. Нажмите кнопку Сохранить и введите имя датасета — forms-integration-dataset, затем нажмите кнопку Создать.

Протестируйте интеграцию созданных ресурсов

Чтобы проверить совместную работу созданных ресурсов, откройте датасет forms-integration-dataset и нажмите кнопку Создать чарт. В открывшемся окне создайте произвольный чарт с данными, полученными из формы. Для большей наглядности постройте чарт по тому полю, в котором есть повторяющиеся значения.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Чарт DataLens.
  2. Датасет DataLens.
  3. Подключение DataLens.
  4. Привязку Query.
  5. Соединение Query.
  6. Функцию Cloud Functions.
  7. Секрет Yandex Lockbox.
  8. Бакеты Object Storage.
Предыдущая
Обзор
Следующая
Terraform