Ошибки при работе коннектора Spark
При работе со Spark в хранилище проекта создается скрытая папка .spark/, внутри которой находится служебная информация обо всех коннекторах Spark, доступных в проекте. Чтобы увидеть скрытые файлы и папки, на верхней панели интерфейса JupyterLab нажмите View ⟶ Show Hidden Files.
Spark-сессия создается до запуска первой ячейки ноутбука и доступна через переменную spark. Если при создании сессии произошла ошибка, переменная spark не будет доступна, а отчет об ошибке появится в файле вида .spark/connector/<идентификатор_коннектора>/session_creation_err_<время_ошибки>.txt. Приложите этот файл при обращении в поддержку.
Ошибка записи данных в S3
Если при записи данных в S3 возникла ошибка Could not find any valid local directory for s3ablock-0001, то в настройках коннектора Spark в блоке Настройки Spark добавьте один из параметров:
| Параметр | Описание |
|---|---|
spark.hadoop.fs.s3a.fast.upload.buffer = bytebuffer |
Быстрая загрузка файлов с помощью RAM. Размер файла не должен превышать количество доступной оперативной памяти |
spark.hadoop.fs.s3a.buffer.dir = /tmp |
Обычная загрузка на диск |