Home » МАРКЕТИНГ » Настройка DBT + Spark для кластера Cloudera on-prem

Настройка DBT + Spark для кластера Cloudera on-prem

Для управления кодом Spark-приложений мы используем подход, описанный в предыдущей статье.

Речь идет об управлении качеством кода при разработке Spark ETL, чтобы не превратить работу над проектом в полет души, пугающий даже автора. В результате Spark ETL application выглядит просто как последовательность Spark SQL-запросов. Сама ETL-трансформация описывается как объект в отдельном файле конфигурации.
Читать дальше →
Источник

Leave a Reply