## Вступ: Як dbt (значно) покращує досвід розробника SQL У сучасних проектах із обробки даних і з підйомом хмарних обчислень, ресурси обчислень баз даних/даних платформ стають все більш доступними, що сприяє зростанню популярності процесів на основі ELT; це означає, що більшість трансформацій/моделювань даних відбувається всередині платформ обробки даних за допомогою спеціалізованих обчислювальних ресурсів (віртуальні сховища у випадку Snowflake, наприклад), і з цим приходить SQL як найбільш використовуваний підхід для трансформації/моделювання даних у цих проектах. SQL зі своїм декларативним підходом — це чудовий інструмент (який добре старіє ;) ) для роботи з базами даних усіх видів, але він має певні обмеження… Тут на допомогу приходить dbt (Data Build Tool), який по суті надає фреймворк для допомоги в SQL-орієнтованих трансформаціях; завдяки відкритому вихідному коду ви отримуєте робоче середовище у вашому улюбленому редакторі (наприклад, VS Code), де ви можете трансформувати дані за допомогою SQL з деяким jinja всередині, що означає, що ви можете автоматизувати багато кроків, які зазвичай потребують ручної роботи або складних транзакційних процесів, якщо використовувати тільки стандартний SQL. ## Загальна структура проекту dbt Після ініціалізації проекту dbt на вашій локальній машині ви отримаєте папку, яка міститиме майже все, що вам потрібно для початку вашої подорожі з обробки даних ;) Це означає, що вся ваша SQL X jinja логіка трансформацій зберігатиметься саме тут, і екзамен фокусується на великій частині розуміння цієї загальної структури; що містить кожна папка і її підпапки — це важливо для розуміння кожного, хто хоче здати екзамен та також максимально ефективно використовувати dbt у реальних проектах з даними. ## Шлях навчання ### Контрольна точка 1 — Створення основи Ресурси: – **Курси :** [https://learn.getdbt.com/learn/course/dbt-fundamentals](https://learn.getdbt.com/learn/course/dbt-fundamentals) – **Читання :** [https://docs.getdbt.com/community/resources/viewpoint](https://docs.getdbt.com/community/resources/viewpoint) – **Документація :** – [https://docs.getdbt.com/reference/source-properties](https://docs.getdbt.com/reference/source-properties) – [https://docs.getdbt.com/reference/node-selection/syntax](https://docs.getdbt.com/reference/node-selection/syntax) – [https://docs.getdbt.com/reference/dbt_project.yml](https://docs.getdbt.com/reference/dbt_project.yml) – [https://docs.getdbt.com/reference/resource-properties/columns](https://docs.getdbt.com/reference/resource-properties/columns) – **Команди :** – dbt compile • dbt run • dbt source freshness • dbt test • dbt docs generate • dbt build • dbt run-operation • dbt retry ### Контрольна точка 2 — Модульність та рефакторинг Ресурси: – **Курси :** [https://learn.getdbt.com/learn/course/refactoring-sql-for-modularity](https://learn.getdbt.com/learn/course/refactoring-sql-for-modularity) – **Читання та документація :** – [https://docs.getdbt.com/best-practices/how-we-structure/1-guide-overview](https://docs.getdbt.com/best-practices/how-we-structure/1-guide-overview) – [https://docs.getdbt.com/blog/essential-dbt-project-checklist#-dag-auditing](https://docs.getdbt.com/blog/essential-dbt-project-checklist#-dag-auditing) – [https://docs.getdbt.com/guides/refactoring-legacy-sql?step=1](https://docs.getdbt.com/guides/refactoring-legacy-sql?step=1) – **Досвід :** Рефакторинг SQL для покращення продуктивності та ясності ### Контрольна точка 3 — Робимо більше з dbt Ресурси: – **Курси :** – [https://learn.getdbt.com/learn/course/jinja-macros-and-packages/advanced-jinja-and-macros/advanced-jinja-and-macros](https://learn.getdbt.com/learn/course/jinja-macros-and-packages/advanced-jinja-and-macros/advanced-jinja-and-macros?page=8) – [https://learn.getdbt.com/learn/course/advanced-materializations](https://learn.getdbt.com/learn/course/advanced-materializations/) – [https://learn.getdbt.com/learn/course/analyses-and-seeds](https://learn.getdbt.com/learn/course/analyses-and-seeds)