Оптимизация - это навык, который позволяет писать быстрые и эффективные запросы, которые соответствуют высокому качеству аналитической системы для быстрого отклика расчета данных
Хочешь использовать Python для автоматизации широкого спектра задач
Функциональное программирование на Python позволяет писать DAGи в Apache Airflow для настройки ETL потоков, автоматизировать работу с Google таблицами, извлекать данные по API, считывать данные из баз данных, а также отправлять отчеты в любой мессенджер. Это универсальные навыки для большого спектра задач
Хочешь систематизировать знания в работе с DWH и ETL и уметь выполнять задачи в области анализа и инженерии данных
Инженерные навыки всегда высоко оплачиваются на рынке, компании ищут сильных людей, готовых работать с комплексными системами
Хочешь профессионального и финансового роста
Практические навыки после обучения позволяют работать на позиции middle+ / senior специалиста, зарплатная вилка на рынке 180-350 gross в зависимости от компании и требуемого опыта
Для обучения потребуются базовые знания SQL
фильтрация
функции агрегации
JOIN
понимание оконных функций
Твой результат после обучения
Умею реализовывать сложные бизнес и технические задачи с помощью SQL
Умею писать оптимальные и оптимизированные SQL-запросы, применяя оконные функции, JOIN, CTE, подзапросы, временные таблицы
Умею реализовывать полную и инкрементальную загрузку данных с помощью SQL и Python
Умею автоматизировать обновление данных с помощью Apache Airflow и Cloud Functions
Какие инструменты освоишь
PostgreSQL
Apache Airflow
Cloud Functions
Программа:
Витрины данных
Сначала погрузишься в контекст что называется витриной данных, как загружаются данные в витрину разными способами и какие виды материализации витрин существуют
Сбор требований
В этом блоке узнаешь как собирать требования для разработки витрин, какие вопросы задавать и какие шаблоны можно применять для фиксации требований
SQL для преобразований данных
Для разработки бизнес-логики расчета метрик и автоматизации обновления данных изучишь новые операторы SQL и научишься работать с массивами, списками и json форматами данных внутри базы. Также рассмотрим методы формирования комплексных запросов с помощью подзапросов, CTE и временных таблиц
Лайфхаки из практики
Здесь собраны максимально полезные практические материалы с работы, тонкие нюансы и лайфхаки, которые нарабатываются обычно только с опытом. Стандарты сборки витрин, дедубликация, снэпшоты данных, расчет окон атрибуции, тотал и сабтотал метрики и другое
Теория и практика Git
Навыки аналитика-инженера или фулстек-аналитика подразумевают работу с Git-системами. Поэтому здесь изучишь основные команды git и работу с репозиторием, которая будет закреплена в практических заданиях
Реализация полной перезагрузки
Научишься создавать витрины с полной перезагрузкой данных в них разными способами
Реализация инкрементальной загрузки
Научишься реализовывать загрузку данных разными инкрементами (частями)
Оптимизация запросов
Нам важно уметь писать SQL-запросы эффективно, чтобы они выполнялись максимально быстро и просто. Поэтому изучим правила оптимизации SQL и чтения плана запроса
Документация
После создания витрины нужно создать документацию, чтобы ты и твои коллеги могли этим пользоваться. Рассмотрим шаблоны документации и как их заполнять
Качество данных
Без качественных данных не получить качественный анализ. Научишься следить за метриками качества при создании витрин и автоматизировать проверки на качество
Clickhouse
Узнаешь чем колоночная база данных Clickhouse технически отличается от реляционной PostgreSQL
Полноценный пайплайн от источника до отчета
Разберём создание проекта "под ключ" от извлечения данных из источника, их преобразования и обработки в хранилище до создания BI отчета с метриками в Datalens. Стек: PostgreSQL, Apache Airflow, Yandex Datalens
Разработка и автоматизация 10 витрин
На практике разработаешь 10 витрин под разные аналитические задачи: расчет Retention, RFM, LTV, Маркетинговый отчет, P&L отчет, CRM отчет и другое