Implementing an Azure Data Solution

Содержание курса

• Azure для Data Engineer
• Работа с хранилищами данных
• Служба Azure Databricks
• Построение глобальных распределенных БД с использованием Cosmos DB
• Работа с реляционными источниками данных с облаке
• Выполнение аналитики в реальном времени с использованием Stream Analytics
• Перемещение данных с использованием Azure Data Factory
• Механизмы безопасности в Azure
• Мониторинг и устранение неполадок в процессе хранения и обработки данных

Программа курса

Модуль 1: Azure для инженеров данных

Студенты будут анализировать, как развивался мир данных и почему технологии облачных платформ дают бизнесу новые возможности для обработки и хранения данных. Слушатели получат обзор различных доступных технологий и узнают, как менялись роли и обязанности инженеров данных в современном мире.

Темы занятий

• Анализ развития мира данных
• Анализ сервисов платформы Azure Data Platform
• Определение задач и обязанностей инженера данных
• Рекомендации и лучшие практики использования облачных сервисов

Модуль 2: Работа с хранилищем данных

Данный модуль посвящен различным способам хранения данных в Azure. Слушатели изучат основы управления хранилищем в Azure, проанализируют, как создать Storage Account, и как правильно выбрать модель данных, которые будут хранится в облаке.

Темы занятий

• Выбор модели хранения данных в Azure
• Создание Azure Storage Account
• Анализ хранилища Azure Data Lake
• Загрузка данных в Azure Data Lake

Модуль 3: Использование Azure Databricks

Данный модуль знакомит слушателей со службой Azure Databricks и с тем, как инженер данных может наилучшим образом использовать эту службу для выполнения проектов Team Data Science. Слушатели получат базовые знания для работы с Azure Databricks и Apache Spark, научатся правильно формулировать и выполнять задачи подготовки данных.

Темы занятий

• Исследование работы Azure Databricks и платформ машинного обучения
• Анализ Team Data Science Process
• Azure Databricks и workspaces
• Задача подготовки данных

Модуль 4: Построение глобальной распределенной базы данных с использованием Cosmos DB

Из данного модуля студенты узнают, как работать с не-SQL данными с использованием Azure Cosmos DB, как загружать и запрашивать данные с помощью расширений кода Visual Studio и Azure Cosmos DB .NET Core SDK. Кроме того, будет показано, как настроить параметры доступности, чтобы пользователи могли получать доступ к данным из любой точки мира.

Темы занятий

• Создание базы данных Azure Cosmos DB
• Загрузка и запрос данных из Azure Cosmos DB
• Использование .NET Core app для Cosmos DB в Visual Studio Code
• Настройка глобального доступа к данным Azure Cosmos DB

Модуль 5: Работа с реляционными базами данных в облаке

Студенты изучат опции реляционных данных платформы Azure, включая SQL Database и SQL Data Warehouse. Слушатели смогут описать преимущества каждого из сервисов и объяснить, какой лучше использовать в различных сценариях.

Темы занятий

• Использование Azure SQL Database
• Анализ Azure SQL Data Warehouse
• Создание и запрос данных в Azure SQL Data Warehouse
• Использование PolyBase для заугрузки данных в Azure SQL Data Warehouse

Модуль 6: Аналитика в режиме реального времени с использованием Stream Analytics

В ходе изучения данного модуля слушатели узнают о принципах обработки событий и потоковой передачи данных, как это это использовать в Azure Stream Analytics. Кроме того, слушатели научатся управлять и контролировать запущенные задания.

Темы занятий

• Потоки данных и обработка событий
• Загрузка данных с помощью Event Hubs
• Обработка данных с помощью Stream Analytics Jobs

Модуль 7: Управление данными и перенос данных с помощью Azure Data Factory

В ходе данного модуля слушатели изучает, как можно использовать Azure Data factory для управления переносом данных. Они смогут объяснить возможности и преимущества этой технологии и установить сквозную обработку данных.

Темы занятий

• Как работает Azure Data Factory
• Компоненты Azure Data Factory
• Azure Data Factory и Databricks

Модуль 8: Механизмы безопасности в Azure Data Platforms

Слушатели узнают, какую многоуровневую модель безопасности для защиты данных использует Azure Data Platform. Слушатели проанализирует, как будет меняться уровень защищенности при различных настройках безопасности сетей, ключей доступа, доступа и мониторинга.

Темы занятий

• Введение в безопасность
• Ключевые компоненты безопасности
• Защита Storage Accounts и Data Lake Storage
• Защита источников данных
• Защита потоковых данных

Модуль 9: Мониторинг и устранение неполадок в процессе хранения и обработки данных

В ходе данного модуля слушатели будут исследовать различные механизмы мониторинга, которые доступны в платформе Azure. Кроме того, будут разобраны типичные сценарии неполадок, которые возникают при хранении или обработке данных, и сценарии аварийного восстановления.

Темы занятий

• Доступные механизмы мониторинга
• Устранение распространенных проблем, связанных с хранением данных
• Устранение распространенных проблем, связанных с обработкой данных
• Управление аварийным восстановлением

Для максимально полного усвоения знаний на курсе участники должны обладать знаниями и навыками в рамках курса:

• Microsoft Azure Fundamentals (AZ-900)