Microsoft Fabric Gerçek Zamanlı Analitik, büyük veri hacimlerini gerçek zamanlı olarak analiz etmek için tam yönetilen, yüksek performanslı bir platformdur. Yapılandırılmış ve yapılandırılmamış verileri destekleyen veri alma, sorgulama, görselleştirme ve yönetim için uçtan uca yetenekler sunar. Makine öğreniminden yararlanarak kalıpları tespit etmeye, trendleri tahmin etmeye ve log analitiği, zaman serisi analizi ve IoT gibi gelişmiş analitik senaryoları etkinleştirmeye yardımcı olur.
Вступ
Цей блог знайомить з обробкою даних у Microsoft Fabric за допомогою реального часу. Раніше я детально показував такі аспекти, як Eventstream (Обробка реальних даних у Microsoft Fabric Eventstream), Реальні часи (Панелі реального часу Microsoft Fabric на робочих місцях) та Оволодіння мовою запитів Kusto (Оволодіння мовою запитів KQL) та іншими аспектами. Обидва належать до Eventhouse і включають набір запитів KQL. У цьому блозі ми розглянемо, що таке реальний час, як це працює і чому це так важливо в нашому світі даних.
https://learn.microsoft.com/en-us/fabric/real-time-intelligence/overview
Огляд Реального Часу
Реальний час дозволяє отримувати та візуалізувати дані у режимі реального часу, що забезпечує важливі інсайти для вашої організації. Наразі в обробці даних реального часу використовуються шість різних компонентів.
Використовуючи ці інструменти, було створено одне Eventhouse.
Є два типи: “New Database (Default)” та “New Shortcut Database (Follower)”. Якщо вас цікавить тип “New Shortcut Database (Follower)”, перед налаштуванням загальних параметрів є бонусна секція, де детально розглядається “Shortcut Azure Data Explorer”.
Нову базу даних Eventhouse було створено і названо "test".
Системний вигляд Eventhouse виглядає, як показано на зображенні нижче.
Артефакти Eventhouse на робочому просторі відображаються таким чином.
Стан бази даних для Eventhouse показаний тут.
Для тесту було налаштовано базу даних KQL і за допомогою наступних методів було отримано приклади даних.
Приклад даних відображено, а потім вибрано зразок "Automotive".
Ось таблиця, використана для прикладу Automotive.
Процес створення Queryset (місце для написання запитів) виглядає так.
Альтернативно, можна вибрати опцію “Query with Code”, щоб відкрити KQL Queryset.
Дані аналізуються за допомогою запитів KQL.
Більше прикладів коду мови запитів Kusto (KQL) або глибшого аналізу можна знайти в моєму блозі Оволодіння мовою запитів Kusto (KQL).
- Run: Виконує ваш KQL запит.
- Preview: Показує перші 50 записів із вхідного набору даних.
- Recall: Включає режим кешування.
- Copy Query: Копіює запит.
- Pin to Dashboard: Закріплює візуалізацію результатів запиту на панелі. Для додаткової інформації ознайомтесь з блогом Microsoft Fabric Панелі реального часу на робочих місцях_.
- KQL Tools: Пропонує варіанти для копіювання запитів та виконання команд.
- Power BI & Alert Integration: Дозволяє створювати звіти Power BI та налаштовувати сповіщення, засновані на результатах запитів.
Короткий огляд того, як створюється звіт Power BI у Реальному Часі. Для цього також можна використовувати Power BI Desktop.
Для Set Alert (Data Activator) буде написано детальний блог на Medium. Скоро буде готово.
Shortcut Database для Azure Data Explorer (ADX)
Припустимо, що ви використовуєте Azure Data Explorer (ADX). Нижче показано, як створити ярлик для зовнішнього ADX і надати йому будь-яку назву.
Якщо ви хочете дослідити Azure Data Explorer, ви можете слідувати за посиланням Azure Data Explorer Початок роботи безкоштовно. Безкоштовний кластер не підтримує ярлик, тому потрібно оновити до Azure Кластера.
Я скопіював URL кластера з Azure portal, вставив його в поле URL ресурсу в Fabric і вибрав базу даних.
Стан бази даних для Eventhouse показано тут.
Усі мої артефакти знаходяться в робочому просторі. Коли я захочу видалити KQL базу даних, я зроблю це тут.
Огляд налаштувань конфігурації
У розділі Database можна створювати Tables, Materialized Views, Functions та Table update policies, які автоматично генеруються у вигляді KQL коду.
Також можна додавати ярлики для доступу до даних через зовнішні сховища, такі як внутрішнє сховище Microsoft OneLake або Amazon S3, Amazon S3 Compatible, Azure Data Lake Storage Gen2, Dataverse, Google Cloud Storage.
У політиках зберігання даних можна налаштувати політики зберігання (retention) і кешування (caching), щоб керувати тим, скільки часу дані зберігаються в базі даних або кеші, що дозволяє оптимізувати продуктивність.
Існує три типи нових пов'язаних елементів (New Related Items):
- KQL Queryset: Дозволяє писати та виконувати KQL запити, подібні до поточного вигляду.
- Real-Time Dashboard: Забезпечує візуалізацію даних у реальному часі.
- Notebook: Дозволяє використовувати Spark у ваших базах даних KQL.
Новий пов'язаний елемент — це приклад KQL Queryset.
Додатки
Додаток Python дозволяє виконувати користувацькі функції (UDF) на табличних даних у безпечному захищеному середовищі (sandbox) і генерує табличні результати. Увімкнення цього може підвищити витрати на обробку та вимагати оновлення кешу SSD, а також активація може зайняти до години.
Мінімальне споживання
Eventhouse автоматично призупиняється, щоб зменшити витрати, коли не використовується. Після повторного активації може виникнути затримка в кілька секунд. Якщо потрібно забезпечити безперервне та беззапізнення використання, можна використовувати функцію Мінімального споживання (Minimum Consumption), щоб підтримувати службу на певному рівні. У такому випадку ви сплачуєте за мінімальний рівень обробки або фактичне використання (якщо воно перевищує мінімум). Ця обчислювальна потужність поширюється на всі бази даних у Eventhouse і включає обмежену преміум-стореджу в залежності від обраного рівня.
Дякую за увагу!
Якщо вам сподобалась ця стаття та ви хочете побачити більше матеріалів, будь ласка, натисніть на іконку "Аплодувати".
Якщо ви хочете дізнатися більше про Microsoft Fabric, ознайомтесь із моєю статтею: Оволодіння візуалізацією даних у реальному часі: інтеграція Python, Azure та Power BI:
Перекладено з: Microsoft Fabric Gerçek Zamanlı Zeka ile Anlık İçgörü ve Analiz