В этом материале описана концепция Lakehouse, показаны многие возможности Iceberg, проведено сравнение с DWH на базе Greenplum. Вы загрузите и обработаете сырые данные на 10 миллионов строк, создадите таблицы Silver слоя и витрины Gold слоя. Стенд содержит нужную теорию для выполнения практики.
Работа с реальной инфраструктурой ведётся через SQL запросы и Linux terminal, Trino UI и MinIO web console. Также есть шаги: - создания S3 бакета в MinIO - настройки Trino каталога для загрузки в этот бакет
Содержание: 1. Введение 2. Подключение и разведка 3. Концепции: Trino, Iceberg, Lakehouse 4. Сырые данные — слой Hive 5. Управляемый слой — Iceberg 6. Time travel 7. Schema evolution 8. Partition evolution 9. Row-level операции и MERGE 10. Метаданные Iceberg 11. Обслуживание 12. Витрины (marts) 13. Аналитика 14. Очистка
Доступ выдаётся на 30 дней. Материалы можно сохранить в PDF. После оплаты получи доступ по ссылке: https://labs-pay.rzvde.pro/claim