Столкнись с проблемами после начала работы коннектора и научись их решать!
Своими руками соберёшь CDC-конвейер и разберёшься с тем, что происходит с ним после запуска:
как выбрать нужные параметры в .json манифесте коннекторов источника и приёмника
как направить поток изменений из PostgreSQL в Kafka через Debezium, от снапшота до живого потока
выгрузка этого потока в S3 и форма файлов, которая получается на выходе
поломки на работающем конвейере: отставание слота, задача в `FAILED`, зелёный статус при остановленном чтении, осиротевший слот, `ALTER TABLE` на живом потоке
Лаба рассчитана на тех, кто пишет SQL и работал с реляционной базой. Kafka знать не нужно.
Содержание: 1. Введение 2. Kafka: лог, партиция, офсет 3. Логическая репликация: wal_level, публикация, слот 4. Kafka Connect REST: регистрация коннектора и снапшот 5. Анатомия события: op, before, after, source 6. Sink в S3: бэкфилл и живой поток 7. Форма выгрузки: file.max.records и формат 8. Схема в источнике: условие для parquet 9. Остановленный коннектор: рост WAL и heartbeat 10. Бесконечный повтор: зелёный статус и слот без подписчика 11. Удаление коннектора: осиротевшие слот и публикация 12. ALTER TABLE на работающем коннекторе 13. Две формы записей в одном бакете 14. Tombstone и compaction: лог схлопывается до состояния 15. Итоги
Доступ выдаётся на 30 дней. Материалы можно сохранить в PDF. После оплаты получи доступ по ссылке: https://labs-pay.rzvde.pro/claim