Qlik Replicate и Open Lakehouse: возможности и экономия 

Для компаний, которые уже используют Qlik Replicate, развитие аналитики и проектов в области искусственного интеллекта ставит практический вопрос: как подготовить данные для новых задач, сохранив настроенные процессы репликации и инвестиции в них?

Новая функция Replicate Source for Open Lakehouse в Qlik Talend Cloud позволяет передавать данные из существующих установок Qlik Replicate в таблицы Apache Iceberg через Qlik Open Lakehouse. Для этого не требуется обновлять Replicate, мигрировать существующие потоки или внедрять дополнительный уровень загрузки данных.

Как работает интеграция с Open Lakehouse

Точкой подключения является облачное объектное хранилище, в которое Qlik Replicate записывает данные из корпоративных источников. Дальнейшую обработку выполняет Qlik Open Lakehouse:

1. Qlik Replicate передает данные в объектное хранилище. Источниками могут служить мэйнфреймы, SAP и традиционные реляционные базы данных.
2. Задание типа «Replicate landing» считывает результат репликации. Оно напрямую распознает исходные данные Replicate.
3. Open Lakehouse непрерывно записывает и оптимизирует таблицы Apache Iceberg. После настройки этот процесс работает автоматически.

Обработка данных больше не заканчивается на файлах CSV или Parquet в объектном хранилище: они поступают в управляемый Iceberg lakehouse. Для компаний со сложным набором источников это означает, что имеющиеся подключения к критически важным системам можно использовать для наполнения новой аналитической среды.

Что Apache Iceberg дает бизнесу

Apache Iceberg — открытый табличный формат, поддерживаемый Snowflake, Databricks, Amazon Redshift, Google BigQuery и другими современными системами обработки данных. Он позволяет обращаться к одним и тем же таблицам с разных платформ без копирования данных. Компания может выбирать инструменты для решения конкретных задач — отчетности, прогнозирования или машинного обучения — и снижать зависимость от одного поставщика.

Помимо совместимости, Iceberg обеспечивает:

• ACID-транзакции — обеспечение целостности и согласованности данных при записи и обновлении.
• Эволюция схемы — возможность изменять структуру таблиц в соответствии с новыми требованиями.
• Time travel — доступ к предыдущим состояниям таблиц для изучения изменений и воспроизведения результатов анализа на определенный момент времени.

Эти возможности помогают адаптировать аналитическую среду к изменениям в бизнесе и проверять, на каких данных основывались предыдущие результаты. Открытый формат также создает основу для проектов в области искусственного интеллекта; качество и пригодность данных для конкретного применения требуют отдельного контроля.

Благодаря чему сокращаются расходы

Потенциальная экономия в Qlik Open Lakehouse формируется на трёх уровнях.

Автоматизация технического обслуживания. Adaptive Optimizer автоматически сжимает файлы, оптимизирует их размеры и управляет файлами, которые больше не связаны с таблицами. Это сокращает объем ручных операций для инженеров и освобождает время для разработки аналитических решений.

Доступ к данным посредством зеркалирования без копирования (zero-copy mirroring). Таблицы Iceberg можно сделать доступными в Snowflake, Databricks, Google BigQuery или Amazon Redshift без оплаты за загрузку данных в облачное хранилище данных. Для компаний с прямыми потоками Replicate–Data Warehouse это может снизить соответствующие расходы по мере роста объемов. Речь идет именно о загрузке: хранение данных и выполнение аналитических запросов имеют свою собственную стоимость.

Модель вычислений и оплаты. Загрузка и оптимизация данных в формате Iceberg осуществляются на кластерах с использованием более дешевых spot instances в виртуальном частном облаке клиента — VPC. Оплата рассчитывается за часы использования вычислительных ядер (compute core-hours), а не за объем данных. Такая модель может быть выгодной для частой передачи изменений с помощью Change Data Capture (CDC).

Согласно данным исследования Nucleus Research, приведённым компанией Qlik, клиенты, перенесшие операции загрузки с вычислительных ресурсов Data Warehouse в Qlik Open Lakehouse, сократили соответствующие расходы на вычисления до 70 %. Этот показатель не касается общей стоимости инфраструктуры. Результат для конкретной компании зависит от её нагрузки и конфигурации.

Как оценить целесообразность для своей компании

Стоит сравнить затраты на текущую схему доставки данных с моделью Open Lakehouse, учитывая частоту и объем изменений CDC, вычислительные ресурсы для загрузки, время, затрачиваемое командой на обслуживание, а также платформы, на которых будут использоваться таблицы Iceberg.

Прежде всего целесообразно рассмотреть потоки, в которых данные из одних источников требуются нескольким аналитическим системам или затраты на загрузку в Data Warehouse растут. Такое сравнение поможет определить приоритетные подключения и оценить ожидаемую экономию.

Подробнее о возможностях репликации и доставки данных из корпоративных систем — на странице Qlik Replicate.