神策 CDP 数据集成能力解读

超级管理员
2024-08-27 13:56:49
超级管理员

作为 CDP 的数据入口,数据集成能力一直是神策数据的优势和强项。

经过多年打磨,神策数据面向 CDP 复杂的数据接入场景,结合传统的行为数据接入能力,打造了全新的可视化数据接入框架,具备强大的灵活性与扩展性,并与外部数据源及内部的数据建模域解耦。基于此,企业可以实现自身 CDP 相关数据的接入效率 1-2 个数量级的提升,并最大程度丰富数据采集与集成的场景。

与此同时,神策数据也在积极探索与主流云原生数仓的生态整合方案,致力于实现 CDP 和企业数仓能力的无缝整合,真正赋能业务运营与增长。

值得强调的是,神策数据全新引入数据双向映射方案,我们希望能利用这一技术方案和「ZeroCopy」理念为 CDP 的数据集成解决方案带来新的范式。目前,在神策 CDP 中,我们尽可能地简化了数据导入和导出的过程,实现 CDP 底层的数据表和客户数仓表的双向读写,只存储一份数据,从源头上消弭数据 diff,实现真正的无缝链接底层数仓与上层的业务应用。

本文将从数据接入框架和导入任务管理两方面展开,详细介绍神策 CDP 的数据集成能力,帮助企业更好地支撑上层数据应用。

一、可靠且易扩展的数据接入框架

神策 CDP 为企业提供了全套数据接入解决方案,包括实时数据采集 SDK、批量数据导入工具、数据仓库映射等。该平台化的数据接入框架为企业提供了多种预置的数据源接入选项,可以轻松整合业务系统数据、第三方数据和数据仓库/数据湖等。

另外,企业也可以在平台上进行自定义插件开发并部署到生态平台以满足特定接入需求。

除此之外,神策进一步提供了完善的数据表创建和写入 API,使企业开发者能够以编程方式完成整个数据接入过程。为了与企业的数据湖更为紧密地集成,神策还支持将 Iceberg 类型的数据表直接映射到系统中,实现在不导入数据的前提下完成数据对接,这不仅节省了硬件资源,还确保了数据与源端的完整一致性。针对企业的具体业务需求,神策数据的咨询专家团队会提供最佳的数据接入解决方案。

举个例子。当前众多企业正在建立或已经建立了自己的数据仓库/数据湖,他们在此过程中投入了大量的 IT 开发资源、存储和计算成本。在此背景下,神策 CDP 为企业所提供的数据仓库表映射功能就显得尤为重要。企业可以基于此,有效复用已经建立的数据仓库/数据湖,通过直接访问预先建立的数据仓库表,显著降低数据导入的成本,确保数据的完整和一致。这意味着神策 CDP 能够与现有的数据基础设施更加紧密地结合,进一步提升数据利用的效率和效果。

二、可视化的导入任务管理

神策 CDP 为企业提供了一套完善的、可视化的数据导入任务配置和管理工具,帮助企业利用直观的字段映射配置和导入规则设定,快速灵活地建立数据导入策略。

1. 实时任务监控

一旦数据对接任务成功启动,系统界面上将实时展示所有的数据处理和同步任务。系统管理员可以在界面上直观地查看任务的启停、故障状态和日志,迅速定位并解决问题。

2. 资源血缘依赖通知

确保下游应用方能够及时得到通知,从而降低数据接入延迟可能带来的连锁影响。

3. 高效数据接入

通过神策数据提供的数据导入工具,相比传统的 ETL 方式,企业可以大大缩短数据接入的时间,从原来的数周或数月缩短到仅需一两天,显著提高数据接入的效率。

4. 透明度与可追溯性

企业可以清晰地查看和追踪导入任务的策略、调度时间、运行状态等信息,解决了传统 ETL 方式中常见的“黑盒”问题,提高了透明度。