数据开发平台
数据开发平台支持用户在线建立数据仓库和数据集市，以数据采集、数据加工、数据运维、数据协同开发、工作流编排、数据发布、资源隔离等为用户提供一站式的开发平台，实现对企业级数据进行同步、加工、发布、运维等环节的一体化管理。很好的解决了实际业务中，企业数据资源散落在多个相互隔离业务系统中，并且各系统间存在差异，导致整个协作、维护和效率非常的低下的问题。
平台提供可视化任务配置，多种脚本类型任务编写，通过拖拉拽的方式构建工作流任务，结合平台数据多维调度，助力数据仓库或集市的建设。在整个数据处理过程中，平台可以根据任务优先程度、资源消耗程度等不同维度来分配使用的内存和CPU等，并统一管理、实时监控。提供可视化的发布审核。用户自定义审批流，所有操作在平台留痕，方便后续出现问题快速追踪到相关人，及时解决。提供可视化监控数据处理的全过程。遇到各种因素导致的数据处理异常，可以及时向相关人员发起告警，并进行在线查看、跟踪、处理。
数据开发平台功能架构
数据开发平台特点
数据集成
不同来源异构数据的统一存放，建立数据集成机制实现对各类型数据库、文件、业务系统之间的数据流通进行细粒度的管控；
采用市面主流引擎，实现数据实时采集，同时支持爬虫、脚本语言等方式进行数据采集。
数据加工转换
采用市面上主流的Spark引擎和Flink引擎对不同结构的数据进行交换、同步、实时转换处理；
支持自定义算法和脚本开发模式增强数据加工转换能力。
数据运维
实时监控任务运行情况，并对异常任务发布告警信息；
对因不可抗因素导致工作流运行失败或者某个节点任务失败，可进行重跑和补批操作。
任务编排
支持以拖拽的操作形式进行自定义工作任务编排
依托参数/时间配置，形成依赖关系可视化的流程图，使工作流程简单易读，操作便捷。
数据资源隔离
支持多租户机制，支持任务资源分配与管理隔离；
支持单环境与多环境隔离的线上多用户进行协同数据开发。