设为主页 | 员工入口
解决方案
当前位置:首页 -> 解决方案 -> 大数据中心
智慧城市
大数据中心
数据中心解决方案
同方数据资源安全解决方案
数据规划与设计平台
领导信息服务平台
数据服务平台
数据综合应用平台
评价监测平台
数据采集加工平台
数据采集及处理平台
数据采集及处理平台
1. 产品概述

1.1. 产品简介
        基于指标体系的数据采集及处理平台是全球领先的数据业务处理平台,是同方股份有限公司物联网产业本部在同方大数据产业背景下,通过研究数据自身的特点,结合先进的数据管理理念、数据处理技术与业务处理方法,使用元数据理论与指标体系等数据资源核心技术,并经过大量的业务需求调研与梳理,自主设计、开发而形成的一套集数据采集、数据验收、数据评估、数据汇总、数据查询、决策分析等功能为一体的高效、智能的数据数据采集及处理平台。

1.2. 适用范畴
        具有数据采集验收、数据整合加工、数据汇总、数据统计、数据分析等相关需求的政府部门或企业。

1.3. 产品特点

    基于大数据的应用理念设计
        产品的设计开发充分考虑了当前大数据环境下,基于大数据的应用需求以及基于云计算的技术实现,可以满足各类用户对数据的采集、验收、汇总、统计、查询分析等相关业务需求。
    基于元数据体系的架构设计
        基于元数据体系的架构设计以元数据为业务纽带,利用“数据元数据、技术元数据、业务元数据”形成完整的元数据体系,有效关联和驱动各项数据业务。
 
    多种据采集方式
        平台支持多种数据采集方式,包括网上直报、离线填报、excel导入、外部数据文件导入、异构数据库导入、主动数据抽取等多种数据采集方式,并支持移动终端设备实现数据采集,能够满足不同层级,不同类型用户的数据采集需求。
    多种数据审核方式
        平台提供多种类型的数据审核校验方式,通过审核规则设计器设置满足不同业务需求的各类审核公式,实现采集阶段与验收阶段的数据在线审核与评估,确保数据质量及可用性。
    强大的数据处理能力
        通过“一级平台,分级监管,多方共享”使得全部业务可以在一个平台上完成。通过数据的统一采集,数据的集中管理和数据的多级并行分析,全面的对数据进行整体把握,增强了数据的使用能力及数据的利用价值;各级业务人员在平台上协同处理数据,并且可以将数据按指定格式导出或根据数据权限对外提供共享服务。
    多种数据汇总方式
        平台提供多种数据汇总方式,包括基于采集表的灵活汇总方式,以及基于固定汇总表式的评估汇总方式,能够满足不同层级、不同层次的应用需求。
    多种数据查询手段
        平台提供了多种数据查询方式,包括主题查询、元数据查询、指标查询、报表查询、专题查询等,用户可以将经常使用的查询、分析以模版的形式保存下来,通过调用模板可直接获得查询结果,减少重复劳动。

2. 产品架构
         基于指标体系的数据采集及处理平台主要完成数据的采集及处理工作,通过各种采集方式将各渠道数据采集到数据采集及处理平台,通过采集平台提供的处理功能进行初始化处理,整个采集及处理过程需符合元数据体系所提供标准和指标体系的业务规范。

3. 产品功能

        基于指标体系的数据采集及处理平台主要包括采集任务配置与监控、数据交换处理、数据网上填报、数据导入加载、数据库对接、采集辅助功能六个功能模块。以下进行逐一描述:
    采集任务配置与监控
        采集任务配置与监控是对所制作的采集任务的各环节进行相关配置,并且对采集任务执行的各个环节进行监控管理,本模块主要包括采集任务配置管理、采集监控调度管理、采集任务变更管理三个部分。
        采集任务配置管理提供了针对规划设计中定义的采集任务的后续运行时参数的配置功能;采集监控调度管理提供了对采集业务进展情况的查询统计功能和系统异常告警功能;采集任务变更管理提供了由委办局发起的采集任务变更业务的全流程管理。
    数据交换处理
        数据交换处理功能主要完成对通过异构数据库或前置库导入系统的数据进行审核、验收等处理,功能的实现主要通过系统提供的标准接口与异构数据库或前置数据库进行对接,从而实现对异构数据库数据的采集与处理,数据交换处理的过程也提供了实时的监控功能,可以监控与异构数据节点之间的数据接收、发送以及数据处理的情况,也包含了对监控日志的记录、查看、分析、备份与删除、上传等功能。
    数据网上填报
        数据网上填报是数据采集的主要途径,数据在线网上填报提供了一套基于采集报表或电子表单的在线数据填写、审核和提交功能,并在这一完整填报过程中提供多种辅助功能用于帮助用户更方便、更快捷的完成填报工作,对于采用数据交换、数据库对接等方式作为主要采集形式的采集业务,数据在线填报同样可以作为备用采集方式存在。
在数据填报功能中,系统会自动将报表表样或指标群的定义转化为纯Web、不含任何插件、完全基于浏览器的Web表单并支持用户的填写。用户在填报过程中可以随时查看报表中或指标群中指标的指标解释,帮助用户理解指标含义,更准确的填报数据。填报人员可在自身权限范围内对表单数据进行填写、暂存、审核、提交、查询、导入/导出、打印等操作。
        在数据在线填报功能中,主要包括:数据填报与审核、分配填报权限和查看历史数据功能,数据填报与审核功能主要完成数据的在线填报与对填报数据的在线审核,分配填报权限主要可以解决一个任务中多张表分别由多人填写的问题,查看历史数据可以对原有历史数据进行查看,并且可以打印和导出原有历史数据。
    数据导入加载
         数据导入加载是平台进行数据采集的另一种重要手段,对于保存在外部数据文件中的大批量数据,均可以采用导入加载的方式批量进入数据采集与处理平台,数据导入加载同样基于采集任务的定义和配置,通过集成可配置的ETL工具并在此基础上开发相关业务管理功能来支持多种数据格式(如Excel、DBF、TXT、CVS等)的大批量数据的高效导入和全过程管控。在导入的整个过程中会对过程信息进行记录,并提供相应的查询统计和过程审计功能。对于导入后的数据,可在数据网上填报功能的配合下进行数据查看和审核处理。
数据导入加载管理功能主要包括:数据导入加载配置管理、执行数据导入加载、数据查询、数据审核、业务过程查询统计等功能。
    数据库对接
        数据库对接是数据采集与处理平台提供的一种特殊的数据采集方式,主要适用于与数据采集与处理平台选型相同、网络条件较好的外部业务数据库向数据采集与处理平台的快速数据复制。这种方式的效率很高但不能做复杂的格式转换和筛选过滤。
        在数据库对接功能中,主要包括:数据库对接配置、数据库对接执行、数据查询和审核、业务过程查询统计功能。数据库对接配置主要的配置工作是定义源数据库(及数据表)和目标数据库(及数据表)之间的复制关系和数据库对接的执行规则。可以定义为按时自动执行或手动执行;可以进行数据复制方式的选择,包括:增量复制、仅更新、完全复制等;数据库对接执行功能是按照定义好的配置信息,使用数据库复制工具定时或手动的执行数据复制操作,在实际执行过程中用户可以随时监控执行过程,并对执行规则进行调整;数据查询与审核功能主要是对通过数据库对接方式进入系统的数据进行查询和审核,业务过程查询统计功能是基于过程记录和日志信息,提供对数据库对接的执行过程的查询统计能力,用户可以通过选择时间、任务来进行过滤,并通过浏览过程记录和相关日志来了解业务执行的细节信息和相关的分类统计信息。
    采集辅助功能
        在数据采集与处理过程中,系统提供一些辅助性的功能用于更好的完成采集业务,包括:通知通告和多渠道主动提醒服务。通知通告是平台提供的用于业务人员进行业务信息传递的集成功能,通知通告的接收方范围涵盖了系统中所有的使用者(包括注册用户和非注册用户),通知通告的发出方可以是某个用户也可以是系统根据业务需要自动发出的;多渠道主动提醒服务是系统为更好、更及时的完成业务办理所提供的辅助功能,此功能为后台服务,用于向指定范围的用户以多种方式(电话语音、手机短信、电子邮件、站内通知等)发送指定格式内容的业务提醒信息。

4. 产品价值

    灵活全面的数据采集方式
        支持网上填报、移动终端、数据接口等数据采集方式,完善用户业务系统数据的采集渠道,满足各类数据的采集需求,为用户提供更多类型的业务数据。
    形成统一标准的数据资源
        通过基于指标体系数据采集及处理使进入平台的数据形成统一标准的数据资源,可以提高数据的管理效率与数据的使用价值,更好的为相关业务提供服务。
    提高数据的可靠性及数据质量
        由于采用多种数据采集方式与多手段的数据审核方式,因此确保了所收集数据的可靠性及数据质量,可以更好的满足各层级用户对业务的客观评价与数据使用。
    为数据的综合利用奠定良好基础
        通过数据采集及处理平台,可以形成统一的数据资源,为未来数据的综合利用及深层次挖掘奠定良好基础,供各层次用户的使用,全面提升数据的可用性。
同方股份有限公司   京ICP备09081660号-1 技术支持博乐虎科技