华为:“懂行人”携手业界打造银行业数据仓库创新平台

时间: 2021-06-24 02:24    来源: 未知   
点击:

  随着数字化转型进程的逐步深化,爆发增长的数据逐渐成为企业发展的重要生产要素,如何借助大数据技术深挖数据资产价值成为金融科技时代金融机构探索的重要课题。在此背景下,华为致力于研发分析型数据平台(包含OLAP数据库以及大数据平台),是推动银行数据仓库和管理信息系统技术创新的积极贡献者,香港管家婆心水论坛,截至2020年底,已经为近半数的全国性股份制银行提供了大规模并行处理数据库(MPPDB)平台。华为向面向传统数据仓库的一体机用户提供了一个开放、易扩展的替代方案,实现数据仓库处理算力的飞跃。新一代数据仓库技术成为有效驱动商业银行信用卡、理财等零售业务领域加速数字化转型的关键引擎。

  华为《全球产业展望GIV2025》预测,到2025年,全球年存储数据量将高达180ZB。面对逐渐庞大的数据,仅仅基于传统关系型数据库技术的数据仓库已经无法满足数据的组织、存储、分析需求。而对于银行,随着精准营销、客户画像、互联网平台等业务的上线,需要引入非结构化数据,并提升对实时数据的计算处理能力,银行数据仓库利用各种处理技术对数据进行抽取、清洗、加工、处理和使用,最终形成支撑银行经营管理的决策依据。建立数据仓库是减少数据冗余、消除数据壁垒的有效方式,通过运用数据挖掘和分析、智能处理技术对具有相似性的数据进行聚合,作为数据枢纽使得不同应用系统之间能够对相关联的数据进行采集、挖掘与分析,实现跨应用之间的数据对比分析,从而获得有价值的决策支撑信息。

  当前大数据技术被广泛应用在银行的数据处理过程中。银行通过采用大数据技术分析、提取非结构化的海量数据,从而达成挖掘数据潜在价值的目标。大数据技术在各个管理信息系统的应用显著提高了银行对数据利用的效率。例如,银行移动应用的埋点会产生海量的数据,如何有效地挖掘这些海量数据所潜藏的巨大价值,采用传统的数据库技术显然不能完全满足该需求,而以Hadoop为代表的大数据技术能够快速地对海量的非结构化数据进行处理,澳门综合资料开奖。从而提高数据的利用效率。

  数据来源的多样性决定了银行未来的数据仓库不会是一个单独的产品或者技术,而是传统的关系型数据库与BI、非结构化数据处理技术和数据科学等的集合。从数据架构的角度出发,虽然数据仓库曾经对数据库技术有强依赖关系,但大数据技术在处理数据类型、加工速度、数据规模上明显优越于数据库。因此,大数据与数据库的融合成为华为打造下一代数据仓库架构重点研究的问题之一。

  大数据需求产生的背景是如何在海量数据中挖掘其隐含、潜在的价值,从需求的角度分析,大数据与数据库的结合,主要是用来处理不同类型的数据结构和不同级别数据量的技术,以求最大化获得数据的价值。数据库与大数据之间的融合,是数据库与大数据之间相互促进、补充和协作的结果。在数据库作为结构化数据处理主要平台的基础上,将Hadoop技术体系融合在一起,采用并行与分布式采集数据平台,对结构化、半结构化的数据进行收集,运用ETL技术对其进行加工,在BI层对数据进行挖掘处理、可视化分析,可以充分发挥数据的内在价值。这个架构包括源数据层、数据管理层与BI层:源数据层负责收集结构化、半结构化与非结构化的数据;数据处理层采用并行处理技术,改变传统数据库单点做数据处理和存储的方式,利用Hadoop强大的数据处理能力,对各种结构化、半结构化、非结构化的数据进行加工,并向上提供给BI层的工具,对其进行分析与处理,得到数据处理的可视化展现,便于用户观察使用。在此之外,充分利用Hadoop数据平台快速处理数据的功能,可以对不同的数据进行抽取、清洗、分析、挖掘、加工与处理,逐层进行细化及分解,优化组合多种数据存储与加工技术,生成相应的数据报告,从而满足数据报表的需要。

  对大多数银行来说,数据库与大数据的融合通常采取和数据库厂商合作的方式,实现以数据库为基础、大数据为延伸的融合平台。基于这个融合平台开发数据仓库以及其他管理信息系统,不仅能降低技术处理的难度,还能降低银行建设数据仓库的成本。

  数据计算、数据量、数据格式的变化,使得单一依赖关系型数据库的数据仓库架构变得难以完全满足当前的数据处理需求。新一代数据仓库应该建立以数据库为基础,以大数据平台作为延伸的融合架构。

  过去Gartner曾作出趋势判断:大数据技术冲击下,数据仓库新机会窗口已开启,到2018年底,传统数据仓库就会过时。同时从2018年开始,基于大数据技术混合架构的逻辑数据仓库效益逐步显现。

  湖仓一体可以认为是上述逻辑数据仓库架构理念下针对Hadoop数据湖和MPPDB数据仓库融合架构的最好诠释,数据对用户完全实现虚拟化,以逻辑统一的数据分析系统为用户提供数据分析服务:在用户使用层面,提供统一元数据管理和数据视图,实现全局数据可见可查,支持标准统一访问接口简化用户开发,提供统一开发和治理的工具体系。平台层面Hadoop与MPPDB具备数据共享和跨库分析能力,支持互联互通、计算下推、协同计算,实现数据多平台之间透明流动。

  招商银行携手华为联合创新新一代数据仓库。2020年,招商银行与华为共同发起设立新一代数据仓库联合创新实验室,6月“新一代数据仓库联合创新实验室”揭牌,双方秉承优势互补、资源共享的原则,开启新一代数据仓库联合创新,共同打造面向未来十年技术领先的企业数据仓库平台。实验室基于GaussDB云数据仓库,在超大规模集群、云分布式、鲲鹏软硬协同等技术领域展开深入研究。在2020年的商业银行峰会上,招商银行的演讲嘉宾分享了联合创新实验室在建设鲲鹏云数据仓库、探索云数据仓库双活能力以及实现历史数据永久保存等多个研究方向上的探索和相关成果。

  光大银行将科技创新视为银行发展的不竭动力,不断提升科技创新能力。在2020年11月19日举办的商业银行峰会上,光大银行演讲嘉宾对“123+N”数字银行发展体系进行了解读,并对多元大数据平台发展实践进行了总结。其中,光大银行携手华为共同建设的多元大数据平台,为从数据到模型,再到服务的智能应用敏捷开发迭代提供坚实的支撑。

  广发银行在数据服务中台离线数据服务区,剥离原数据仓库内的数据集市相关功能,独立搭建信用卡主题数据集市。信用卡数据集市应用是基于数据仓库的库内集市,运行各类信用卡业务主题报表、加工作业,为下游应用系统提供信用卡相关的数据服务,支持信用卡产品市场营销、申请审批、客户管理、交叉营销、催收管理、客户服务等业务过程分析,同时为信用卡业务部门用户提供即席查询服务。在此过程中,广发银行选择华为MPP数据库作为信用卡数据库集市的新平台,验证各类场景的性能、效率及适应性等情况。

  进入新的一年,银行理财子公司开业后将纷纷搭建专属的分析数据平台,利用数据建模、数据挖掘等技术赋能投研,充分挖掘数据价值,探索在宏观研判、量化交易、智能决策和智能风控等方面的应用。非结构化/非标准的舆情资讯数据预计将给理财子公司带来直接的业务价值。因此,融合架构的数据仓库体系应用将会在银行理财业务数字化转型当中发挥更加突出的作用,华为期望和生态伙伴携手,持续深入数据仓库技术的研究和实践,共同为加速银行理财业务的变革贡献一份力量。返回搜狐,查看更多

相关新闻