银行业大数据应用面临的四大挑战

随着大数据时代的开启,如何通过大数据技术推动业务发展和创新已成为银行业最近重点关注和讨论的话题。虽然已有部分银行启动了相关工作,但仍普遍存在数据来源和存储模式不能有效支撑大数据分析、数据分析模型和工具不成熟、专业人才匮乏和新增投入较大等问题,在一定程度上阻碍了大数据技术在银行业的全面推广和应用。

一、面临的主要挑战

1.数据来源和存储模式不能有效支撑大数据分析

近年来大部分银行已上线了ODS(Operational Data Store)系统或数据仓库系统,通过将分布在各个源系统中的原始数据进行清洗、抽取和转换后按照一定的主题分类将数据进行了集成和存储,后续的数据挖掘和分析工作也大多是基于入仓数据开展的。虽然使数据的精确性和一致性得到了提升,但同时在一定程度上消除了数据的混杂性和关联性。而根据大数据理论,源数据适度混乱并不是缺点,反而能创造更多价值。如果因为追求数据来源的精准和纯净,而牺牲了原始数据的多样性,反而可能会造成趋势预测的延迟或误判。此外,现有的数据仓库是按照主题分类对入库数据进行索引,虽然可以提高既定主题的检索效率和分析效率,但对于其他新增属性的检索和分析则变得较为困难(注:海量数据一旦按照A、B、C三个属性建立了索引并进行了存储,如果要求对D、E、F属性进行检索和排序,则需要遍历所有数据,效率会变得极低。临时增加新的主题或索引,则需要改变底层设计)。由于大数据应用的需求具有多样性和易变性,传统的存储模式很难满足不断变化的应用需求。

2.缺少成熟的数据分析模型和工具

大数据应用的核心是把数学算法运用到海量数据上来预测事件发生的可能性,因此强有力的数学工具和数学模型至关重要。但对于采用哪种数据算法或分析模型来实现特定的预测目标,银行业内尚缺少最佳实践案例,也很难找到一个具有普遍适用性的模型。如何准确把握或预测银行客户潜在的金融需求,到目前为止还没有任何技术能替代银行的客户经理。为了使一个数据模型具有可用性或是达到商务智能化,必须要经过大量的测试应用、反复进行差错分析、不断地调整修订,不可能一蹴而就。在这方面,各家银行机构仍处于起步探索阶段,还有很长的路要走。

3.专业的数据分析人员匮乏

大部分银行尚未建立专业的数据分析团队,也缺乏数据分析的专业能力和经验。成熟的数据分析团队应具备4个条件:熟悉银行的业务细节、掌握数据分析工具操作、对数据价值的敏感度和对数据提炼融合的能力。目前很多数据分析师较擅长的是通过数据分析对已发生的问题查找原因,但缺乏发掘未知问题的能力也缺少对趋势预测的把握,而大数据的价值恰恰在于预测未来。如果只熟悉数据分析工具操作,却不熟悉银行的业务和运作细节,就无法从既有数据中挖掘出新的价值,达到推动银行业务发展的目的。从业内目前的情况看,同时符合上述条件的复合型人才少之又少,专业分析团队的建设任重道远。

4.新增成本投入较高

大数据技术对系统性能要求非常高,对于银行机构而言,既要满足应用系统联机交易的实时性(OLTP),又要满足数据仓库联机分析的处理效率(OLAP),以及关键业务应用的高可用性需求,不仅需要增加CPU数量、内存空间、海量存储、网络带宽等硬件投入,甚至需要改变银行的IT基础架构(例如:数据存储方式),这将产生大量的新增开支,包括:硬件的采购成本、系统的运维成本、占地空间成本和架构改造的时间成本,而且在某些情况下还容易造成资源的闲置。在短时间内,技术上的高投入未必会在业务上带来立竿见影的高收益,投入和产出的不平衡,在一定程度上会给相关团队带来较大的心理压力,也可能影响决策层对大数据技术的支持力度。

二、监管建议

一是尝试从多个数据源系统直接抽取原始数据进行分析和应用,平衡数据的精准性和混杂性,提高数据模型和工具对数据质量的“容忍度”,通过提升分析效率、缩减数据处理时间来弥补因部分信息缺失或不一致带来的价值损耗。此外,各银行应积极探索适合银行业大数据应用的数据存储架构,可以通过采用集群存储和分布式处理技术(例如Hadoop)和创新性的索引机制等手段,在保证业务连续性的同时,增强数据存储的可扩展性和灵活性。

二是建议银行机构采用与科研单位联合或是业内多家机构合作的方式,开展大数据分析模型和工具的研发工作,加快推出一些基本成熟的、具有实用性的应用模型,以便总结相关经验,起到示范引领作用。

三是尽快建立一支融市场营销、产品推广、客户关系和技术支持等人才于一体的数据分析团队。该团队应该独立于IT范畴之外,跳出专业局限,更多地从业务发展和经营决策方面考虑问题,使数据挖掘真正达到服务经营决策、推动业务创新的目标。

四是通过存储容量优化、内存计算技术、资源虚拟化等手段,在保证数据分析处理性能的同时,尽量降低成本投入,并可以利用现有灾备中心资源和云计算等方式,提高固有IT资源的利用率。银行机构的决策层也应给予大数据应用更多的耐心和发展空间。