恒生电子推出投研数据标准化服务“投研数据集市”

2020年6月30日 10:42近日，恒生电子旗下iBrain恒生数据中台推出统一的投研数据标准化服务——投研数据集市，通过对金融数据的加工能力、金融数据产品化的能力，解决投研数据的一致性、及时性、准确性、时效性、权威性等问题。

统一管理复杂的数据资产

数据资产是系统所产生的所有数据，包含数据表、指标以及API，“集市”就可以把这些众多且复杂的数据资产进行统一的展示、搜索与管理。

恒生电子打造的投研数据集市建立在大数据技术的基础上，运用大数据计算、NLP、知识图谱等大数据技术构建可视化资产地图，用户在查阅资产地图的同时，还可以查阅数据质量报告，同时自动构建清晰的上下游数据血缘关系，方便用户追溯。

此外还提供资产搜索功能，用户可自定义输入关键字搜索，通过组合搜索与高级搜索的联合功能完成用户100%的搜索目标。

实时完成数据流的加工清洗

没有合格的数据，再好的工程师也挖掘不出其中的价值。为了方便使用，数据得规整，所以需要清洗。

投研数据集市的模型加工模块定位于整个数据流的清洗加工，贯穿了从数据源到资讯接口整个过程，涵盖的功能有数据源管理、ODS管理、EDW分析、合成管理、资讯集市、数据采集、数据开发、任务调度，并支持白屏化加工方式与代码开发方式两种开发方式，保证整个模型加工过程的完整性，且整个过程实时完成。

其中，恒生统一资讯模型按照SDOM规范和CFI国家编码构建。资讯数据模型整个设计思路参照贴源层、模型层及应用层的模型设计原则，对金融机构资讯数据设计统一投研数据模型、投研应用数据模型，并对核心主题数据进行清洗。

高效实现数据质量的管控

数据也会出现“不听话”的情况，这就需要监控数据模型落地的整个ETL过程，及时发现数据质量问题，并对排查出来的问题进行处理。数据“不听话行为”主要包括：数据延迟问题、无效数据问题、数据缺失问题、重复数据问题以及数据一致性问题。

为提供高质量的投研数据服务，恒生电子建立起投研数据治理体系：提供可视化监控平台，提高监控预警效率；建立数据大屏，可视化地实时展示当前的数据质量问题及数据使用情况；建立数据质量校验及提醒反馈机制；支持系统自动化监控及用户自主反馈数据质量问题；实现多种方式的数据质量校验机制；形成投研数据使用效率的量化指标，自动化生成供应商整体质量评价结果；提供敏感数据可视化判断及处理平台，支持数据管理团队快速响应处理。

经过多年业务积累，恒生电子总结了上千条质量检验规则，涵盖深度规则和一般规则，包括一致性校验、完整性校验、勾稽校验等。校验完成后，可生成数据质量校验报告且以数据大屏的形式出现，有清晰的质量问题预警与质量反馈机制，数据处理性能达到S级响应。

基于OneService理念的数据服务平台

沟通往往成本是最大的。因此，恒生电子搭建起统一的数据服务总线，统一管理对内和对外的API服务，解决前端与三方系统取数用数的问题。恒生数据服务引擎模块设计的理念为OneService的理念，数据复用而非复制，提供服务统一管理、统一授权、统一分发的职能。

数据服务不仅支持将现有的API快速注册到数据服务平台以实现统一管理和发布，还能借力恒生HSIAR网关，支持将API服务一键发布至API网关。用户只需关注API本身的查询逻辑，无需关心运行环境等基础设施。数据服务会准备好数据资源，并支持弹性扩展，降低运维成本。

未来，恒生投研数据集市将进一步满足金融机构在股票研究、债券研究、基金研究、产品研究、策略研究、宏观研究、行业研究及市场研究等方面的发展需要，还可提升金融机构在研究报告撰写、个股点评、基金评价、投资池、模拟组合、量化筛选、信用评级、估值定价、事前风控及绩效归因等多个业务场景的专业能力。

除了投研数据集市，iBrain恒生数据中台还建设了全生态核心产品体系，覆盖数据采集、存储、加工、分析、服务等专业化产品和服务，在保障数据安全的前提下，为金融机构提供一站式的大数据处理全流程解决方案。

免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。