架构介绍

概述

业务系统架构

整套产品采用灵活的微服务体系构建，所有前端和后端应用都是微服务式可插拔的。应用层业务和数据层大数据计算解耦，他们之间对于数据层的读、写、查询，都是通过PORT DRIVER（DVS和大数据交互组件）来实现计算、查询的交互的，整个平台底层主要是基于Hadoop 分布式文件系统作为存储，配合Clickhouse实现近实时的数据查询能力。

NEXUS体系内的应用数据，主要使用PgSQL数据库，用于实现系统层面的数据操作，当使用APEX Wechat或其他三方应用时，需要部署Mysql数据库，用于存储业务过程以及系统操作信息。

大数据体系架构

DVS （数据开发）平台可以通过数据集成，抽取接入RDBMS(如 mysql/oracle/postgresql)中的数据，NoSQL(如 Mongodb)中的数据、也可以通过元数据对接的方式对接和使用Hadoop数据仓库中的数据。DVS ADS（数据应用）层的数据，可以由CDP进行无缝读取并应用在不同数据空间中。

离线部分架构

主要的用户属性数据，标签数据，用户行为数据，都存储在hdfs上，关于用户唯一标识的数据以及实时标签的数据，会存储在Hbase上，便于实时写入和查询，针对需要分析的数据集，会计算并缓存到Clickhouse中，作为实时分析的数据来源。系统使用基于内存和磁盘的批处理任务通过Spark 来实现人群计算，标签计算，离线分析和画像计算等场景，使用对于Clickhouse的查询，实现对于个体画像，用户轨旅程的的实时查询。

实时部分架构

近实时部分主要通过SDK和被授权后的外部接口上报数据，通过数据上报接口、kafka 消息中间件(接入实时数据，会通过Flink进行实时消费处理，并拆解数据进入到数仓存储，落库的数据同时会写入到HDFS 文件系统，供离线部分使用，clickhouse 作为数据快速检索平台，用于近实时响应前端查询需求，包括实时事件上报的分析，用户实时的画像分析。

产品架构图

中间件介绍

类型	技术栈
前端	+ Vue js
后端	Java + Spring Boot + Spring Clound + Netty
数据库	+ MySQL + PgSQL + Clickhouse + Hadoop - yarn - ZooKeeper - Hive
其他中间件	- Flink - Kafka + Redis
鉴权中间件	Auth2.0

针对产品和服务技术层面的详细介绍请见系统部署文档。