腾讯课堂 基于大数据的智慧学成项目课程 [36.52G]

智慧学成项目将大数据技术应用于在线教育领域，从海量的用户行为数据中进行挖掘分析，分析用户的学习行为、学习质量等指标，为企业经营分享数据支撑。

技术优势

聚集前沿大数据技术，快速掌握数据统计分析核心技能
核心亮点技术
1. 自研采集系统，支持结构化数据与非结构数据采集，对HTML埋点、Log
MySQL等数据进行采集。
2 采用ApacheNiFi完成ETL过程的智能化配置及管理，对数据清洗、离线分
析、实现分析任务统一调度。
3 采用Spark实现海量数据的清洗，编写SparkCore程序由NiFi调度实现数据
清洗。
采用ElasticSearchHBase实现海量数据的即时查询，发挥ES搜索性能，
HBase存储性能实现日志数据查询功能。
采用Hive、Spark离线数据分析技术对课程、用户、机构数据进行分析。
5
采用SparkStreaming实时数据分析技术实现数据看板。
6
7. 采用数据分层的思想构建数据仓库，包括ODS、DWApp、Dimension。
8. 整体系统架构采用业务分层的思想构建，保证各层之间业务的低耦合性。
9
数据服务采用当前流行的Vueis前端技术和SpringBoot服务端技术构建。

技术解决方案
1 大数据采集系统解决方案 大数据离线分析解决方案
2 大数据数据流控制解决方案 大数据实时分析解决方案
6
3 大数据ETL解决方案 大数据报表系统解决方案
>
大数据日志查询解决方案 8 大数据数据仓库解决方案

点击下载