PB级大数据架构百战出行网约车

项目介绍

百战出行大数据项目是大型企业级综合项目，此项目针对订单数据进行分析，通过这些出行大数据，还可以看到城市经济、社会资源的发展、变迁情况，有非常有研究价值。

该项目包含离线分析、实时分析，涉及数据从终端(APP)的产生到数据中台处理再到大数据后台处理的整个链路技术，包括大数据量计算与存储分离解决方案，海量级数据秒查询优化方案，大数据主流技术spark自定义数据源实现列剪枝灵活查询海量数据，并且重构SparkSql构建多数据源(hbase)的数据查询平台。

技术选型

百战出行主要使用技术如下：Spark、SparkSQL、 SparkStreaming 、Zookeeper、 Hbase、kafka、mysql、redis、 H3 、Maven 、Phoniex 、Maxwell 、SpringBoot 、Mybatis 、JDBC 等

项目核心功能模块

1.mysql binglog同步方案

2.订单监控_实时统计订单总数

3.订单监控_实时统计乘车人数

4.虚拟车站

5.订单交易数据统计分析_订单分析总、月、公里数

6.订单交易数据统计分析_车辆分布和订单分布统计

7.司机数据统计分析_当日各城市的司机注册数

8.司机数据统计分析_当月各城市的司机注册数

9.司机数据统计分析_本年各城市的司机注册数

10.司机数据统计分析_汇总各城市司机注册数

11.用户数据统计分析_新增用户

12.用户数据统计分析_活用用户

13.用户数据统计分析_留存率

14.大数据WEB平台

适合人群：

1)掌握Hadoop及HDFS原理和使用

2)掌握Hive、HBase、Sqoop、Flume工具

3)掌握SparkCore,SparkSQL,SparkStreaming原理及代码编写

4)掌握Kafka原理及使用

5)掌握redis原理及使用