用户兴趣取向预测 社交项目

项目介绍：根据用户访问网站的浏览信息，以及点赞关注等行为，根据日志数据，来分析判断用户的兴趣取向。

术架构: Flume+Kafka+Hive+PySpark+HBase+Oozie+Spark Streaming+NiFi+Redis+Cassandra+MySQL

主要业务：获取用户访问网站的日志数据，并对其进行清洗，ETL变换； 通过PySpark建立日志推荐模型；
使用Spark Streaming及ML进行用户兴趣取向实时预测；
通过Python将日志推荐数据进行存储；
建立Tableau与MySQL的链接，进行数据可视化及报表展示；

项目特色：真实数据量大， 基于3000万条数据进行实时分析，项目涵盖技能点多，大型企业级项目，架构级项目讲解，让你拥有高层次的项目开发经验。

股票流数据实时分析 金融项目

项目介绍：通过实时收集并分析股票数据信息，并对数据进行过滤，清洗，挖掘，计算，然后通过可视化框架进行展示。

术架构: Flume+Kafka+HDFS+Spark Streaming +Confluent+Flink+Grafana

主要业务：项目数据格式定义； Apache Kafka进行股票数据扒取；
基于Confluent的股票元数据管理及应用；
Flink流数据处理及实时分析；
Flink实时股票的实时分析；
Grafana/Zeppelin数据可视化；

项目特色：加入多种流处理框架（Flink、Spark）的实现对比，通过不同框架开发，让你在项目架构对比中，掌握实时大数据分析经验。

教育平台大数据分析 教育项目

项目介绍：实现对在线课程网站用户访问行为的有效跟踪管控，为业务系统提供新的增长极。用户对课程的满意度是在线教育企业可持续发展基础，借助精细化运营手段，分析用户使用App的行为，推测用户的满意度，分析用户需求，向用户主动推送内容，提升用户活跃度，提高用户粘性。

术架构: Flume+Kafka+Hive+Spark Streaming+Spark SQL +HBase+Oozie+MySQL+Grafana

主要业务：通过Flume进行数据采集；通过Kafka进行数据接收；通过Hive进行数据清洗，整理；进行多维度数据分析（用户基本信息分析、地域信息分析、用户浏览深度分析、订单分析、事件分析）；使用HBase和MySQL进行分析结果存储；进行可视化展示（Grafana展示数据/Tableau图表展示）；

项目特色：针对教育行业的大数据项目，全真的应用场景，多维度数据分析，深化项目开发经验，扎实大数据开发基础。

在线教育全文检索平台 搜索项目

项目介绍：Python也是目前大数据开发中使用较多的一门语言，ElasticSearch是目前企业使用最多的搜索服务器。该项目是Python爬虫与ELK搜索结合的项目，通过Python爬虫获取数据，对获取的数据，使用ELK实现全文检索功能。

术架构: Python+Scrapy+ELK+Hadoop+HBase+Oozie+MySQL

主要业务：通过Python爬虫获取数据；将爬取数据存入HBase;构建ELK全文检索服务；实现全文检索功能；

项目特色：基于Python的网站爬虫与基于ELK的全文检索相结合,让你熟练Python开发技巧，提升你的竞争力。