1. 概述先容

大数据平台数据服务框架。实现了Kafka实时数据过滤、洗濯、转换、消费,实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写。

为什么推荐这个框架?

基于大数据平台的数据处置服务框架。
连系大数据项目实际使用场景,提取出的一些通用的功效,形成大数据平台数据处置框架。
现在主要实现的功效有:
1、参数信息设置模块,可实现接纳数据库举行设置和Properties文件举行设置
2、集成Kafka,实现了Kafka的生产者和消费者相关的功效
3、集成MongoDB,实现了MongoDB的数据读取、写入等,实现了SparkSQL通过DataFrame与MongoDB的数据举行交互,而且实现了分页读取、流式读取等特殊读取方式
4、集成Redis,实现了Redis的读取、写入等,实现了SparkSQL通过DataFrame与Redis的数据举行交互
5、SparkStreaming流式处置Kafka、MongoDB的数据
6、手动纪录Kafka的偏移量,实现了基于数据库举行纪录和基于Zookeeper举行纪录

  1. 源码下载

源码下载地址,复制下载即可

https://gitee.com/hy-wux/DataService-Framework.git

  1. 扫码关注

(民众号)

,

以太坊高度

www.326681.com采用以太坊区块链高度哈希值作为统计数据,联博以太坊统计数据开源、公平、无任何作弊可能性。联博统计免费提供API接口,支持多语言接入。

,

(微信)

  1. 免责声明

写作说明】以上内容分享给喜欢编程,有梦想的程序员,希望能辅助到你们。以上文章属于此民众号原创所有,如需转载请注明出处。

免责声名】本民众平台不是广告商,也没有为其他三方网站或者小我私家做广告宣传。此分享的源代码和文章是小编在项目中、学习中整理的一些以为不错的项目。用户发生的一些自愿下载或者付费行为。与平台没有直接关系

投稿邮箱】315997972@qq.com

 迎接投稿分享你的优质源码或文章