职场大变样社区

5598

主题

6638

帖子

79

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
79
跳转到指定楼层
楼主
发表于 2023-3-24 11:55:59 | 只看该作者 |只看大图 回帖奖励 |正序浏览 |阅读模式
摘要:

本系统是基于Hadoop生态圈的日志监控和告警系统,主要使用了Hadoop,storm,kafka,flume,Zookeeper等技术。运用大数据技术解决企业日志实时监控和告警的问题。主要的流程是通过Flume对企业的日志进行采集,传输到kafka中,然后kafka的数据通过storm实时消费,同时将kafka中数据落地到hdfs中,storm获取到数据后,对数据进行解析,首先过滤掉没有使用日志监控的应用信息,然后判断是否触发规则,如果触发则通过RPC向相应的企业系统管理人员发送短信和邮件。最后将触发的信息保存在mysql中。通过这些流程可以实现日志实时监控和告警。


关键词:大数据 日志 监控 告警 storm

目录:

1. 项目的背景和意义        4
2. 可行性分析        5
2.1架构可行性分析        5
2.2技术可行性分析        5
3. 系统需求分析        7
3.1业务分析        7
3.2数据库分析        7
4. 数据库设计        10
4.1用户表设计        10
4.2应用表设计        11
4.3应用类型表设计        11
4.4 规则表设计        12
4.5规则记录表设计        12
5. 集群设计        13
5.1 Flume集群的设计        13
5.2 kafka集群的设计        13
5.3 Storm集群的设计        13
6. 系统详细设计        14
6.1模型层设计        14
6.2 DAO层设计        16
6.3 发送短信设计        18
6.4 发送邮件设计        18
6.5 日志监控和告警核心处理类设计        20
7. 系统测试        21
7.1 测试的目的与目标        21
7.2 测试方法        21
7.3测试用例        22
7.4 测试结论        22
8.结论        23


论文字数:6984
包含资料:






此套毕业设计百度网盘下载地址(金币充值):
游客,本付费内容需要支付 200金币 才能浏览支付




回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

职场大变样社区 分享高质量学习资料(电子课本、毕业设计、编程视频、项目源码、电子书籍等)

快速回复 返回顶部 返回列表