利用log4j+mongodb实现分布式系统中日志统

news/2024/7/7 5:06:17 标签: 数据库, 前端, json

背景

    在分布式系统当中,我们有各种各样的WebService,这些服务可能分别部署在不同的服务器上,并且有各自的日志输出。为了方便对这些日志进行统一管理和分析。我们可以将日志统一输出到指定的数据库系统中,而再由日志分析系统去管理。而这个储存日志的数据库目前最适合的还是mongodb,一是因为它轻便、简单,与log4j整合方便,对系统的侵入性低。二是因为它与大型的关系型数据库相比有不少优势,比如查询快速、储存结构(json)利于扩展、免费等。

image

log4j与mongodb整合

1、首先安装mongodb数据库,具体安装方法请百度;

2、在你的应用程序中引用以下类库:

Mongo Java driver jar包 下载 
Log4J jar包 注意版本,一定要1.2.16及以上。 下载 
log4mongo-java jar包 下载

3、在你的web项目中创建log4j.properties文件。

4、配置log4j.properties文件,使之整合mongodb:

   1: log4j.rootLogger=INFO,stdout,MongoDB
   2: 
   3: log4j.appender.MongoDB=org.log4mongo.MongoDbAppender
   4: log4j.appender.MongoDB.databaseName=logs
   5: log4j.appender.MongoDB.collectionName=log
   6: log4j.appender.MongoDB.hostname=ubuntu
   7: log4j.appender.MongoDB.port=27017
   8: 
   9: log4j.appender.stdout=org.apache.log4j.ConsoleAppender
  10: log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
  11:  log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n

5、配置应用的日志输出格式:

   1: log4j.logger.com.cnblogs.leefreeman.servlet=INFO,action
   2: log4j.appender.action.Threshold = INFO
   3: log4j.appender.action=org.apache.log4j.DailyRollingFileAppender
   4: log4j.appender.action.encoding=utf8
   5:  log4j.appender.action.File=/opt/logs/action.log
   6: log4j.appender.action.DatePattern  =  '_'yyyy-MM-dd'.log'
   7: log4j.appender.action.layout=org.apache.log4j.PatternLayout
   8:  log4j.appender.action.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n

6、在应用程序中使用日志:

   1:  public class IndexServlet extends HttpServlet {
   2:      private static Logger logger = Logger.getLogger(IndexServlet.class);
   3:      private static final long serialVersionUID = -5244922269946905057L;
   4: 
   5:     @Override
   6:      protected void doGet(HttpServletRequest req, HttpServletResponse resp)
   7:             throws ServletException, IOException {
   8:         logger.info("hello log4j+mongodb");
   9:         PrintWriter out = resp.getWriter();
  10:         out.print("hello world");
  11:         out.flush();
  12:         out.close();
  13:     }
  14: }

7、通过Mongodb客户端系统,查看日志情况:

image

日志成功写入mongdb数据库,可以看到在数据库中日志的结构相当清晰。

使用日志系统管理mongodb的日志

可以开发一个日志系统连接mongodb数据库,进行日志数据的管理和分析。你也可以使用mongodb目前有的一些Web客户端来管理,下面介绍两个mongodb常用的Web客户端:

mongovision :使用extjs作为前端,体验较好,但需要java7。

image

rock_mongo :基于php的MongoDB管理工具。

image

mongodb的部署方式

在我们数据量不是太大的情况下,并且日志数据的重要性不是太强的时候,我们可以快速搭建出最简单的mongodb单实例模式,来储存日志数据。这种方式最简单最快速。

image

当我们考虑到安全、灾备等因素时,我们一般可以考虑主-从模式搭建mongodb服务器。

image

采用主-从模式后主节点挂掉了后从节点可以接替主机继续服务。这种模式比单节点的高可用性要好很多。

如果有一天数据越来越多,你发现mongodb处理它们越来越吃力,你就得想办法怎么让它减压。一般的做法是,部署多个从节点,来分担主节点压力。在这里我们可以想到Mysql的读写方案,同样也适合Mongodb。

image

关于mongodb各种模式的具体部署配置方法,在这不再介绍有兴趣可以查下资料。此外在面对海量数据时,还有很多针对性较强的集群方案,希望有经验的朋友介绍一下。

 

http://www.niftyadmin.cn/n/1526049.html

相关文章

工业上 计算机控制系统分为哪两大类,计算机控制系统题库道(上).doc

《计算机控制系统》(上)题库第一单元:测量与误差理论部分问:热工测量的常用热力参数有哪些?(100分)答:温度、压力、流量、水位问:热工测量信号的种类是什么?(100分)答:模拟量和数字量两种。问&a…

在计算机网络中 主机及主机上运行的程序,电子科技大学TCPIP协议本科作业答案.docx...

电子科技大学TCPIP协议本科作业答案.docx 查看考卷作业提交1 当前得分10 分总分100 分,折合成百分制共 10 分。 返回作业提交11.IP协议提供的是 )类型无连接的虚电路服务无连接的数据报服务面向 连接的数据报服务面向连接的虚电路服务参考答案 分值5得分0 分系统自动…

Maven实战settings.xml相关配置

一、简介 settings.xml对于maven来说相当于全局性的配置,用于所有的项目,当Maven运行过程中的各种配置,例如pom.xml,不想绑定到一个固定的project或者要分配给用户时,我们使用settings.xml中的settings元素来确定这些配…

Maven 搭建多模块企业级项目

首先,前面几次学习已经学会了安装maven,如何创建maven项目等,最近的学习,终于有点进展了,搭建一下企业级多模块项目。 好了,废话不多说,具体如下: 首先新建一个maven项目&#xff0c…

小学计算机二课堂教案,信息技术与小学语文整合教学案例

信息技术与小学语文整合教学案例——小学语文教学案例《松鼠和松果》一、课例导语随着当代信息技术的普及和应用,我们已经进入了高科技信息技术期间,信息技术与其他学科的整合是改革传统教学模式的主要途径。教育部《关于在中小学普及信息技术教育的关照…

Maven学习 使用Nexus搭建Maven私服

为什么要搭建nexus私服,原因很简单,有些公司都不提供外网给项目组人员,因此就不能使用maven访问远程的仓库地址,所以很有必要在局域网里找一台有外网权限的机器,搭建nexus私服,然后开发人员连到这台私服上&…

西安交大计算机组成原理第六章,【图片】#2022考研#考研经验分享#干货分享#知识交流#【西安交通大学研究生吧】_百度贴吧...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼复习备考经验分享903材料科学与工程基础17年12月份的考研是第一次使用903试题,所以可以借鉴的真题就不是很多,而且18-19两年的考纲没有任何变化,就前三年真题的出题特点来说,该专业课…

致谢计算机组成原理老师的致谢,论文致谢优秀.doc

论文致谢优秀论文致谢优秀模板六篇非常感谢xxx老师、xxx老师在我大学的最后学习阶段——毕业设计阶段给自己的指导,从最初的定题,到资料收集,到写作、修改,到论文定稿,她们给了我耐心的指导和无私的帮助。为了指导我们…