功能说明

一个系统可能有多个子系统组成，这些子系统都有自己的日志，并且运行在不同的操作系统和主机上，收集这些日志对运营人员来说也比较困难。
因此决定在平台中采用日志服务器来做到集中日志管理，平台中所有子系统通过socket方式将日志信息传到日志服务器，再由日志服务器统一记录。这样既避免了一个应用日志不同实例分别打印，也可以将所有子系统日志集中管理，并能够自定义输出路径。

实现原理

Log4j提供了一个简单的基于socket的日志服务器，但直接使用这个服务器不能完全满足我们的需求，首先它自身代码存在问题，需要修改；其次即使修改正确，该服务器也只能按客户端IP配置打印appender，而我们有些子系统是运行在同一主机，直接使用该服务器只能将运行在同一主机上的子系统日志打在一起，不便于分析处理。我们要求按照不同应用输出日志。因此我们要对其进行改造。
Log4j提供的日志服务器由SocketServer.java和SocketNode.java实现，我们需要改造这两个类，以达到我们的目的。
Log4j提供的SocketServer利用一个Hashtable的变量hierarchyMap保存各个客户端的log4j配置信息，一旦侦听到某个客户端发送请求过来，则立刻New一个SocketNode来处理该请求，该SocketNode的构造参数中有一个是从hierarchyMap中获取的log4j配置信息，SocketNode将根据该配置信息直接输出客户端发送的日志请求。
改造后的日志服务器， SocketServer仍然利用hierarchyMap保存各个客户端的log4j配置信息，但这次不是基于客户端IP，而是基于应用的，当侦听到某个客户端发送请求过来，则同样New一个SocketNode来处理该请求，hierarchyMap将作为改造后的SocketNode一个构造参数，这样SocketNode自己就能够根据客户端请求内容来决定使用哪个log4j配置信息输出客户端日志请求，这里有个关键就是客户端需要上传信息表明自己是哪个应用。
分析Log4j源码，我们发现可以为SocketAppender配置一个属性application，而这个属性在服务端是可以获取的，SocketNode读取这个属性并自动选择相应的log4j配置信息来处理

更改代码

1 SocketNode.java

package org.apache.log4j.net;</p> <p>import java.io.BufferedInputStream;<br /> import java.io.IOException;<br /> import java.io.ObjectInputStream;<br /> import java.net.Socket;<br /> import java.util.Hashtable;</p> <p>import org.apache.log4j.Hierarchy;<br /> import org.apache.log4j.Logger;<br /> import org.apache.log4j.spi.LoggingEvent;</p> <p>/**<br /> *<br /> * Read {@link LoggingEvent} objects sent from a remote client using Sockets<br /> *<br /> * (TCP). These logging events are logged according to local policy, as if they<br /> *<br /> * were generated locally.<br /> *<br /> * <p><br /> *<br /> * For example, the socket node might decide to log events to a local file and<br /> *<br /> * also resent them to a second socket node.<br /> *<br /> * @author zhoulianglg * */</p> <p>public class SocketNode implements Runnable {</p> <p> Socket socket;</p> <p> ObjectInputStream ois;</p> <p> Hashtable<String, Hierarchy> hashtable;</p> <p> static Logger logger = Logger.getLogger(SocketNode.class);</p> <p> public SocketNode(Socket socket, Hashtable<String, Hierarchy> hashtable) {</p> <p> this.socket = socket;</p> <p> this.hashtable = hashtable;</p> <p> try {</p> <p> ois = new ObjectInputStream(new BufferedInputStream(<br /> socket.getInputStream()));</p> <p> } catch (Exception e) {</p> <p> logger.error("Could not open ObjectInputStream to " + socket, e);</p> <p> }</p> <p> }</p> <p> public void run() {</p> <p> LoggingEvent event;</p> <p> Logger remoteLogger;</p> <p> try {</p> <p> if (ois != null) {</p> <p> while (true) {</p> <p> // read an event from the wire</p> <p> event = (LoggingEvent) ois.readObject();</p> <p> Object application = event.getMDC("application");</p> <p> if (application != null) {</p> <p> // get a logger from the hierarchy. The name of the</p> <p> // logger</p> <p> // is taken to be the name contained in the event.<br /> if(hashtable.get(application)==null || hashtable.get(application).equals("")){<br /> application="default";<br /> logger.info("Using the default");<br /> }<br /> remoteLogger = hashtable.get(application).getLogger(<br /> event.getLoggerName());</p> <p> // apply the logger-level filter</p> <p> if (remoteLogger != null<br /> && event.getLevel().isGreaterOrEqual(<br /> remoteLogger.getEffectiveLevel())) {</p> <p> // finally log the event as if was generated locally</p> <p> remoteLogger.callAppenders(event);</p> <p> }</p> <p> }</p> <p> }</p> <p> }</p> <p> } catch (java.io.EOFException e) {</p> <p> logger.info("Caught java.io.EOFException closing conneciton.");</p> <p> } catch (java.net.SocketException e) {</p> <p> logger.info("Caught java.net.SocketException closing conneciton.");</p> <p> } catch (IOException e) {</p> <p> logger.info("Caught java.io.IOException: " + e);</p> <p> logger.info("Closing connection.");</p> <p> } catch (Exception e) {</p> <p> logger.error("Unexpected exception. Closing conneciton.", e);</p> <p> } finally {</p> <p> if (ois != null) {</p> <p> try {</p> <p> ois.close();</p> <p> } catch (Exception e) {</p> <p> logger.info("Could not close connection.", e);</p> <p> }</p> <p> }</p> <p> if (socket != null) {</p> <p> try {</p> <p> socket.close();</p> <p> } catch (IOException ex) {</p> <p> }</p> <p> }</p> <p> }</p> <p> }</p> <p>}

2 SocketServer.java

package org.apache.log4j.net;</p> <p>import java.io.File;</p> <p>import java.net.InetAddress;</p> <p>import java.net.ServerSocket;</p> <p>import java.net.Socket;</p> <p>import java.util.Hashtable;</p> <p>import org.apache.log4j.Hierarchy;</p> <p>import org.apache.log4j.Level;</p> <p>import org.apache.log4j.Logger;</p> <p>import org.apache.log4j.PropertyConfigurator;</p> <p>import org.apache.log4j.spi.RootLogger;</p> <p>public class SocketServer {</p> <p> static String CLIENT_DIR = "client";</p> <p> static String CONFIG_FILE_EXT = ".properties";</p> <p> static Logger cat = Logger.getLogger(SocketServer.class);</p> <p> static SocketServer server;</p> <p> static int port;// key=application, value=hierarchy</p> <p> Hashtable<String, Hierarchy> hierarchyMap;</p> <p> String dir;</p> <p> public static void main(String argv[]) {</p> <p> if (argv.length == 2)</p> <p> init(argv[0], argv[1]);</p> <p> else</p> <p> usage("Wrong number of arguments.");</p> <p> // init("8899", "config");</p> <p> try {</p> <p> cat.info("Listening on port " + port);</p> <p> ServerSocket serverSocket = new ServerSocket(port);</p> <p> while (true) {</p> <p> cat.info("Waiting to accept a new client.");</p> <p> Socket socket = serverSocket.accept();</p> <p> InetAddress inetAddress = socket.getInetAddress();</p> <p> cat.info("Connected to client at " + inetAddress);</p> <p> cat.info("Starting new socket node.");</p> <p> new Thread(new SocketNode(socket, server.hierarchyMap)).start();</p> <p> }</p> <p> } catch (Exception e) {</p> <p> e.printStackTrace();</p> <p> }</p> <p> }</p> <p> static void usage(String msg) {</p> <p> System.err.println(msg);</p> <p> System.err.println("Usage: java " + SocketServer.class.getName()<br /> + " port configFile directory");</p> <p> System.exit(1);</p> <p> }</p> <p> static void init(String srvPort, String configDir) {</p> <p> try {</p> <p> port = Integer.parseInt(srvPort);</p> <p> } catch (java.lang.NumberFormatException e) {</p> <p> e.printStackTrace();</p> <p> usage("Could not interpret port number [" + srvPort + "].");</p> <p> }</p> <p> PropertyConfigurator.configure(configDir + File.separator<br /> + "socketserver.properties");</p> <p> server = new SocketServer(configDir);</p> <p> }</p> <p> public SocketServer(String configDir) {</p> <p> this.dir = configDir;</p> <p> hierarchyMap = new Hashtable<String, Hierarchy>(11);</p> <p> configureHierarchy();</p> <p> }</p> <p> // This method assumes that there is no hiearchy for inetAddress</p> <p> // yet. It will configure one and return it.</p> <p> void configureHierarchy() {</p> <p> File configFile = new File(dir + File.separator + CLIENT_DIR);</p> <p> if (configFile.exists() && configFile.isDirectory()) {</p> <p> String[] clients = configFile.list();</p> <p> for (int i = 0; i < clients.length; i++) {</p> <p> File client = new File(dir + File.separator + CLIENT_DIR<br /> + File.separator + clients[i]);</p> <p> if (client.isFile()) {</p> <p> Hierarchy h = new Hierarchy(new RootLogger(Level.DEBUG));</p> <p> String application = clients[i].substring(0,<br /> clients[i].indexOf("."));</p> <p> cat.info("Locating configuration file for " + application);</p> <p> hierarchyMap.put(application, h);</p> <p> new PropertyConfigurator().doConfigure(<br /> client.getAbsolutePath(), h);</p> <p> }</p> <p> }</p> <p> }</p> <p> }</p> <p>}

服务端

运行环境

jdk：jdk1.5以上（含1.5）

环境配置

对于运行于linux环境，我们可以用如下步骤配置运行环境。

方法一 配置系统变量
打开系统变量文件（.profile），在文件的末尾依次添加以下代码：
export JAVA_HOME=/usr/java/jdk1.5.0（以实际路径为准）
export CLASSPATH=$JAVA_HOME/lib.tools.jar:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

方法二 配置局部变量
在log4jsocket.sh中添加环境变量配置
#!/bin/sh
export JAVA_HOME=/usr/java/jdk1.5.0
export CLASSPATH=$JAVA_HOME/lib.tools.jar:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
java -cp ./log4j-1.2.16.jar org.apache.log4j.net.SocketServer 8899 config
注：建议使用方法二不影响其它系统

获取安装文件

http://download.csdn.net/detail/zhoulianglg/4025803

获取文件后，解压到要安装的路径。

目录结构

• logservers
  • config
    • client
      • default.properties
      • test1.properties
      • test2.properties
    • socketserver.properties
  • log4j-1.2.16.jar
  • log4jsocket.bat
  • log4jsocket.sh

要在client目录添加.propreties 文件，文件名跟客户端发动过来的参数名相同 例：test.properties
log4j.rootLogger=debug,test

log4j.appender.test=org.apache.log4j.DailyRollingFileAppender
log4j.appender.test.File=logs/test.log
log4j.appender.test.Encoding=GBK
log4j.appender.test.layout=org.apache.log4j.PatternLayout
log4j.appender.test.DatePattern='.'yyyy-MM-dd
log4j.appender.test.layout.ConversionPattern=test%d｛yyyy-MM-dd HH:mm:ss｝[%24F:%-3L:%-5p]%x %m%n

注：具体配置就跟客户端log4j配置方式一样，这里如何配置log服务器就会按照这里的配置生成log文件
若此处没有配置相应的配置文件 默认执行 default.properties 文件

启用服务器命令

windows 直接双击打开 log4jsocket.bat
unix运行 sh log4jsocket.sh

日志服务器部署地址

IP:192.168.0.14
目录：/home/ifxt/sibas-cs/logservers

客户端

环境要求

log4j-1.2.15以上

客户端配置

在log4j.properties中加入
log4j.rootCategory=debug,test
log4j.appender.test=org.apache.log4j.net.SocketAppender
#发送到服务器端的地址
log4j.appender.test.RemoteHost=192.168.0.189
#端口号
log4j.appender.test.Port=8899
log4j.appender.test.LocationInfo=true
#发送过去的参数
log4j.appender.sibas.application=sibas

应用步骤

（以windows系统为例）

第一步获取安装log4j日志服务器

 http://download.csdn.net/detail/zhoulianglg/4025803

获取文件后，解压到你想存放的路径想。如：d:\

第二步为客户端配置连接

打开你要配置的项目的log4j.properties 文件
在log4j.properties中加入
log4j.rootCategory=debug,test
log4j.appender.test=org.apache.log4j.net.SocketAppender
#发送到服务器端的地址
log4j.appender.test.RemoteHost=192.168.0.189

#端口号
log4j.appender.test.Port=8899
log4j.appender.test.LocationInfo=true
#发送过去的参数
log4j.appender.sibas.application=test

配置服务端

在logservers/config/client 目录下添加一个命名为 test.properties 文件 文件名称与你在客户端配置的
log4j.appender.test.application=test名称相同
具体参考配置
log4j.rootLogger=debug,test

log4j.appender.test=org.apache.log4j.DailyRollingFileAppender
log4j.appender.test.File=logs/sibas.log
log4j.appender.test.Encoding=GBK
log4j.appender.test.layout=org.apache.log4j.PatternLayout
log4j.appender.test.DatePattern='.'yyyy-MM-dd
log4j.appender.test.layout.ConversionPattern=test%d｛yyyy-MM-dd HH:mm:ss｝[%24F:%-3L:%-5p]%x %m%n

注：此处配置作用是log4j服务器把客户端送过来的信息 按照现在的配置模式输出日志，日志模式跟此处配置有关，与客户端原有配置没有关系
此处要没有配置 相应的文件，就会默认 执行 default.properties 文件

启动日志服务

运行命令
java -cp ./log4j-1.2.16.jar org.apache.log4j.net.SocketServer 端口号 配置目录
例：java -cp ./log4j-1.2.16.jar org.apache.log4j.net.SocketServer 8899 config

注：端口号即为客户端log4j.appender.sibas.Port=8899 配置的端口号