在Cloud Foundry中,用来收集Cloud Foundry各组件日志信息的组件,名为syslog_aggregator。
syslog_aggregator可以做到方便的收集Cloud Foundry中所有组件的日志信息,并将这些信息进行初步处理,比如说:将不同月份产生的日志,进行分类存储;另外还对同一月份内产生的日志,将其通过不同的日期进行分类。这样的话,当Cloud Foundry平台的开发者,在运营该平台时需要查看Cloud Foundry中某一个组件产生的日志时,可以方便的查找到对应日期的日志。syslog_aggregator除了可以对日志进行分组件,分月份,分日期进行存储外,还提供一些对日志进行打包或剪枝的功能,比如:syslog_aggregator会将一定期限内的日志,进行压缩,以达到节省存储空间的功能;另外syslog_aggregator还会定期对日志进行清除,比如只保存一定期限时间长度的日志,当日志超过该时限,syslog_aggregator会将其清除。
以下是对syslog_aggregator实现的简单分析:
syslog_aggregator组件主要包括monit模块,日志管理模块。
monit模块
monit模块主要是实现:监控syslog_aggregator组件的运行状态,一旦监控过syslog_aggregator组件中该进行不存活时,即刻重启该进程;另外,syslog_aggregator组件还将自身的信息通过cloud_agent传送给NATS,这里的信息包括syslog_aggregator组件所在的宿主机的存货状态以及资源使用情况。
以下通过monit监控进程的代码:
check process syslog_aggregator with pidfile /var/vcap/sys/run/syslog_aggregator/syslog_aggregator.pid start program "/var/vcap/jobs/syslog_aggregator/bin/syslog_aggregator_ctl start" stop program "/var/vcap/jobs/syslog_aggregator/bin/syslog_aggregator_ctl stop" group vcap
该段代码中清晰的标明了进程的pid,进程的start命令以及stop命令。
cloud_agent作为BOSH监控Cloud Foundry组件级信息的辅助工具,负责收集syslog_aggregator组件所在宿主机的运行状态以及资源使用情况,并发送给health_monitor,由health_monitor统一管理。由于cloud_agent不是本文的重点,所以本文不再赘述。
日志管理模块
实现日志管理,syslog_aggregator是通过启动syslog_aggregator_ctl脚本来实现的。上文中提到的monit模块中,也正是监控这个脚本命令启动的进程。以下来分析一下该脚本的代码实现:
#!/bin/bash RUN_DIR=/var/vcap/sys/run/syslog_aggregator LOG_DIR=/var/vcap/store/log JOB_DIR=/var/vcap/jobs/syslog_aggregator PACKAGE_DIR=/var/vcap/packages/syslog_aggregator BIN_DIR=$JOB_DIR/bin PIDFILE=$RUN_DIR/syslog_aggregator.pid source /var/vcap/packages/common/utils.sh case $1 in start) apt-get -y install rsyslog-relp pid_guard $PIDFILE "Syslog aggregator" mkdir -p $RUN_DIR mkdir -p $LOG_DIR chown -R vcap:vcap $LOG_DIR rm -f /etc/cron.daily/bzip_old_logs cp -a $BIN_DIR/gzip_old_logs /etc/cron.daily cp -a $BIN_DIR/reap_old_logs /etc/cron.hourly cp -a $BIN_DIR/symlink_logs /etc/cron.hourly cp -a $PACKAGE_DIR/send_error_mail /etc/cron.daily exec /usr/sbin/rsyslogd -f $JOB_DIR/config/rsyslogd.conf -i $PIDFILE -c 4 \ >>$LOG_DIR/rsyslogd.stdout.log \ 2>>$LOG_DIR/rsyslogd.stderr.log ;; stop) kill_and_wait $PIDFILE rm /etc/cron.daily/gzip_old_logs rm /etc/cron.hourly/reap_old_logs ;; *) echo "Usage: syslog_aggregator_ctl {start|stop}" ;; esac
在通过该脚本来实现启动syslog_aggregator进程的时候,使用的是start命令。进入start命令,可以看到,安装了rsyslog-relp;然后通过/var/vcap/packages/common/utils.sh中定义的pid_guard()方法来实现对该进程pid的保护,当系统中已经由相应的进程以该pid在运行时,删除该进程,以保证syslog_aggregator可以按预先设置的pid进行运行;随后创建几个定义好的目录,RUN_DIR,LOG_DIR,还对LOG_DIR进行拥有用户修改。
脚本中随后的5行代码,涉及到的是Linux操作系统中cron 定期任务删除与添加的实现:
rm -f /etc/cron.daily/bzip_old_logs cp -a $BIN_DIR/gzip_old_logs /etc/cron.daily cp -a $BIN_DIR/reap_old_logs /etc/cron.hourly cp -a $BIN_DIR/symlink_logs /etc/cron.hourly cp -a $PACKAGE_DIR/send_error_mail /etc/cron.daily
首先在每日的执行任务中删除掉bzip_old_logs任务,如果该任务存在的话;随后将4个任务分别加入到了指定的目录位置,分别是:gzip_old_logs, reap_old_logs, symlink_logs, send_error_mail。也就是让Linux操作系统每天一次执行gzip_old_logs脚本,每小时执行一次reap_old_logs脚本,每小时执行一次symlink_logs脚本,每周一次执行一次send_error_mail脚本。
添加完这些定义任务之后,syslog_aggregator随后启动了rsyslog server,实现日志服务器的启动:
exec /usr/sbin/rsyslogd -f $JOB_DIR/config/rsyslogd.conf -i $PIDFILE -c 4 \ >>$LOG_DIR/rsyslogd.stdout.log \ 2>>$LOG_DIR/rsyslogd.stderr.log
启动rsyslog server的具体配置可以参看rsyslogd.conf的各参数:
$MaxMessageSize 4k # Caveat - This always binds to all interfaces (cannot specify otherwise). $ModLoad imtcp $InputTCPMaxSessions 1024 $InputTCPServerRun 54321 $PrivDropToUser vcap $PrivDropToGroup vcap # Write each component's messages to a separate log # programname is assumed to be 'vcap.<component>' # Directory is created automatically $template VcapComponentLogFile, "/var/vcap/store/log/%programname:6:$%/%$year%/%$month%/%$day%/%programname:6:$%.log" $template VcapComponentLogFormat, "%fromhost-ip% -- %msg%\n" # The initial '-' tells rsyslogd to not sync the file after each write :programname, startswith, "vcap." -?VcapComponentLogFile;VcapComponentLogFormat # Prevent them from reaching anywhere else :programname, startswith, "vcap." ~
当然有server的话,自然会accept来自client的请求,所以在Cloud Foundry中每个组件都会安装一个resyslog的client端,然后启动该client,连接rsyslog server,并发送日志请求,以此来实现日志的传输,又通过刚才涉及到的那些脚本实现对日志的管理。
以下分析添加到周期性任务中的脚本功能。
1.gzip_old_logs
该脚本的实现很简单,如下:
#!/bin/bash # Compress log files that haven't changed in the last day find /var/vcap/store/log -type f -mmin +1440 -name '*.log' -exec gzip '{}' \;
功能为找到/var/vcap/store/log目录下,1440分钟(24小时)内没有被修改的文件,然后进行压缩操作。
2.symlink_logs
该脚本实现的是:为每一个当天的创建出来的文件创建符号链接,`date + %Y`执行结果为执行时的年份,依此类推。代码如下:
#!/bin/bash # create symlinks to today's logs in /var/vcap/store/log for x in /var/vcap/store/log/*/`date +%Y`/`date +%m`/`date +%d`/* ; do if [ -f "$x" ]; then ln -sf "$x" /var/vcap/store/log; fi; done
3.reap_old_logs
该脚本实现的是:清除保存已超过7天的日志。代码如下:
#!/bin/bash set -u LOG_DIR=/var/vcap/store/log # Reap logs that are older than 7 days DAYS_TO_KEEP=7 let "MIN_TO_KEEP=${DAYS_TO_KEEP}*24*60" # get the last $DAYS_TO_KEEP date to exclude from the rmdir DAYS_TO_EXCLUDE=$( for i in $(seq 0 ${DAYS_TO_KEEP}); do date -d "now - $i days" +%Y/%m/%d done ) # example output: "2012/09/21|2012/09/20|.....|2012/09/15|2012/09/14" EGREP_FORMAT_DAYS_TO_EXCLUDE=$(echo $DAYS_TO_EXCLUDE | tr ' ' '|') find ${LOG_DIR} -mmin +${MIN_TO_KEEP} -name '*.log.gz' -exec rm -f '{}' \; # Reap empty dirs in 3 passes, clear empty 'day' dirs, then 'month' # and lastly 'year' for i in '/[0-9]{4}/[0-1][0-9]/[0-9]{2}$' \ '/[0-9]{4}/[0-1][0-9]$' \ '/[0-9]{4}$'; do /usr/bin/find ${LOG_DIR} -type d -empty | egrep -v "${EGREP_FORMAT_DAYS_TO_EXCLUDE}" | egrep ${i} | xargs -r -n 200 rmdir done
其中,EGREP_FORMAT_DAYS_TO_EXCLUDE是为了获取一个通过‘|’字符串联起来的字符串,随后实现对指定路径进行清除。
以上便是对Cloud Foundry中syslog_aggregator的简单分析。
转载请注明出处。
这篇文档更多出于我本人的理解,肯定在一些地方存在不足和错误。希望本文能够对接触Cloud Foundry中syslog_aggregator的人有些帮助,如果你对这方面感兴趣,并有更好的想法和建议,也请联系我。
我的邮箱:shlallen@zju.edu.cn
新浪微博:@莲子弗如清