python又一力作,感受python的强大。用70行代码实现日志分析程序
功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。
代码:
#encoding=utf-8 from optparse import OptionParser import re def get_args(): def get_parser(): usage = u\"\"\"%prog -f filename -r rule [-d] [-c] 用途:对文本文件按照指定模式进行分组并排序,主要分析文本日志用 注意:如果正则表达式里有分组,则提取第一分组, 如果不希望这样,请使用正则的无捕获分组(?:) 示例:统计日志里每分钟的日志量,默认按时间正序排列 python group.py -f log.txt -r \"\\d\\d\\d\\d\\-\\d\\d\\-\\d\\d \\d\\d:\\d\\d\" 统计日志里每个ip出现的次数,并按出现次数倒序排列 python group.py -f input.txt -r \"\\d+\\.\\d+.\\d+.\\d+\" -c -d\"\"\" return OptionParser(usage) def add_option(parser): parser.add_option(\"-f\", \"--file\", dest=\"filename\", help=u\"需要分组的文本文件\", metavar=\"FILE\") parser.add_option(\"-r\", \"--rule\", dest=\"rule\", help=u\"分组的正则表达式\", metavar=\"REGEX\") parser.add_option(\"-d\", action=\"store_true\", dest=\"reverse\", default=False, help=u\"反序排列\") parser.add_option(\"-c\", action=\"store_true\", dest=\"orderbycount\", default=False, help=u\"按数量排序,默认按匹配字符串排序\") def get_options(parser): options, args = parser.parse_args() if not options.filename: parser.error(\'没有指定文件名\') if not options.rule: parser.error(\'没有指定分组规则\') return options parser = get_parser() add_option(parser) return get_options(parser) options = get_args() filename = options.filename rule = options.rule reverse = options.reverse orderbycount = options.orderbycount regex = re.compile(rule, re.IGNORECASE) keys = {} def counter_key(key): keys.setdefault(key, 0) keys[key] += 1 def print_keys(): sort_key = (lambda d:d[1]) if orderbycount else (lambda d:d[0]) temp_items = sorted(keys.items(), key=sort_key, reverse=reverse) for item in temp_items: key = item[0] print key, keys[key] def get_key(line): m = regex.search(line) if m: return m.group() if regex.groups == 0 else m.group(1) return \'!NotMatch!\' with open(filename) as f: for line in f: key = get_key(line) counter_key(key) print_keys()
做猪小侠源码的代理,提供一站式服务
如果你不懂得搭建网站或者服务器,小程序,源码之类的怎么办? 第一通过本站学习各种互联网的技术 第二就是联系客服,我帮帮你搭建(当然要收取部分的费用) 第三成为我们的代理,我们提供整套的服务。