nginx日志解析：java正则解析

nginx⽇志解析：java正则解析

背景：

⽇志从nginx产⽣，并实时写⼊kafka队列中，为了便于对海量⽇志数据进⾏离线分析，我们⼀般将⽇志存放到hdfs下，然后通过hive建⽴外部表使⽤HQL进⾏数据统计分析。⽽要使hive能够识别⽇志信息，我们必须将⽇志内容结构化。将⽇志信息解析成hive能识别的格式，可以使⽤不同语⾔来实现，这⾥我们使⽤java 结合正则表达式来实现。

⼀、准备知识：滚筒式混凝土搅拌机

1.正则表达式语法

字符说明

\将下⼀字符标记为特殊字符、⽂本、反向引⽤或⼋进制转义符。例如，"n"匹配字符"n"。"\n"匹配换⾏符。序列"\\"匹配"\"，"\("匹配"("。

^匹配输⼊字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与"\n"或"\r"之后的位置匹配。

$匹配输⼊字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与"\n"或"\r"之前的位置匹配。

*零次或多次匹配前⾯的字符或⼦表达式。例如，zo* 匹配"z"和"zoo"。* 等效于 {0,}。

+⼀次或多次匹配前⾯的字符或⼦表达式。例如，"zo+"与"zo"和"zoo"匹配，但与"z"不匹配。+ 等效于 {1,}。

零次或⼀次匹配前⾯的字符或⼦表达式。例如，"do(es)?"匹配"do"或"does"中的"do"。? 等效于 {0,1}。

{n}n 是⾮负整数。正好匹配 n 次。例如，"o{2}"与"Bob"中的"o"不匹配，但与"food"中的两个"o"匹配。

{n,}n 是⾮负整数。⾄少匹配 n 次。例如，"o{2,}"不匹配"Bob"中的"o"，⽽匹配"foooood"中的所有 o。"o{1,}"等效于"o+"。"o{0,}"等效于"o*"。

{n,m}M 和 n 是⾮负整数，其中 n <= m。匹配⾄少 n 次，⾄多 m 次。例如，"o{1,3}"匹配"fooooood"中的头三个 o。'o{0,1}' 等效于 'o?'。注意：您不能将空格插⼊逗号和数字之间。

当此字符紧随任何其他限定符（*、+、?、{n}、{n,}、{n,m}）之后时，匹配模式是"⾮贪⼼的"。"⾮贪

⼼的"模式匹配搜索到的、尽可能短的字符串，⽽默认的"贪⼼的"模式匹配搜索到的、尽可能长的字符串。例如，在字符串"oooo"中，"o+?"只匹配单个"o"，⽽"o+"匹配所有"o"。

.匹配除"\r\n"之外的任何单个字符。若要匹配包括"\r\n"在内的任意字符，请使⽤诸如"[\s\S]"之类的模式。

(pattern)匹配 pattern 并捕获该匹配的⼦表达式。可以使⽤ $0…$9 属性从结果"匹配"集合中检索捕获的匹配。若要匹配括号字符 ( )，请使⽤"$"或者"$"。

(?:pattern)匹配 pattern 但不捕获该匹配的⼦表达式，即它是⼀个⾮捕获匹配，不存储供以后使⽤的匹配。这对于⽤"or"字符 (|) 组合模式部件的情况很有⽤。例如，'industr(?:y|ies) 是⽐ 'industry|industries' 更经济的表达式。

=pattern)执⾏正向预测先⾏搜索的⼦表达式，该表达式匹配处于匹配 pattern 的字符串的起始点的字符串。它是⼀个⾮捕获匹配，即不能捕获供以后使⽤的匹配。例如，'Windows (?=95|98|NT|2000)' 匹配"Windows 2000"中的"Windows"，但不匹配"Windows 3.1"中的"Windows"。预测先⾏不占⽤字符，即发⽣匹配后，下⼀匹配的搜索紧随上⼀匹配之后，⽽不是在组成预测先⾏的字符后。

(?!pattern)执⾏反向预测先⾏搜索的⼦表达式，该表达式匹配不处于匹配 pattern 的字符串的起始点的搜索字符串。它是⼀个⾮捕获匹配，即不能捕获供以后使⽤的匹配。例如，'Windows (?!95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows"，但不匹配"Windows 2000"中的"Windows"。预测先⾏不占⽤字符，即发⽣匹配后，下⼀匹配的搜索紧随上⼀匹配之后，⽽不是在组成预测先⾏的字符后。

x|y匹配 x 或 y。例如，'z|food' 匹配"z"或"food"。'(z|f)ood' 匹配"zood"或"food"。

[xyz]字符集。匹配包含的任⼀字符。例如，"[abc]"匹配"plain"中的"a"。

[^xyz]反向字符集。匹配未包含的任何字符。例如，"[^abc]"匹配"plain"中"p"，"l"，"i"，"n"。

[a-z]字符范围。匹配指定范围内的任何字符。例如，"[a-z]"匹配"a"到"z"范围内的任何⼩写字母。

[^a-z]反向范围字符。匹配不在指定的范围内的任何字符。例如，"[^a-z]"匹配任何不在"a"到"z"范围内的任何字符。\b匹配⼀个字边界，即字与空格间的位置。例如，"er\b"匹配"never"中的"er"，但不匹配"verb"中的"er"。

\B⾮字边界匹配。"er\B"匹配"verb"中的"er"，但不匹配"never"中的"er"。

\cx 匹配 x 指⽰的控制字符。例如，\cM 匹配 Control-M 或回车符。x 的值必须在 A-Z 或 a-z 之间。如果不是这样，则假定 c 就是"c"字符本⾝。

\d数字字符匹配。等效于 [0-9]。

\D⾮数字字符匹配。等效于 [^0-9]。

\f换页符匹配。等效于 \x0c 和 \cL。

\n换⾏符匹配。等效于 \x0a 和 \cJ。

\r匹配⼀个回车符。等效于 \x0d 和 \cM。

\s匹配任何空⽩字符，包括空格、制表符、换页符等。与 [ \f\n\r\t\v] 等效。\S匹配任何⾮空⽩字符。与 [^ \f\n\r\t\v] 等效。

\t制表符匹配。与 \x09 和 \cI 等效。

顶空瓶\v垂直制表符匹配。与 \x0b 和 \cK 等效。

\w匹配任何字类字符，包括下划线。与"[A-Za-z0-9_]"等效。

\W与任何⾮单词字符匹配。与"[^A-Za-z0-9_]"等效。

\xn 匹配 n，此处的 n 是⼀个⼗六进制转义码。⼗六进制转义码必须正好是两位数长。例如，"\x41"匹配"A"。"\x041"与"\x04"&"1"等效。允许在正则表达式中使⽤ ASCII 代码。

\num匹配 num，此处的 num 是⼀个正整数。到捕获匹配的反向引⽤。例如，"(.)\1"匹配两个连续的相同字符。

\n 标识⼀个⼋进制转义码或反向引⽤。如果 \n 前⾯⾄少有 n 个捕获⼦表达式，那么 n 是反向引⽤。否则，如果 n 是⼋进制数 (0-7)，那么 n 是⼋进制转义码。

半夏去皮机\nm 标识⼀个⼋进制转义码或反向引⽤。如果 \nm 前⾯⾄少有 nm 个捕获⼦表达式，那么 nm 是反向引⽤。如果 \nm 前⾯⾄少有 n 个捕获，则n 是反向引⽤，后⾯跟有字符 m。如果两种前⾯的情况都不存在，则 \nm 匹配⼋进制值 nm，其中 n 和 m 是⼋进制数字 (0-7)。

\nml当 n 是⼋进制数 (0-3)，m 和 l 是⼋进制数 (0-7) 时，匹配⼋进制转义码 nml。

\un匹配 n，其中 n 是以四位⼗六进制数表⽰的 Unicode 字符。例如，\u00A9 匹配版权符号 (©)。

根据 Java Language Specification 的要求，Java 源代码的字符串中的反斜线被解释为 Unicode 转义

或其他字符转义。因此必须在字符串字⾯值中使⽤两个反斜线，表⽰正则表达式受到保护，不被 Java 字节码编译器解释。例如，当解释为正则表达式时，字符串字⾯值 "\b" 与单个退格字符匹配，⽽"\\b" 与单词边界匹配。字符串字⾯值 "$hello$" 是⾮法的，将导致编译时错误；要与字符串 (hello) 匹配，必须使⽤字符串字⾯值 \$hello\$。

2.捕获组

1. 捕获组及其编号：

1) 捕获组之前讲过，就是匹配到的内容，按照()⼦表达式划分成若⼲组；

2) 例如正则表达式：(ab)(cd(ef))就有三个捕获组，没出现⼀对()就是⼀个捕获组

3) 捕获组编号规则：

i. 引擎会对捕获组进⾏编号，编号规则是左括号(从左到右出现的顺序，从1开始编号；

ii. 例如：

2. 反向引⽤：

1) 捕获组的作⽤就是为了可以在正则表达式内部或者外部（Java⽅法）引⽤它；

2) 如何引⽤？当然是通过前⾯讲的⽤捕获组的编号来引⽤咯！

3) 正则表达式内部引⽤：

i. \X：X是⼀个⼗进制数，X的范围必须落在捕获组编号范围之内，该表达式就匹配X号捕获组所匹配到的内容；

ii. 从上⾯的描述可以看出，\X匹配的内容是必须X号捕获组匹配成功之后才能确定的！

iii. 例如：([ab])\1，匹配aabbcc的结果是aa和bb，\1的内容必须要让1号捕获组捕获后才能确定，如果1号捕获的是a那么\1就是a，1号捕获到了b那么\1就是b；

4) 正则表达式外部引⽤：就是⽤Matcher对象的start、end、group查询匹配信息时，使⽤捕获组编号对捕获组引⽤（int group）；

3. 捕获组命名：

1) 如果捕获组的数量⾮常多，那都⽤数字进⾏编号并引⽤将会⾮常混乱，并且难以记忆每个捕获组的内容及意义，因此对捕获组命名显得尤为重要；

2) Java7开始提供了对捕获组命名的语法，并且可以通过捕获组的名称对捕获组反向引⽤（内外都⾏）；

i. 命名捕获组的语法格式：(?<⾃定义名>expr)

ii. 例如：(?<year>\d{4})-(?<date>\d{2}-(?<day>\d{2}))

a. 有三个命名捕获组year、date和day

b. 从左到右编号分别为1、2、3（编号同样是有效的）

3) 命名捕获组的反向引⽤：

i. 正则表达式内引⽤：\k<；捕获组名称>

！例如：(?<year>\d{4})-\k<year>可以匹配1999-1999

ii. 外部引⽤：Matcher对象的start、end、group的String name参数指定要查询的捕获组的名称；

4. 普通捕获组和命名捕获组的混合编号：

1) 普通捕获组是相对命名捕获组的，即没有显式命名的捕获组；

2) 当所有捕获组都是命名捕获组时那么编号规则和原来相同，即按照左括号(的出现顺序来编号；

3) 当普通捕获组和命名捕获组同时出现时，编号规则为：先不忽略命名捕获组，只对普通捕获组按照左括号顺序编号，然后再对命名捕获组从左往右累计编号，例如：

！先忽略命名命名捕获组<date>，先对普通捕获组编号\d{4}是1，\d\d是2，然后再接着累加地对命名捕获组编号，因此<date>是3；

⼆、⽇志内容：

这⾥我们要解析出：ip，时间，请求类型, url, 相应状态，发送字节数，请求耗时，响应耗时，返回IP，响应体

1. "message": "23.104.

2.30 - - [03/Dec/2016:18:59:29 +0800]

\"GET zhuanti.minisite.tieniu/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U;