查看下，这便是我们的日志信息，我们可以设置日志格式从而得到不同的信息。
我们现在有一个日志数据nginx_log,里面有十一个字段
" 122.228.208.113"
"-"
"31/Aug/2015:00:04:37 +0800"
"GET /course/view.php?id=27 HTTP/1.1"
"303"
"440"
-
""
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"
"-"
""
我们可以从网上找到很多nginx日志信息解释
根据nginx日志解释，剖析上面的日志信息nginx_log
那我们来剖析这个日志信息，流程是
1、需求剖析
2、数据采集
3、数据洗濯（ETL阶段、字段截取、格式转化）
自定义UDF
自定义Java类，手写MR程序，用于过滤判断
4、数据剖析（打算、处理）
5、结果导出（sqoop）
6、数据可视化展示
由于我们已经有日志数据了而且格式是按照标准剖析的，以是我们直接将数据放到hive中，默认已经采集完成了，须要加载到hive中。
创建数据库
create database nginx_log;
创建表
create table IF NOT EXISTS nginx_log_ori (
remote_addr string,
remote_user string,
time_local string,
request string,
status string,
body_bytes_sent string,
request_body string,
http_referer string,
http_user_agent string,
http_x_forwarded_for string,
host string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
stored as textfile ;
将数据上传
导入数据
load data local inpath '/data/test/access.log' into table nginx_log_ori ;
我们查看下数据会创造，数据不是十一个，而是八个，便是由于数据有空格，分隔符等问题，导致数据加载不全，须要用正则表达式等方法办理。
hive官网
我们来利用
首先利用了一个序列化的java类
org.apache.hadoop.hive.serde2.RegexSerDe
(1)、用户可以自定义写一个Java类
(2)、打成jar添加hive环境变量中
(3)、可以自己调用
再利用正则表达式匹配文本的当中每一个字段
一些基本知识：
\转义字符
()浸染域（字段）
[] 字符凑集
| 或
"^ " 非空格的多位字符
^\ ^\\ 非斜杠的多位字符
^} 非大括号的多位字符
· 可能是字符串，可能是没有的
. 所有字符
[0-9] 数字字符
那我们可以对十一个字段进行正则匹配
(\"[^ ]\") (\"-|[^ ]\") (\"[^}]\") (\"[^}]\") (\"[0-9]\") (\"[0-9]\") (-|[^ ]) (\"[^ ]\") (\"[^}]\") (\"-|[^ ]\") (\"[^ ]\")
重新创建表
CREATE TABLE nginx_log_reg(
remote_addr string,
remote_user string,
time_local string,
request string,
status string,
body_bytes_sent string,
request_body string,
http_referer string,
http_user_agent string,
http_x_forwarded_for string,
host string
)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "(\"[^ ]\") (\"-|[^ ]\") (\"[^}]\") (\"[^}]\") (\"[0-9]\") (\"[0-9]\") (-|[^ ]) (\"[^ ]\") (\"[^}]\") (\"-|[^ ]\") (\"[^ ]\")"
)
STORED AS TEXTFILE;
导入数据
load data local inpath '/data/test/access.log' into table nginx_log_reg ;
接下来进行数据洗濯（ETL阶段、字段截取、格式转化）
剖析：
（1）双引号对付数据剖析没有太多的浸染，就可以考虑去除双引号
（2）韶光字段的格式转换，比如"31/Aug/2015:00:04:37 +0800"转换为2015-08-31 00:04:37 或者 20150831000437
（3）对付某些字段进行优化 ，去除不必要的部分 比如："GET /course/view.php?id=27 HTTP/1.1" 截取为 course/view.php
这样可以查看页面的访问流量，统计数据 ，或者做网站基本的流量剖析统计（用户行为数据：点击、搜索）
（4）获取当前页面的前一个页面，也便是链入地址
（5）客户端信息：获取用户用的浏览器版本，用户的操作系统，版本
紧张节制思路，这里根据之前所学，完成衣蛾自定义日期格式转换 UDF
创建类
完成代码
主理法测试下
导出jar包
上传包
将包导入
add jar /data/test/hiveconvdate.jar;
创建函数
create temporary function pdate as 'com.xlglvc.xxx.mapredece.hiveudf.TestDataFormat';
查询数据
select pdate(time_local) from nginx_log_reg limit 10;
