本文紧张帮助大家熟习 Nginx 有哪些运用处景、Nginx 特点和架构模型以及干系流程、Nginx 定制化开拓的几种模块分类。读完本文你将对 Nginx 有一定的认识。
本文将环绕如下几个部分进行讲解:Nginx 简介及特点Nginx 运用处景Nginx 框架模型先容Nginx 内部流程先容Nginx 自定义模块开拓先容Nginx 核心韶光点模块先容Nginx 分流模块先容Nginx 动态 upstream 模块先容Nginx query_upstrem 模块先容Nginx query_conf 模块先容Nginx 共享内存支持 Redis 协议模块先容Nginx 日志回放压测工具先容Nginx 简介以及特点
Nginx (engine x) 是一个高性能的 Web 做事器和反向代理做事器,也是一个 IMAP/POP3/SMTP 做事器:
它由俄罗斯程序员 Igor Sysoev 于 2002 年开始开拓。Nginx 是增长最快的 Web 做事器,市场份额已达 33.3%。环球利用量排名第二,2011 年景立商业公司。
Nginx 社区分支:
Openresty:作者 @agentzh(章宜春)开拓的,最大特点是引入了 ngx_lua 模块,支持利用 Lua 开拓插件,并且凑集了很多丰富的模块,以及 Lua 库。Tengine:紧张是淘宝团队开拓。特点是融入了因淘宝自身的一些业务带来的新功能。Nginx 官方版本,更新迭代比较快,并且供应免费版本和商业版本。Nginx 源码构造(代码量大约 11 万行 C 代码):
源代码目录构造 Core(主干和根本设置)Event(事宜驱动模型和不同的 IO 复用模块)HTTP(HTTP 做事器和模块)Mail(邮件代理做事器和模块)OS(操作系统干系的实现)Misc(杂项)Nginx 特点如下:
反向代理,负载均衡器高可靠性、单 Master 多 Worker 模式高可扩展性、高度模块化非壅塞事宜驱动低内存花费热支配Nginx 运用处景
Nginx 的运用处景如下:
静态文件做事器反向代理,负载均衡安全防御智能路由(企业级灰度测试、舆图 POI 一键切流)灰度发布静态化推送图片实时压缩防盗链Nginx 框架模型先容
进程组件角色:
Master 进程:监视事情进程的状态;当事情进程去世掉后重启一个新的;处理旗子暗记和关照事情进程。Worker 进程:处理客户端要求,从主进程处得到旗子暗记做相应的事情。Cache Loader 进程:加载缓存索引文件信息,然退却撤退出。Cache Manager进程:管理磁盘的缓存大小,超过预定值大小后最少利用数据将被删除。Nginx 的框架模型如下图:
image
框架模型流程如下图:
image
Nginx 内部流程先容
Nginx 框架模型流程如下图:image
image
Master 初始化流程,如下图:image
Worker 初始化:image
Worker 初始化流程图如下:image
静态文件要求 IO 流程如下图:image
HTTP 要求流程如下图:image
HTTP 要求 11 个阶段,如下图所示:image
upstream模块:访问第三方 Server 做事器底层 HTTP 通信非常完善异步非壅塞高下游内存零拷贝,节省内存支持自定义模块开拓upstream 框架流程,如下图:image
upstream 内部流程,如下图:image
反向代理流程,如下图:image
Nginx 定制化模块开拓
Nginx 的模块化设计特点如下:高度抽象的模块接口模块接口非常大略,具有很高的灵巧性配置模块的设计核心模块接口的大略化多层次、多类别的模块设计内部核心模块:image
image
Handler 模块:接管来自客户真个要求并构建相应头和相应体。image
Filter 模块:过滤(filter)模块是过滤相应头和内容的模块,可以对回答的头和内容进行处理。它的处理韶光在获取回答内容之后,向用户发送相应之前。image
Upstream 模块:使 Nginx 超过单机的限定,完成网络数据的吸收、处理和转发,进一步的访问后端做事。image
Load_Balance:负载均衡模块,实现特定的算法,在浩瀚的后端做事器中,选择一个做事器出来作为某个要求的转发做事器。
image
ngx_lua 模块:脚本措辞内存开销小运行速率快强大的 Lua 协程非壅塞业务逻辑以自然逻辑书写image
定制化开拓 DemoHandler 模块:
编写 config 文件编写模块产生内容相应信息#配置文件:server { ... location test { test_counter on; }}#configngx_addon_name=ngx_http_test_moduleHTTP_MODULES="$HTTP_MODULES ngx_http_test_module"NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"#ngx_http_test_module.cstatic ngx_int_tngx_http_test_handler(ngx_http_request_t r){ ngx_int_t rc; ngx_buf_t b; ngx_chain_t out; ngx_http_test_conf_t lrcf; ngx_str_t ngx_test_string = ngx_string("hello test"); lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module); if ( lrcf->test_counter == 0 ) { return NGX_DECLINED; } / we response to 'GET' and 'HEAD' requests only / if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) { return NGX_HTTP_NOT_ALLOWED; } / discard request body, since we don't need it here / rc = ngx_http_discard_request_body(r); if ( rc != NGX_OK ) { return rc; } / set the 'Content-type' header / / r->headers_out.content_type.len = sizeof("text/html") - 1; r->headers_out.content_type.data = (u_char )"text/html"; / ngx_str_set(&r->headers_out.content_type, "text/html"); / send the header only, if the request type is http 'HEAD' / if ( r->method == NGX_HTTP_HEAD ) { r->headers_out.status = NGX_HTTP_OK; r->headers_out.content_length_n = ngx_test_string.len; return ngx_http_send_header(r); } / set the status line / r->headers_out.status = NGX_HTTP_OK; r->headers_out.content_length_n = ngx_test_string.len; / send the headers of your response / rc = ngx_http_send_header(r); if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) { return rc; } / allocate a buffer for your response body / b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t)); if ( b == NULL ) { return NGX_HTTP_INTERNAL_SERVER_ERROR; } / attach this buffer to the buffer chain / out.buf = b; out.next = NULL; / adjust the pointers of the buffer / b->pos = ngx_test_string.data; b->last = ngx_test_string.data + ngx_test_string.len; b->memory = 1; / this buffer is in memory / b->last_buf = 1; / this is the last buffer in the buffer chain / / send the buffer chain of your response / return ngx_http_output_filter(r, &out);}
Nginx 核心韶光点模块先容
办理接入层故障定位慢的问题,帮助 OP 快速剖断问题根因,优先自证明净,提高接入层高效的生产力。
image
Nginx 分流模块先容
Nginx 分流模块特点如下:
实现非常灵巧的动态的修正策略从而进行切流量。实现平滑无损的办法进行流量的切换。通过秒级切换流量可以缩小影响范围,从而减少丢失。按照某一城市或者某个特色,秒级进行切换流量或者禁用流量。容忍单机房级别容量故障,缩短了单机房故障的止损韶光。快速的将流量隔离或者流量抽样。高效的灰度测试,提高生产力。image
Nginx 动态 upstream 模块先容
让接入层可以适配动态调度的云环境,实现做事的平滑高下线、弹性扩/缩容。
从而提高接入层高效的生产力以及稳定性,担保业务流量的平滑无损。
image
Nginx query_upstream 模块先容
链路追踪,梳理接口到后端链路的情形。查询 location 接口对应 upstream server 信息。
image
Nginx query_conf 模块先容
获取 Nginx 配置文件格式化为 json 格式信息:
image
Nginx 共享内存支持 Redis 协议模块先容
根据配置文件来动态的添加共享内存:
https://github.com/lidaohang/ngx_shm_dict
ngx_shm_dict:共享内存核心模块(红黑树,行列步队)ngx_shm_dict_manager:添加定时器事宜,定时的打消共享内存中过期的 Key,添加读事宜,支持 Redis 协议,通过 redis-cli get,set,del,ttlngx_shm_dict_view:共享内存查看
image
Nginx 日志回放压测工具
解析日志进行回放压测,仿照后端做事器慢等各种非常情形 :
https://github.com/lidaohang/playback-testing
方案解释:客户端解析 access.log 构建要求的 host,port,url,body。把后端相应韶光,后端相应状态码,后端相应大小放入 header 头中。后端做事器获取相应的 header,进行仿照相应 body 大小,相应状态码,相应韶光。利用办法:拷贝须要测试的 access.log 的日志到 logs 文件夹里面。搭建须要测试的 Nginx 做事器,并且配置 upstream 指向后端做事器端端口启动后端做事器实例
server/backserver/main.go
进行压测
bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095
作者:李航
简介:多年的底层开拓履历,在高性能 Nginx 开拓和分布式缓存 Redis Cluster 有着丰富的履历,目前从事分布式存储事情。先后在 58 同城、汽车之家、优酷土豆集团事情。目前供职于滴滴根本平台-技能专家岗位,紧张卖力分布式 Ceph 系统。个人紧张关注的技能领域:高性能 Nginx 开拓、分布式缓存、分布式存储。Nginx
Nginx (engine x) 是一个高性能的HTTP和反向代理web做事器,同时也供应了IMAP/POP3/SMTP做事。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамблер)开拓的,第一个公开版本0.1.0发布于2004年10月4日。
其将源代码以类BSD容许证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的花费而有名。2011年6月1日,nginx 1.0.4发布。
Nginx是一款轻量级的Web 做事器/反向代理做事器及电子邮件(IMAP/POP3)代理做事器,在BSD-like 协议下发行。其特点是霸占内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页做事器中表现较好,中国大陆利用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。
由于细节内容实在太多啦,以是只把部分知识点截图出来粗略的先容,每个小节点里面都有更细化的内容!
转发+关注,然后私信回答“架构”即可获取以上所有实战书本电子版的免费领取办法。