人生苦短,我用 Python

如果我的文章对您有帮助,请关注支持下作者的"大众年夜众号:极客挖掘机,您的关注,是对

前文传送门:

常用xss获取cookiejsp小白学 Python 爬虫10Session 和 Cookies CSS

小白学 Python 爬虫(1):开篇

小白学 Python 爬虫(2):前置准备(一)基本类库的安装

小白学 Python 爬虫(3):前置准备(二)Linux根本入门

小白学 Python 爬虫(4):前置准备(三)Docker根本入门

小白学 Python 爬虫(5):前置准备(四)数据库根本

小白学 Python 爬虫(6):前置准备(五)爬虫框架的安装

小白学 Python 爬虫(7):HTTP 根本

小白学 Python 爬虫(8):网页根本

小白学 Python 爬虫(9):爬虫根本

弁言

先说一个题外话,本日老司机翻车了,内容

在先容 Session 和 Cookies 之前,先先容一个体的的观点 —— 静态网页和动态网页。

静态网页

静态网页便是我们上一篇写的那种 html 页面,后缀为 .html 的这种文件,直接支配到或者是放到某个 web 容器上,就可以在浏览器通过链接直接访问到了,常用的 web 容器有 Nginx 、 Apache 、 Tomcat 、Weblogic 、 Jboss 、 Resin 等等,很多很多。

如果说要举例子的话那么

这种网页的内容是通过纯粹的 HTML 代码来书写,包括一些资源文件:图片、视频等内容的引入都是利用 HTML 标签来完成的。

它的好处当然是加载速率快,编写大略,访问的时候对 web 容器基本上不会产生什么压力。
但是缺陷也很明显,可掩护性比较差,不能根据参数动态的显示内容等等。

有需求就会有发展么,这时动态网页就应运而生了。

动态网页

我们先不说动态网页的观点,先说说有哪些网站是由动态网页来构建的。
大家常用的某宝、某东、拼夕夕等网站都是由动态网页组成的。

动态网页可以解析 URL 中的参数,或者是关联数据库中的数据,显示不同的网页内容。

现在各位同学访问的网站大多数都是动态网站,它们不再简大略单是由 HTML 堆砌而成,可能是由 JSP 、 PHP 等措辞编写的,当然,现在很多由前端框架编写而成的网页

说到动态网页,各位同学可能利用频率最高的一个功能是登录,像各种电商类网站,肯定是登录了往后才能下单买东西。
那么,问题来了,后面的做事端是如何知道当前这个人已经登录了呢?

HTTP/1.1

现在大多数的网站利用的协议都是 HTTP/1.1 ,而 HTTP/1.1 最大的特点便是无状态、无连接的。

无状态便是指 HTTP 协议对付要求的发送处理是没有影象功能的,也便是说每次 HTTP 要求到达做事端,做事端都不知道当前的客户端(浏览器)到底是一个什么状态。
客户端向做事端发送要求后,做事端处理这个要求,然后将内容相应回客户端,完成一次交互,这个过程是完备相互独立的,做事端不会记录前后的状态变革,也便是短缺状态记录。

这就产生了上面的问题,做事端如何知道当前在浏览器面前操作的这个人是谁?

实在,在用户做登录操作的时候,做事端会下发一个类似于 token 凭据的东西返回至客户端(浏览器),有了这个凭据,才能保持登录状态。

那么这个凭据是什么?

这便是本篇文章要阐明的核心内容,Session 和 Cookies 了。

Session 是会话的意思,会话是产生在做事真个,用来保存当前用户的会话信息,而 Cookies 是保存在客户端(浏览器),有了 Cookie 往后,客户端(浏览器)再次访问做事真个时候,会将这个 Cookie 带上,这时,做事端可以通过 Cookie 来识别本次要求到底是谁在访问。

可以大略理解为 Cookies 中保存了登录凭据,我们只要持有这个凭据,就可以在做事端保持一个登录状态。

在爬虫中,有时候碰着须要登录才能访问的网页,只须要在登录后获取了 Cookies ,不才次访问的时候将登录后获取到的 Cookies 放在要求头中,这时,做事端就会认为我们的爬虫是一个正常登任命户。

Session 保持

那么,Cookies 是如何保持会话状态的呢?

在客户端(浏览器)第一次要求做事真个时候,做事端会返回一个要求头中带有 Set-Cookie 字段的相应给客户端(浏览器),用来标记是哪一个用户,客户端(浏览器)会把这个 Cookies 给保存起来。

我们来利用工具 PostMan 来访问下某东的登录页,看下返回的相应头:

当我们输入好用户名和密码时,客户端会将这个 Cookies 放在要求头一起发送给做事端,这时,做事端就知道是谁在进行登录操作,并且可以判断这个人输入的用户名和密码对不对,如果输入精确,则在做事真个 Session 记录一下这个人已经登录成功了,下次再要求的时候这个人便是登录状态了。

如果客户端传给做事真个 Cookies 是无效的,或者这个 Cookies 根本不是由这个做事端下发的,或者这个 Cookies 已经由期了,那么接下里的要求将不再能访问须要登录后才能访问的页面。

以是, Session 和 Cookies 之间是须要相互合营的,一个在做事端,一个在客户端。

Cookies

我们还是打开某东的网站,看下这些 Cookies到底有哪些内容:

详细操作办法还是在 Chrome 中按 F12 打开开拓者工具,选择 Application 标签,点开 Cookies 这一栏。

Name:这个是 Cookie 的名字。
一旦创建,该名称便不可变动。
Value:这个是 Cookie 的值。
Domain:这个是可以访问该 Cookie 的域名。
例如,如果设置为 .jd.com ,则所有以 jd.com ,结尾的域名都可以访问该Cookie。
Max Age:Cookie 失落效的韶光,单位为秒,也常和 Expires 一起利用。
Max Age 如果为正数,则在 Max Age 秒之后失落效,如果为负数,则关闭浏览器时 Cookie 即失落效,浏览器也不会保存该 Cookie 。
Path:Cookie 的利用路径。
如果设置为 /path/ ,则只有路径为 /path/ 的页面可以访问该 Cookie 。
如果设置为 / ,则本域名下的所有页面都可以访问该 Cookie 。
Size:Cookie 的大小。
HTTPOnly:如果此项打勾,那么通过 JS 脚本将无法读取到 Cookie 信息,这样能有效的防止 XSS 攻击,盗取 Cookie 内容,可以增加 Cookie 的安全性。
Secure:如果此项打勾,那么这个 Cookie 只能用 HTTPS 协议发送给做事器,用 HTTP 协议是不发送的。

那么有的网站为什么这次关闭了,下次打开的时候还是登录状态呢?

这就要说到 Cookie 的持久化了,实在也不能说是持久化,便是 Cookie 失落效的韶光设置的长一点,比如直接设置到 2099 年失落效,这样,在浏览器关闭后,这个 Cookie 是会保存在我们的硬盘中的,下次打开浏览器,会再从我们的硬盘中将这个 Cookie 读取出来,用来坚持用户的会话状态。

第二个问题产生了,做事真个会话也会无限的坚持下去么,当然不会,这就要在 Cookie 和 Session 上做文章了, Cookie 中可以利用加密的办法将用户名记录下来,不才次将 Cookies 读取出来由要求发送到做事端后,做事端悄悄的自己创建一个用户已经登录的会话,这样我们在客户端看起来就彷佛这个登录会话是一贯保持的。

理解误区

当我们关闭浏览器的时候会自动销毁做事真个会话,这个是缺点的,由于在关闭浏览器的时候,浏览器并不会额外的关照做事端说,我要关闭了,你把和我的会话销毁掉吧。

由于做事真个会话是保存在内存中的,虽然一个会话不会很大,但是架不住会话多啊,硬件毕竟是会有限定的,不能无限扩充下去的,以是在做事端设置会话的过期韶光就非常有必要。

当然,有没有办法能让浏览器在关闭的时候同步的关闭做事真个会话,当然是可以的,我们可以通过脚本措辞 JS 来监听浏览器关闭的动作,当浏览器触发关闭动作的时候,由 JS 像做事端发起一个要求来关照做事端销毁会话。

由于不同的浏览器对 JS 事宜的实现机制不一致,不一定担保 JS 能监听到浏览器关闭的动作,以是现在常用的办法还是在做事端自己设置会话的过期韶光。

参考

https://baike.baidu.com/item/cookie/1119