【学习心得】网站运行时间轴（爬虫逆向）

本文主要是介绍【学习心得】网站运行时间轴（爬虫逆向），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、网站运行时间轴

掌握网站运行时间轴，有助于我们对“请求参数加密”和“响应数据加密”这两种反爬手段的深入理解。

网络运行时间轴

1、加载HTML：
这是浏览器访问网站时的第一步，服务器会返回基础的HTML结构。在这个阶段，爬虫可以直接获取到HTML内容。

2、加载JS并初始化：
随后，浏览器会加载并执行网页中的JavaScript代码。这些代码可能包含重要的逻辑，比如数据加密、页面动态渲染等。

3、用户触发某个事件：
用户可能会在网页上进行一些操作，如点击按钮、填写表单等。这些操作会触发JavaScript事件。

4、调用某段JS加密参数：
在用户触发事件后，JavaScript可能会执行加密函数，对即将发送到服务器的数据进行加密。这是请求参数加密的关键步骤。加密后的参数对于爬虫来说难以理解，因为它们不再是明文形式。

5、给服务器发信息（XHR-SEND）：
加密后的参数会通过XMLHttpRequest（XHR）或其他方式发送到服务器。这一步对于爬虫来说是一个挑战，因为即使能够截获请求，也难以解析加密的参数。

6、接收服务器数据：
服务器处理请求后，会返回响应数据。这些数据可能是加密的，特别是在响应数据加密的情况下。

7、调用某段JS解密响应：
浏览器接收到加密的响应数据后，会使用JavaScript中的解密函数将其解密为可读的形式。这一步对于爬虫来说同样是困难的，因为它们需要模拟执行JavaScript代码来解密数据。

8、刷新网页渲染：
最后，解密后的数据会被用来更新网页的内容或状态，用户可以看到新的信息。对于爬虫来说，如果能够成功解密数据并模拟网页的渲染过程，就能够获取到这些信息。

请求参数加密和响应数据加密的逆向思路，我专门出了两篇文章来说明，下面是文章的链接：

【学习心得】请求参数加密的原理与逆向思路http://t.csdnimg.cn/iXC8e【学习心得】响应数据加密的原理与逆向思路http://t.csdnimg.cn/Jr8oa

回顾之前的文章中，我提到的两种逆向思路的第一步都是【寻找入口，快速定位】，可见找到加解密的JS函数非常关键，但往往在逆向过程中面对众多JS文件，成千上万行JS代码时毫无头绪。因此我写这篇网络运行时间轴的目的就是给破解这两种反爬手段一个通用的思考路径。那就是深刻理解其加解密时机。

加密通常在用户触发某个事件后、发送请求之前进行。例如，在填写表单并提交时，JS代码可能会拦截表单提交事件，加密表单数据后再发送到服务器。加密的内容通常包括用户输入的数据、查询参数、API密钥等敏感信息。

于是可以通过这样的步骤来进行破解（寻找入口，快速定位的方法有很多这里介绍的步骤只起到一个抛砖引玉的作用）：

解密通常在接收到服务器响应后进行，但在将数据呈现给用户之前。例如，某小说网站的小说加密内容，就是在渲染给读者之前，通过JS代码解密成明文再呈现。响应数据加密通常涵盖服务器返回的所有数据类型，包括HTML内容、JSON数据、图片、视频等。

于是可以通过这样的步骤来进行破解（寻找入口，快速定位的方法有很多这里介绍的步骤只起到一个抛砖引玉的作用）：

这篇关于【学习心得】网站运行时间轴（爬虫逆向）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！