剑谱专题
爬虫剑谱第一页（网课笔记）
什么是爬虫？ 通过编写程序，模拟用户进行网页浏览，获取网页数据。 爬虫可以用来干什么？ 抓取互联网上的数据，如新闻聚合阅读器、不同区域间的价格差价、美女（正能量）图片、编程技术大全等等。 其次，在当下大数据时代的大背景下，爬虫工程师也会拥有较大的发展空间，爬虫技术的应用也会也来越广泛。 总的来说，爬虫在实际应用和就业方面都有不俗的表现以及需求。 网课链接：2020年Pytho
爬虫剑谱第三页（网课笔记）
什么是http和https协议？ http协议： 超文本传输协议，一种发布和接收HTML页面的方法。服务器端口号是80端口 HTTPS协议： 是http协议的加密版本，在http下加入了ssl层。服务器端口号是443端口 （ssl层：SSL(Secure Socket Layer 安全套接层)是基于HTTPS下的一个协议加密层） 在浏览器中发送一个
mysql 剑法_MyBatis辟邪剑谱
一 MyBatis简介 MyBatis是一个优秀的持久层框架 它对JDBC操作数据库的过程进行封装 开发者只需要关注SQL本身 而不需要花费精力去处理JDBC繁杂的过程代码 MyBatis将要执行的各种Statement配置起来 并通过Java对象和Statement中的SQL进行映射生成最终执行的SQL语句 最后由MyBatis执行SQL并将结果映射成Java对象返回 二 MyBatis优缺点
爬虫剑谱第八页（爬取糗图百科图片）
效果图： 首先准备第三库： import requestsimport reimport os request：用于请求网页获取数据 re：正则表达式 os：操作文件 创建一个文件夹： # 创建一个文件夹，用于保存爬取的图片if not os.path.exists('./糗图百科'):os.mkdir('./糗图百科') 设置url以及和heade
阿里巴巴1月新作：“Java辟邪剑谱”，看完必让你直呼厉害
阿里能够有今天的成就，很大程度上取决于阿里技术部的人才积累和卓越的创造力。要知道一个程序员新人，进入阿里之后成长速度是非常快的，因为阿里内容的很多技术专家会根据自己多年的开发经验产出一些培训资料。 市面上的阿里内部培训资料少之又少，而且都是零零散散的。前端时间阿里内部一个P7员工对2021年下半年阿里的培训资料做了一个整合，总结出了这套《Java辟邪剑谱》 整份手册分为了七个篇章，分别是：高并
剑谱总纲 | 大数据方向学习面试知识图谱
关注我的公众号，后台回复【JAVAPDF】获取200页面试题！5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？ 欢迎您关注《大数据成神之路》 愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。 一切技术最终只是雕虫小技。 大纲 本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基
爬虫剑谱第四页（网课笔记）
前期准备： requests第三方库 headers请求头user-agent requests模块： Python原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 安装流程： pip install requests 镜像： 使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple 例如： pip inst
爬虫剑谱第二页（网课笔记）
爬虫究竟合法还是违法？ 在法律中是不被禁止的 具有违法的风险 爬虫带来的风险分为以下两个方面: 爬虫干扰了被访问网址的正常运营爬虫抓取了收到法律保护的特定数据或者流量 如何在使用编写爬虫的过程中避免进入“局子”的情况？ 时常优化自己的程序，避免干扰被访问网站的正常运行在使用时，传播爬取到的数据时，审查爬取的内容，如果发现了商业机密等敏感内容需要及时停止爬取或传播
爬虫剑谱第六页（爬取百度翻译）
首先打开百度翻译，进行翻译 可以看到每次搜索的单词不同，搜索结果也就不同，其中页面中显示结果的部分，也会随着结果的变化而变化，这种页面局部变化的技术称为AJax。（一会需要用到） 打开开发者选项（F12或点击鼠标左键选择检查），进入Network选择我们要捕获的数据包 因为是数据是通过Ajax技术显示的，所以我们需要选择Ajax对应的数据请求包，也就是XHR 进入以后，我们
ctfshow-web-红包题 辟邪剑谱
0x00 前言 CTF 加解密合集CTF Web合集网络安全知识库溯源相关 文中工具皆可关注 皓月当空w 公众号 发送关键字 工具 获取 0x01 题目 0x02 Write Up 这道题主要是考察mysql查询绕过的问题。 首先访问后看到是一个登录页面，测试注册等无果 扫描目录，发现www.zip，下载看一下： 发现这里注册接口处，user防护了，但是password没
从u盘引导进入linux6,制作CentOS7.6 U盘系统并从U盘安装CentOS7.6 无双剑谱教程
0.准备工作: A.一台没系统的服务器 B.u盘一个(大于8G，最小安装的话不超过1G，根据选择系统大小匹配U盘即可) C.CentOS7.6 iso文件一个(官网下载或者从163下载 http://mirrors.163.com/centos/7.6.1810/isos/x86_64/) D.UltraISO工具(http://www.onlinedown.net/soft/614.htm)
爬虫剑谱第九页（关于爬取好看视频链接返回空列表的问题＜已解决＞）
爬虫思路： 在网站首页通过开发者选项选中视频详情页的链接，进入后需要再次进行网页解析并获取视频链接，将最终的视频链接网页进行二进制转码，下载到本地进行永久化保存 遇到的问题： 在进入视频详情页后，通过Xpath获取视频链接的时候一直返回的是空列表，无论是通过在headers中添加Cookie还是Referer，又或者是在requests.get()中添加代理I