python模拟登录中国海洋大学教务系统（青果）- 爬取学期所有专业课至excel - 并进行课表排课（二）

2024-03-26 18:48
文章标签 python 进行 系统 excel 登录 模拟 排课 中国 所有 爬取 教务 专业课 学期 青果 课表 海洋大学

本文主要是介绍python模拟登录中国海洋大学教务系统（青果）- 爬取学期所有专业课至excel - 并进行课表排课（二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本章内容包含python爬取中国海洋大学教务系统 2021年秋季学期 2018-2020年级所有计算机专业课 至excel。

系列文章目录

第一章 python模拟登录中国海洋大学教务系统（青果）
第二章 爬取学期所有专业课至excel
第三章 课表排课

本来只是想爬个课表，排个课，可惜不能直接爬，需要登录上教务网站，所以就有了第一篇文章。

文章目录

  • 系列文章目录
  • 前言
  • 一、将表格内容写入excel
  • 二、使用循环，爬取2018-2020级的专业课
  • 三、全部代码及运行效果
  • 四、遇到的问题
  • 总结

前言

第一篇已经实现了登录教务网站，并跳转至选课页面，同时也有了页面表格输出。

因为是转专业，每次进入都要选择目标专业，还要选目标年级，很麻烦，所以想一次性把2018级到2020级的专业课都爬下来，之后再用算法排课。

一、将表格内容写入excel

1.先观察选课页面的表格

请添加图片描述
表格中有两列”教学大纲“”教学日历“一直是空的，所以没必要爬下来

再根据上一章爬下来的内容，可以知道表格中有几列隐藏列也是空的，，所以也没必要爬

需要安装库 pip install openpyxl

Python官方库一般使用xlrd库来读取Excel文件，使用xlwt库来生成Excel文件，使用xlutils库复制和修改Excel文件，这三个库只支持到Excel2003。
第三方库openpyxl（可读写excel表），专门处理Excel2007及以上版本产生的xlsx文件，xls和xlsx之间转换容易。

该部分代码：

from openpyxl import load_workbook,Workbookdef get_data(session):
...
...table_node = soup.find_all('td')for table in table_node:if table.has_attr('style') == False:    #不是隐藏列if table.text != "教学大纲" and table.text != "教学日历":if table.has_attr('name'):    #具有属性nameif table['name'] != "jxdg" and table['name'] != "jxrl":      #不是空列sheet.cell(a,b,table.text)      #写入表格else: 				#不具有属性namesheet.cell(a,b,table.text)      #写入表格
...if __name__ == '__main__':try:wb = load_workbook('排课.xlsx')	#加载薄except:wb = Workbook()                 #新建薄sheet = wb.active	#打开簿中第一个表#sheet = wb.create_sheet()	#新建表
...wb.save('排课.xlsx')

二、使用循环，爬取2018-2020级的专业课

循环，传参sel_nj-选择的年级

主要是声明两个全局变量，控制行和列

变量只是一个普通变量，首先在函数外部进行初始化，然后在函数内部通过global关键字呼叫这个变量，就可以实现全局变量的功能了。 ——python中的全局变量(global关键字)

该部分代码：

a=1
b=1def get_data(session, sel_nj):	#选择的年级global aglobal bformdata={
...'sel_nj': sel_nj,#选择的年级2018-2020
...}
...
...for table in table_node:if table.has_attr('style') == False:    #不是隐藏列if table.text != "教学大纲" and table.text != "教学日历":if table.has_attr('name'):    #具有属性nameif table['name'] != "jxdg" and table['name'] != "jxrl":      #不是空列sheet.cell(a,b,table.text)      #写入表格b=b+1	#列加一if table['name'] == "bz":   #该换行了 b=1	#第一列a=a+1	#行加一else:						#不具有属性namesheet.cell(a,b,table.text)      #写入表格b=b+1if table.text == "备注":   #该换行了 b=1a=a+1...
def logon():
...for i in range(2018,2021):get_data(session,i)
...

三、全部代码及运行效果

import requests
from aip import AipOcr
import base64
from hashlib import md5
import json
import re
from bs4 import BeautifulSoup
from time import time#创建新薄 新表
from openpyxl import load_workbook,Workbooka=1
b=1
headers = {'Host': 'jwgl.ouc.edu.cn','Origin': 'http://jwgl.ouc.edu.cn','Referer': 'http://jwgl.ouc.edu.cn/cas/login.action','User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36','X-Requested-With': 'XMLHttpRequest','Upgrade-Insecure-Requests': '1',
}#data和headers一样，并没有传全部的项
data = {'randnumber': 'gqzd'
}
#百度智能云-文字识别
def randnumber_ocr(image):APP_ID = ''  # 在百度官网的应用列表中查看APP_IDAPI_KEY = ''  # 在百度官网的应用列表中查看API_KEYSECRET_KEY = ''  # 在百度官网的应用列表中查看SECRET_KEYclient = AipOcr(APP_ID, API_KEY, SECRET_KEY)text = client.basicAccurate(image)if text['words_result_num'] == 1:return text['words_result'][0]['words'].strip()else:return ''def get_data(session, sel_nj):global aglobal burl = 'http://jwgl.ouc.edu.cn/taglib/DataTable.jsp?tableId=6146'
#这个data包含了所有项，但有些其实的非必须的formdata={'initQry': '0','xktype': '2',#选课类型'xh': '',#你的学号'xn': '2021',#学年'xq': '1',#学期-夏0-秋1-春2'nj': '',#你的年级'zydm': '',#你的专业代码'items': '','xnxq': '2021-1',#学年-学期'kcfw': 'Specialty',#课程范围'sel_nj': sel_nj,#选择的年级2018-2020'sel_zydm': '0011',#选择的专业代码'sel_schoolarea': '','sel_cddwdm': '','sel_kc': '','kcmc': ''}
#这个headers必须包含Refererheaders['Referer'] = 'http://jwgl.ouc.edu.cn/student/wsxk.kcbcx.html?menucode=JW130414'
#使用sessionr = session.post(url,data=formdata, headers=headers)soup = BeautifulSoup(r.text, 'html.parser')table_node = soup.find_all('td')for table in table_node:if table.has_attr('style') == False:    #不是隐藏列if table.text != "教学大纲" and table.text != "教学日历":if table.has_attr('name'):    #具有属性nameif table['name'] != "jxdg" and table['name'] != "jxrl":      #不是空列sheet.cell(a,b,table.text)      #写入表格b=b+1if table['name'] == "bz":   #该换行了 b == 15:#23b=1a=a+1else:sheet.cell(a,b,table.text)      #写入表格b=b+1if table.text == "备注":   #该换行了 b == 15:#23b=1a=a+1session.close()def logon():start = time()url = 'http://jwgl.ouc.edu.cn/cas/logon.action'username = ''  # 输入你的用户名，也就是学号password = ''  # 输入你的密码session = requests.Session()#百度智能云-文字识别-获取验证码    randnumber = ''while len(randnumber) != 4:r = session.get('http://jwgl.ouc.edu.cn/cas/genValidateCode', headers=headers)      randnumber = randnumber_ocr(r.content).replace(' ','')#去除空格#构造data-信息加密        password = md5(password.encode('utf-8')).hexdigest()randnumber_s = md5(randnumber.lower().encode('utf-8')).hexdigest()password = md5((password + randnumber_s).encode('utf-8')).hexdigest()
#sessionid是会话的id，一般是存放在cookie中_sessionid = session.cookies.get_dict()['JSESSIONID']username = base64.b64encode(username.encode('utf-8') + b';;' + str(_sessionid).encode('utf-8'))
#randnumber会在之前通过百度智能云文字识别获得data['randnumber'] = randnumberp_username = '_u' + randnumberp_password = '_p' + randnumberdata[p_username] = usernamedata[p_password] = password
#post    r = session.post(url, data=data, headers=headers)
#response    info = json.loads(r.text)status = info['status']if status == '401':print('验证码错误')returnelif status == '200':passelse:print(info['message'])returnprint('登录成功')for i in range(2018,2021):get_data(session,i)end = time()print('总共用时' + str(end - start))if __name__ == '__main__':try:wb = load_workbook('排课.xlsx')	#加载薄except:wb = Workbook()                 #新建薄sheet = wb.active	#打开簿中第一个表#sheet = wb['biaoge_name']	#打开薄中 名字为biaoge_name的表#sheet = wb.create_sheet()	#新建表logon()wb.save('排课.xlsx')

在这里插入图片描述

四、遇到的问题

TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

没连 VPN

    wb= load_workbook('排课.xlsx')#加载薄
NameError: name 'load_workbook' is not defined

要 from openpyxl import load_workbook

    wb.creat_sheet('xinbiao2')
AttributeError: 'Workbook' object has no attribute 'creat_sheet'

create_sheet 拼写错误

	sheet.cell(a,b,table.text)
ValueError: Row or column values must be at least 1

cell 的行和列都要从1开始

KeyError: 'name'

这种 KeyError 错误一般都是因为没有这个东西，
以本程序为例，有些table含有name属性，有些不含，如果不加判断的去写就会报错

只能是 tag.text 和 tag[‘id’]、tag[‘name’]
这个不太确定，看别人有用 tag.id/name
但本程序是 tag.id/name = None

总结

1.全局变量，首先在函数外部进行初始化，然后在函数内部通过global关键字呼叫这个变量。
·a=1·
·def func:·
········global a·

2.python没有a++
·a=a+1·

3.进行解析后，Tag是否具有某种属性
·if table.has_attr('name'): #具有属性name·

4.筛选具有某种属性的Tag
关于python：测试BeautifulSoup中的标签中是否存在属性
·script_tags = soup.find_all('script', some_attribute=True)·

·script_tags = soup.find_all('script', {"some-data-attribute": True})·

5.为什么要from … import …
python中为什么大佬都爱用from import
因为导入包名其实是无法直接使用包内的子包和模块的

6.openpyxl
python之openpyxl模块

openpyxl中有三个不同层次的类Workbook是对工作簿的抽象Worksheet是对表格的抽象Cell是对单元格的抽象每一个类都包含了许多属性和方法
Excel基本操作打开或者创建一个Excel，需要创建一个Workbook对象使用Workbook对象的方法来得到一个Worksheet对象得到Worksheet对象以后再从中获取代表单元格的Cell对象

常用：

·wb = load_workbook('排课.xlsx') #加载薄·

·wb = Workbook() #新建薄·

·sheet = wb.active #打开簿中第一个表·

·sheet = wb['biaoge_name'] #打开薄中 名字为biaoge_name的表·

·sheet = wb.create_sheet() #新建表·

·sheet.cell(行,列,内容) #修改单元格内容·

·wb.save('排课.xlsx') #保存薄·

收获多多 \OoO/

码字不易，感谢点赞评论收藏关注~

这篇关于python模拟登录中国海洋大学教务系统（青果）- 爬取学期所有专业课至excel - 并进行课表排课（二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/849508。

相关文章

Security OAuth2 单点登录流程

Security OAuth2 单点登录流程

单点登录（英语：Single sign-on，缩写为 SSO），又译为单一签入，一种对于许多相互关连，但是又是各自独立的软件系统，提供访问控制的属性。当拥有这项属性时，当用户登录时，就可以获取所有系统的访问权限，不用对每个单一系统都逐一登录。这项功能通常是以轻型目录访问协议（LDAP）来实现，在服务器上会将用户信息存储到LDAP数据库中。相同的，单一注销（single sign-off）就是指
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
跨国公司撤出在华研发中心的启示：中国IT产业的挑战与机遇

跨国公司撤出在华研发中心的启示：中国IT产业的挑战与机遇

近日，IBM中国宣布撤出在华的两大研发中心，这一决定在IT行业引发了广泛的讨论和关注。跨国公司在华研发中心的撤出，不仅对众多IT从业者的职业发展带来了直接的冲击，也引发了人们对全球化背景下中国IT产业竞争力和未来发展方向的深思。面对这一突如其来的变化，我们应如何看待跨国公司的决策？中国IT人才又该如何应对？中国IT产业将何去何从？本文将围绕这些问题展开探讨。 跨国公司撤出的背景与
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2