本文主要是介绍建筑行业 - 招投标和招聘信息查询可视化系统(基于企业级低代码平台,Python语言和Mysql数据库联动实现),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一 系统介绍
本系统根据管理员配置的关键字,自动定时获取目标网站的数据,存储到数据库,并自动发信息到邮箱,供用户作为信息分析的数据基础。
目标用户:
- 企业销售人员挖掘市场信息;
- 人力资源分析挖掘;
- 行业竞争对手招聘信息分析等。
演示网址:" http://www.itgcs.tech:2001/招投标和招聘信息查询 "
操作人员账号:test 密码:123456
管理员账号密码:暂不开放。
二 系统模块
2.1 招投标管理
2.1.1 最新公告
2.1.2 公告站点
略
2.1.3 关键字管理
2.1.4 中标查询
2.1.5 系统信息
略
2.2 甲方招聘管理
2.2.1 企业管理
略
2.2.2 关键字管理
2.2.3 招聘信息
略
2.3 乙方招聘管理
2.3.1 企业管理
略
2.3.2 招聘信息
2.3.3 职位数量
三 系统使用的关键技术
3.1 系统界面开发
基于活字格企业级低代码开发平台,开发小白也能快速上手
活字格低代码平台价值
-
可视化设计,会 Excel 就能开发 Web 应用
活字格设计器提供类 Excel 的可视化设计界面,只要你会使用 Excel,就能轻松上手,最大限度降低学习成本。
-
可灵活定制,实现各类企业应用,并易于维护
活字格 Web 应用生成平台高度灵活,提供了强大的定制能力,任何数据表、按钮、颜色、位置、流程等均可由用户自定制,因此,用户可根据企业个性化需求快速创建各种 Web 系统,如生产管理、进销存、项目信息管理、车辆设备管理、人事考勤管理、出差管理、会议室预定等。
-
页面轻松美化,呈现专业级应用
活字格内置多样的布局、丰富的主题样式、大量的图标、背景图片等,使用者轻松点选即可生成统一美观的页面效果。
-
企业信息化一步跨入移动互联时代
基于活字格的信息系统是纯 Web 架构,用户可随时随地通过多种终端访问;同时,活字格也提供移动 APP 和微信公众号集成,帮助企业一步跨入移动互联时代。
深度集成,助力行业软件二次开发
ERP、OA等行业软件在实施和使用过程中,难免会遇到与企业个性化需求不符的情况,亟需对其进行二次开发以适配企业需求。传统的纯代码二次开发,需要开发者具备较强的软件开发技能,门槛高,效率低。
借助活字格低代码开发平台,行业软件交付团队或企业用户无需编码,即可根据企业的个性化需求快速开发出行业软件中不具备的功能,然后利用活字格的单点登录等系统集成功能,通过简单配置就能与行业软件实现对接。此时,最终用户在ERP等行业软件中直接访问用活字格开发出的Web应用,无需重复登录,甚至完全感觉不到活字格的存在。与传统的二次开发相比,使用活字格做二次开发门槛更低,更省时省力。
开放的平台,强大的扩展性和系统集成能力
-
开放的插件机制
-
支持 JavaScript 编程
3.2 系统功能 - 关键代码
3.2.1 Python Selenium 获取数据关键代码
driver = util.get_browser() #没有防爬的,就不要用代理random.shuffle(new_keywords) # 使用前打乱一下顺序,防止页面卡在某个关键字,后续的就不再爬取for key in new_keywords:# 指定加载页面driver.get(row[0])print("等待10秒页面加载完毕")wait = WebDriverWait(driver, 10)time.sleep(10) # 等待5秒,担心刷新太快,被封repeat_count = 0# 最多翻3页for i in range(3):if repeat_count >= 2: # 有两条记录重复,则该关键字放弃,不再搜索breakprint("开始输入:" + key)input = driver.find_element(By.ID, 'search-text')driver.execute_script("arguments[0].value = '';", input)input.send_keys(key)input.send_keys(webdriver.Keys.RETURN)wait = WebDriverWait(driver, 5)time.sleep(5)#仅搜标题radiobutton = driver.find_element(By.NAME, 'radiobutton')driver.execute_script("arguments[0].click();", radiobutton)time.sleep(5)datatr_elements = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.XPATH, '//*[@class="datatr"]')))print("获取到%d条数据" % len(datatr_elements))for datatr in datatr_elements:if repeat_count >= 2:breakspan_element = datatr.find_element(By.XPATH, './td[2]/a/span')print(span_element.text) # 打印标签内容a_href = span_element.find_element(By.XPATH, '..')print(a_href.get_attribute("href"))write_return = db.write_最新公告(span_element.text, a_href.get_attribute("href"), row[1])if write_return == common.ret_repeat:repeat_count = repeat_count + 1
3.2.2 IP 代理及优化策略
有的网站会防爬禁用IP,需要不断更换新的IP。IP代理采用的 https://ip.huashengdaili.com/,是收费服务。
def get_proxy():try:# 代理服务器信息url = "https://mobile.huashengdaili.com/servers.php?session=U18f9c9d00825174137--fa112b2c2794b6b205323af548be5919&time=10&count=1&type=text&only=1&pw=no&protocol=http&ip_type=tunnel&format=city,time&dev=web"response = requests.get(url)if response.status_code == 200:if is_valid_ip_port(response.text):print(f"新的代理:{response.text}")return "http://" + response.textelse:print("请求发生错误:", response.text)return ""else:return ""except requests.RequestException as err:# 捕获requests库抛出的所有异常print("请求发生错误:", err)return ""except Exception as err:# 捕获其他可能的异常print("发生未知错误:", err)return ""
参考我的另一篇文章:5分钟上手IP代理服务_代理ip 每个5分钟 如何编写代码-CSDN博客
3.3 Mysql关系型数据库
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;-- ----------------------------
-- Table structure for 表_招聘管理_企业管理
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_企业管理`;
CREATE TABLE `表_招聘管理_企业管理` (`ID` bigint NOT NULL AUTO_INCREMENT,`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`BOSS直聘` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`智联招聘` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`是否启用` tinyint(1) NULL DEFAULT 0,`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_CreateDate` datetime NULL DEFAULT NULL,`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_LastModifyDate` datetime NULL DEFAULT NULL,`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,PRIMARY KEY (`ID`) USING BTREE,UNIQUE INDEX `ID`(`ID` ASC) USING BTREE,UNIQUE INDEX `企业名称`(`企业名称` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 101 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;-- ----------------------------
-- Table structure for 表_招聘管理_招聘信息
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_招聘信息`;
CREATE TABLE `表_招聘管理_招聘信息` (`ID` bigint NOT NULL AUTO_INCREMENT,`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`招聘职位` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`区域` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`工作地址` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`薪资` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`入库时间` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_CreateDate` datetime NULL DEFAULT NULL,`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_LastModifyDate` datetime NULL DEFAULT NULL,`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,PRIMARY KEY (`ID`) USING BTREE,UNIQUE INDEX `ID`(`ID` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 457 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;-- ----------------------------
-- Table structure for 表_招聘管理_职位数量
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_职位数量`;
CREATE TABLE `表_招聘管理_职位数量` (`ID` bigint NOT NULL AUTO_INCREMENT,`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`职位数量` bigint NULL DEFAULT NULL,`日期` datetime NULL DEFAULT NULL,`企业ID` bigint NULL DEFAULT NULL,`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_CreateDate` datetime NULL DEFAULT NULL,`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_LastModifyDate` datetime NULL DEFAULT NULL,`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,PRIMARY KEY (`ID`) USING BTREE,INDEX `企业ID_index`(`企业ID` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 61 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;
四 后记
本次分享结束,欢迎讨论!QQ微信同号: 6550523
这篇关于建筑行业 - 招投标和招聘信息查询可视化系统(基于企业级低代码平台,Python语言和Mysql数据库联动实现)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!