建筑行业 - 招投标和招聘信息查询可视化系统（基于企业级低代码平台，Python语言和Mysql数据库联动实现）

一 系统介绍

本系统根据管理员配置的关键字，自动定时获取目标网站的数据，存储到数据库，并自动发信息到邮箱，供用户作为信息分析的数据基础。

目标用户：

1. 企业销售人员挖掘市场信息；
2. 人力资源分析挖掘；
3. 行业竞争对手招聘信息分析等。

演示网址："  http://www.itgcs.tech:2001/招投标和招聘信息查询 "

操作人员账号：test  密码：123456

管理员账号密码：暂不开放。

二 系统模块

2.1 招投标管理

2.1.1 最新公告

2.1.2 公告站点

略

2.1.3 关键字管理

2.1.4 中标查询

2.1.5 系统信息

略

2.2 甲方招聘管理

2.2.1 企业管理

略

2.2.2 关键字管理

2.2.3 招聘信息

略

2.3 乙方招聘管理

2.3.1 企业管理

略

2.3.2 招聘信息

2.3.3 职位数量

三 系统使用的关键技术

3.1 系统界面开发

基于活字格企业级低代码开发平台，开发小白也能快速上手

活字格低代码平台价值

• 可视化设计，会 Excel 就能开发 Web 应用

  活字格设计器提供类 Excel 的可视化设计界面，只要你会使用 Excel，就能轻松上手，最大限度降低学习成本。

• 可灵活定制，实现各类企业应用，并易于维护

  活字格 Web 应用生成平台高度灵活，提供了强大的定制能力，任何数据表、按钮、颜色、位置、流程等均可由用户自定制，因此，用户可根据企业个性化需求快速创建各种 Web 系统，如生产管理、进销存、项目信息管理、车辆设备管理、人事考勤管理、出差管理、会议室预定等。

• 页面轻松美化，呈现专业级应用

 活字格内置多样的布局、丰富的主题样式、大量的图标、背景图片等，使用者轻松点选即可生成统一美观的页面效果。

• 企业信息化一步跨入移动互联时代

  基于活字格的信息系统是纯 Web 架构，用户可随时随地通过多种终端访问；同时，活字格也提供移动 APP 和微信公众号集成，帮助企业一步跨入移动互联时代。

深度集成，助力行业软件二次开发

ERP、OA等行业软件在实施和使用过程中，难免会遇到与企业个性化需求不符的情况，亟需对其进行二次开发以适配企业需求。传统的纯代码二次开发，需要开发者具备较强的软件开发技能，门槛高，效率低。

借助活字格低代码开发平台，行业软件交付团队或企业用户无需编码，即可根据企业的个性化需求快速开发出行业软件中不具备的功能，然后利用活字格的单点登录等系统集成功能，通过简单配置就能与行业软件实现对接。此时，最终用户在ERP等行业软件中直接访问用活字格开发出的Web应用，无需重复登录，甚至完全感觉不到活字格的存在。与传统的二次开发相比，使用活字格做二次开发门槛更低，更省时省力。

开放的平台，强大的扩展性和系统集成能力

• 开放的插件机制

• 支持 JavaScript 编程

3.2 系统功能 - 关键代码

3.2.1 Python Selenium 获取数据关键代码

driver = util.get_browser() #没有防爬的，就不要用代理random.shuffle(new_keywords)  # 使用前打乱一下顺序，防止页面卡在某个关键字，后续的就不再爬取for key in new_keywords:# 指定加载页面driver.get(row[0])print("等待10秒页面加载完毕")wait = WebDriverWait(driver, 10)time.sleep(10)  # 等待5秒，担心刷新太快，被封repeat_count = 0# 最多翻3页for i in range(3):if repeat_count >= 2:  # 有两条记录重复，则该关键字放弃，不再搜索breakprint("开始输入：" + key)input = driver.find_element(By.ID, 'search-text')driver.execute_script("arguments[0].value = '';", input)input.send_keys(key)input.send_keys(webdriver.Keys.RETURN)wait = WebDriverWait(driver, 5)time.sleep(5)#仅搜标题radiobutton = driver.find_element(By.NAME, 'radiobutton')driver.execute_script("arguments[0].click();", radiobutton)time.sleep(5)datatr_elements = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.XPATH, '//*[@class="datatr"]')))print("获取到%d条数据" % len(datatr_elements))for datatr in datatr_elements:if repeat_count >= 2:breakspan_element = datatr.find_element(By.XPATH, './td[2]/a/span')print(span_element.text)  # 打印标签内容a_href = span_element.find_element(By.XPATH, '..')print(a_href.get_attribute("href"))write_return = db.write_最新公告(span_element.text, a_href.get_attribute("href"), row[1])if write_return == common.ret_repeat:repeat_count = repeat_count + 1

3.2.2 IP 代理及优化策略 

有的网站会防爬禁用IP，需要不断更换新的IP。IP代理采用的 https://ip.huashengdaili.com/，是收费服务。

def get_proxy():try:# 代理服务器信息url = "https://mobile.huashengdaili.com/servers.php?session=U18f9c9d00825174137--fa112b2c2794b6b205323af548be5919&time=10&count=1&type=text&only=1&pw=no&protocol=http&ip_type=tunnel&format=city,time&dev=web"response = requests.get(url)if response.status_code == 200:if is_valid_ip_port(response.text):print(f"新的代理:{response.text}")return "http://" + response.textelse:print("请求发生错误：", response.text)return ""else:return ""except requests.RequestException as err:# 捕获requests库抛出的所有异常print("请求发生错误：", err)return ""except Exception as err:# 捕获其他可能的异常print("发生未知错误：", err)return ""

参考我的另一篇文章：5分钟上手IP代理服务_代理ip 每个5分钟 如何编写代码-CSDN博客

3.3 Mysql关系型数据库

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;-- ----------------------------
-- Table structure for 表_招聘管理_企业管理
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_企业管理`;
CREATE TABLE `表_招聘管理_企业管理`  (`ID` bigint NOT NULL AUTO_INCREMENT,`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`BOSS直聘` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`智联招聘` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`是否启用` tinyint(1) NULL DEFAULT 0,`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_CreateDate` datetime NULL DEFAULT NULL,`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_LastModifyDate` datetime NULL DEFAULT NULL,`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,PRIMARY KEY (`ID`) USING BTREE,UNIQUE INDEX `ID`(`ID` ASC) USING BTREE,UNIQUE INDEX `企业名称`(`企业名称` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 101 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;-- ----------------------------
-- Table structure for 表_招聘管理_招聘信息
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_招聘信息`;
CREATE TABLE `表_招聘管理_招聘信息`  (`ID` bigint NOT NULL AUTO_INCREMENT,`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`招聘职位` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`区域` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`工作地址` varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`薪资` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`入库时间` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_CreateDate` datetime NULL DEFAULT NULL,`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_LastModifyDate` datetime NULL DEFAULT NULL,`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,PRIMARY KEY (`ID`) USING BTREE,UNIQUE INDEX `ID`(`ID` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 457 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;-- ----------------------------
-- Table structure for 表_招聘管理_职位数量
-- ----------------------------
DROP TABLE IF EXISTS `表_招聘管理_职位数量`;
CREATE TABLE `表_招聘管理_职位数量`  (`ID` bigint NOT NULL AUTO_INCREMENT,`企业名称` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`职位数量` bigint NULL DEFAULT NULL,`日期` datetime NULL DEFAULT NULL,`企业ID` bigint NULL DEFAULT NULL,`FGC_Creator` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_CreateDate` datetime NULL DEFAULT NULL,`FGC_LastModifier` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,`FGC_LastModifyDate` datetime NULL DEFAULT NULL,`FGC_Rowversion` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),`FGC_UpdateHelp` varchar(190) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL,PRIMARY KEY (`ID`) USING BTREE,INDEX `企业ID_index`(`企业ID` ASC) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 61 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;

四  后记

本次分享结束，欢迎讨论！QQ微信同号： 6550523