使用脚本编写 HTTP 查询的更有效方法

2024-09-03 14:20

本文主要是介绍使用脚本编写 HTTP 查询的更有效方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

编写 HTTP 查询脚本时,效率和可维护性是两个关键因素。以下是一些建议,帮助你编写更有效的 HTTP 查询脚本:

在这里插入图片描述

问题背景

通常情况下,我想自动完成 HTTP 查询。我目前使用 Java(和 commons http 客户端),但可能更喜欢基于脚本的方法。我希望找到一种非常快速简便的方法,我可以设置一个头部,转到一个页面,而不必担心设置整个 OO 生命周期,设置每个头部,调用 HTML 解析器…。我正在寻找任何语言的解决方案,最好是脚本语言。

解决方案

1. Python 中的 Mechanize

Mechanize for Python 似乎很容易使用:http://wwwsearch.sourceforge.net/mechanize/

2. Selenium

看看 Selenium。如果需要自定义脚本,它可以生成 C#、Java、Perl、PHP、Python 和 Ruby 的代码。

3. Watir

Watir 听起来很接近你想要的东西,尽管它(就像另一个答案中链接的 Selenium 一样)实际上打开了一个浏览器来做事情。你可以在此处看到一些示例。另一种基于浏览器记录 + 回放的方法系统是 sahi。如果您的应用程序使用 WSGI,那么 paste 是一个不错的选择。另一个答案中链接的 Mechanize 是一个“浏览器中的库”,并且在 perl、Ruby 和 Python 中有克隆。Perl 是最初版本,如果您不想要浏览器,这似乎是解决方案。这种方法的问题在于,所有前端代码(可能依赖 JavaScript)都不会被执行。

4.wget 或带 lwp 的 perl

您可以找到链接页面上的示例。

5.LWP::Simple 和 HTML::TreeBuilder

如果您有简单的需求(获取页面然后解析它),很难击败 LWP::Simple 和 HTML::TreeBuilder。以下是一个 Perl 示例:

use strict;
use warnings;use LWP::Simple;
use HTML::TreeBuilder;my $url = 'http://www.example.com';
my $content = get( $url) or die "Couldn't get $url";my $t = HTML::TreeBuilder->new_from_content( $content );
$t->eof;
$t->elementify;# Get first match:
my $thing = $t->look_down( _tag => 'p', id => qr/match_this_regex/ );print $thing ? $thing->as_text : "No match found\n";# Get all matches:
my @things = $t->look_down( _tag => 'p', id => qr/match_this_regex/ );print $_ ? $_->as_text : "No match found" for @things;

6. ReST Client

我目前正在测试 ReST API,发现 ReST 客户端非常不错。它是一个 GUI 程序,但您仍然可以将查询保存并还原为 XML 文件(或让它们生成)、嵌入、编写测试脚本等。并且它是基于 Java 的(这不是临时优势,但您提到了它)。录制会话的缺点。ReST 客户端适用于无状态的“一次性”操作。
如果它不适合您的需求,我会选择已经提到的 Mechanize(或 WWW-Mechanize,正如它在 CPAN 中被调用)。

7. bash + curl

具体取决于您要做什么,最简单的解决方案似乎是 bash + curl。后者的手册页可在此处获得:
http://curl.haxx.se/docs/manpage.html
您可以进行发布和获取、HTTPS、显示标头、使用 cookie、基本和摘要 HTTP 身份验证、通过各种代理隧道,包括 *nix 上的 NTLM 等。
curl 还可用作带有 C 和 PHP 支持的共享库。
希望对你有帮助
C.

8. Python urllib

Python urllib 可能正是您要找的。或者,powershell 在脚本环境中公开了完整的 .NET http 库。

9. Twill

Twill 非常出色,专为测试而设计。它可以用作脚本、在交互式会话中或在 Python 程序中。

10. Perl 和 WWW::Mechanize

Perl 和 WWW::Mechanize 可以让网络抓取等变得简单容易,包括轻松处理表单(假设您想转到登录页面,填写用户名和密码并提交表单,处理 cookie / 隐藏的会话标识符就像浏览器一样…)。
同样,从获取的页面中查找或提取链接非常简单。
如果您需要从 WWW::Mechanize 无法轻松帮助解析的内容中解析出东西,那么将结果馈送到 HTML::TreeBuilder 以简化解析。

最后我要说的是,编写有效的 HTTP 查询脚本需要选择合适的工具和技术,如使用会话对象、处理异常、实现异步请求和重试机制等。同时,优化参数和头部的管理、使用缓存、环境变量和日志记录等方法可以提高脚本的性能和可维护性。

这篇关于使用脚本编写 HTTP 查询的更有效方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133199

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

浅谈主机加固,六种有效的主机加固方法

在数字化时代,数据的价值不言而喻,但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露,企业的数据安全面临着前所未有的挑战。为了应对这些挑战,一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案,采用先进的安全容器中间件技术,构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限,即使在管理员权限被恶意利用的情况下,也能确保服务器的安全稳定运行。 普适主机加固措施: