.NET 爬虫从入门到入狱

2024-04-19 06:52
文章标签 入门 爬虫 net 入狱

本文主要是介绍.NET 爬虫从入门到入狱,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

前言

1.💡使用HttpClient爬取数据

2.🚀模拟User-Agent

3.🤵使用HTML解析库

3.👌前端Price显示

4.🌱运行实例 获取金价Au

5.🧾使用正则表达式解析

6.💫获取BTC价格

 7.✨获取CSDN热点

8.🎃 获取编程语言排行榜

9.🖥️获取小破站热门

10.⭐获取某音热门 


前言

爬虫可以用于外汇,期货,基金,货币,比分,电商,文章等信息的采集。通过数据分析,竞品分析,为商业决策提供数据支持。

金价暴涨,抓取下今日的金价。

1.💡使用HttpClient爬取数据

try
{// 创建HttpClient实例using (var httpClient = new HttpClient()){//模拟User-AgenthttpClient.DefaultRequestHeaders.Add("User-Agent", GetUserAgent());// 发送GET请求并获取响应 xxx.com是某网站的页面~(保护)var response = await httpClient.GetAsync("https://xxx.com");response.EnsureSuccessStatusCode();var htmlContent = await response.Content.ReadAsStringAsync();}
}
catch (HttpRequestException ex)
{// 处理请求异常ViewBag.Error = "Failed to retrieve price data: " + ex.Message;
}

2.🚀模拟User-Agent

  // 生成随机 User-Agentprivate string GetUserAgent(){string[] userAgents = new string[]{"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36",// };Random random = new Random();int index = random.Next(userAgents.Length);return userAgents[index];}

3.🤵使用HTML解析库

(HtmlAgilityPack)提取价格

  // 使用HtmlAgilityPack解析HTMLvar htmlDocument = new HtmlDocument();htmlDocument.LoadHtml(htmlContent);// 使用XPath表达式选择指定的<tr>元素var trElement = htmlDocument.DocumentNode.SelectSingleNode("//tr[contains(@class, 'border_ea') and contains(@class, 'noTop_border')]");if (trElement != null){// 获取包含价格的<td>元素var priceCell = trElement.SelectSingleNode(".//td[@align='center'][2]");if (priceCell != null){// 提取价格string price = priceCell.InnerText.Trim();// 将价格传递给视图ViewBag.Price = price;}else{ViewBag.Error = "Price cell not found in table row.";}}else{ViewBag.Error = "Table row not found.";}

也可以用正则表达式提取

3.👌前端Price显示

    <h1>Au99.99 Price: @ViewBag.Price</h1><h2>@ViewBag.Error</h2>

4.🌱运行实例 获取金价Au

也可以通过修改规则取实时Pt的价格

      // 使用XPath表达式选择指定的<tr>元素var trElements = htmlDocument.DocumentNode.SelectNodes("//tr[contains(@class, 'border_ea') and contains(@class, 'noTop_border ')]");if (trElements != null){foreach (var trElement in trElements){// 获取包含产品名称和价格的<td>元素var tdElements = trElement.SelectNodes("./td");if (tdElements != null && tdElements.Count >= 5){// 获取产品名称、最新价、最高价、最低价和今开盘价格string productName = tdElements[0].InnerText.Trim();string latestPrice = tdElements[1].InnerText.Trim();string highestPrice = tdElements[2].InnerText.Trim();string lowestPrice = tdElements[3].InnerText.Trim();string openingPrice = tdElements[4].InnerText.Trim();// 检查产品名称是否为Au99.99或Pt99.95if (productName == "Au99.99"){// 将Au99.99价格信息传递给视图ViewBag.AuLatestPrice = latestPrice;ViewBag.AuHighestPrice = highestPrice;ViewBag.AuLowestPrice = lowestPrice;ViewBag.AuOpeningPrice = openingPrice;}else if (productName == "Pt99.95"){// 将Pt99.95价格信息传递给视图ViewBag.PtLatestPrice = latestPrice;ViewBag.PtHighestPrice = highestPrice;ViewBag.PtLowestPrice = lowestPrice;ViewBag.PtOpeningPrice = openingPrice;}}}}

结果如下:

5.🧾使用正则表达式解析

通过httpClient请求

     public async Task<ActionResult> Index(){// 获取当前时间的时间戳long timestamp = DateTimeOffset.Now.ToUnixTimeMilliseconds();// 构建URLstring url = $"http://www.xxx.cn/xx.js?t={timestamp}";// 创建HttpClient实例using (var httpClient = new HttpClient()){// 设置 User-AgenthttpClient.DefaultRequestHeaders.Add("User-Agent", GetUserAgent());try{// 发送GET请求var response = await httpClient.GetAsync(url);response.EnsureSuccessStatusCode();// 读取返回的数据var responseData = await response.Content.ReadAsStringAsync();// 解析返回的数据var price = ParseGoldPrice(responseData);// 将价格传递给视图ViewBag.Price = price;}catch (HttpRequestException ex){// 处理请求异常ViewBag.Error = "Failed to retrieve gold price data.";}}// 返回视图return View();}

处理返回价格 

通过正则表达式匹配数据

  private decimal ParseGoldPrice(string responseData){string price = "";decimal price2 = 0;string data = responseData;// // 匹配价格的正则表达式string pattern = @"var hq_str_gds_AUTD=""([^""]+)"";";// 使用正则表达式匹配数据Match match = Regex.Match(data, pattern);if (match.Success){// 获取匹配到的价格数据string priceData = match.Groups[1].Value;// 使用逗号分割数据,取第一个元素作为价格string[] priceParts = priceData.Split(',');price = priceParts[0];// 将字符串价格转换为decimal类型price2 = decimal.Parse(price);// 输出提取到的价格Console.WriteLine("Gold Price: " + price2);}else{Console.WriteLine("Price not found in data.");}// decimal price = decimal.Parse(priceString);return price2;}

6.💫获取BTC价格

Headers模拟cookie获取BTC价格

 httpClient.DefaultRequestHeaders.Add("User-Agent", GetUserAgent());httpClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7");httpClient.DefaultRequestHeaders.Add("Accept-Language", "zh-CN,zh;q=0.9");httpClient.DefaultRequestHeaders.Add("Cache-Control", "max-age=0");
//cookiehttpClient.DefaultRequestHeaders.Add("Cookie", "__51uvsct__3ExGyQaAoNSqsSUY=1; __51vcke__3ExGyQaAoNSqsSUY=c91184d5-8826-5ea8-8ddc-a0f3b85c9470; __51vuft__3ExGyQaAoNSqsSUY=1713248151570; PHPSESSID=a6ff05p79bbf3ot4ohphein0e1; Hm_lvt_1605442054faab140873b7c14e40c707=1713248152; Hm_lvt_4820535acfded9186d46b7ae0c829918=1713248152; __vtins__3ExGyQaAoNSqsSUY=%7B%22sid%22%3A%20%22757fcc49-fe4e-5985-bc10-5a0f6ef6d6ba%22%2C%20%22vd%22%3A%206%2C%20%22stt%22%3A%201175754%2C%20%22dr%22%3A%20271898%2C%20%22expires%22%3A%201713251127320%2C%20%22ct%22%3A%201713249327320%7D; Hm_lpvt_1605442054faab140873b7c14e40c707=1713249327; Hm_lpvt_4820535acfded9186d46b7ae0c829918=1713249328");httpClient.DefaultRequestHeaders.Add("Sec-Ch-Ua", "\"Google Chrome\";v=\"123\", \"Not:A-Brand\";v=\"8\", \"Chromium\";v=\"123\"");httpClient.DefaultRequestHeaders.Add("Sec-Ch-Ua-Mobile", "?0");httpClient.DefaultRequestHeaders.Add("Sec-Ch-Ua-Platform", "\"Windows\"");httpClient.DefaultRequestHeaders.Add("Sec-Fetch-Dest", "document");httpClient.DefaultRequestHeaders.Add("Sec-Fetch-Mode", "navigate");httpClient.DefaultRequestHeaders.Add("Sec-Fetch-Site", "none");httpClient.DefaultRequestHeaders.Add("Sec-Fetch-User", "?1");httpClient.DefaultRequestHeaders.Add("Upgrade-Insecure-Requests", "1");
//匹配var currencyElement = htmlDocument.DocumentNode.SelectSingleNode("//div[@id='hr_app_cid_1']");if (currencyElement != null){// 查找包含人民币价格的元素var priceElement = currencyElement.SelectSingleNode(".//div[@class='virtual overflow']");if (priceElement != null){// 提取人民币价格var chinesePrice = priceElement.InnerText.Trim();}}

美元价格也是类似的规则,运行结果

 7.✨获取CSDN热点

模拟请求,修改规则

  var httpClient = new HttpClient();var referer = "xxx";httpClient.DefaultRequestHeaders.Add("referer", referer);httpClient.DefaultRequestHeaders.Add("User-Agent", GetUserAgent());var response = await httpClient.GetAsync("xxx/");response.EnsureSuccessStatusCode();var responseBody = await response.Content.ReadAsStringAsync();var contentList = new List<Tuple<string, string, string>>();var htmlDocument = new HtmlDocument();htmlDocument.LoadHtml(responseBody);//  var itemNodes = htmlDocument.DocumentNode.SelectNodes("//div[contains(@class, 'headswiper-item')]");var items = htmlDocument.DocumentNode.SelectNodes("//div[@class='headswiper-item']");if (items != null){foreach (var item in items){var titleNode = item.SelectSingleNode(".//a[@class='title']");var nameNode = item.SelectSingleNode(".//p[@class='name']");var linkNode = item.SelectSingleNode(".//a[@class='title']");if (titleNode != null && nameNode != null && linkNode != null){var title = titleNode.InnerText.Trim();var name = nameNode.InnerText.Trim();var link = linkNode.GetAttributeValue("href", "");contentList.Add(new Tuple<string, string, string>(title, name, link));}}}return View(contentList);

or 使用正则

// 使用正则表达式匹配所有符合条件的 div 元素内容var regex = new Regex(@"<div class=""headswiper-item""(.*?)</div>", RegexOptions.Singleline);var matches = regex.Matches(responseBody);foreach (Match match in matches){//去除Vuehtmlstring s1temp = match.Groups[1].Value.Trim();int i1 = s1temp.IndexOf(">")+1;int i2  = s1temp.Length - i1 - 1;string  hotstr = s1temp.Substring(i1, i2);contentList.Add(hotstr);}

运行结果

8.🎃 获取编程语言排行榜

            var response = await httpClient.GetAsync("xxx");response.EnsureSuccessStatusCode();var htmlContent = await response.Content.ReadAsStringAsync();var htmlDocument = new HtmlDocument();htmlDocument.LoadHtml(htmlContent);// 获取表格内容var table = htmlDocument.DocumentNode.SelectSingleNode("//table[@class='w-min min-w-full table-fixed divide-y-2 divide-gray-200 text-sm dark:divide-gray-700']");ViewBag.TableContent = table?.OuterHtml; 

9.🖥️获取小破站热门

 var httpClient = new HttpClient();var referer = "https://xxx";httpClient.DefaultRequestHeaders.Add("Referer", referer);httpClient.DefaultRequestHeaders.Add("User-Agent", GetUserAgent());var response = await httpClient.GetAsync("https://xxx");response.EnsureSuccessStatusCode();var responseBody = await response.Content.ReadAsStringAsync();var jsonRes = Newtonsoft.Json.JsonConvert.DeserializeObject<dynamic>(responseBody);var tempArr = new List<MItem>();int itid = 1;foreach (var itemj in jsonRes.data.list){string tt = itemj.keyword.ToString();//  string hot = itemj.hot_value.ToString();tempArr.Add(new MItem{Index = itid++,Title = tt,Hot = "",Url = "https://search.bilibili.com/all?keyword=" + tt+ "&order=click",MobileUrl = "https://search.bilibili.com/all?keyword=" + tt+ "&order=click"});}var md = new MData{Success = true,Title = "小破站",Subtitle = "热搜榜",UpdateTime = DateTime.Now.ToString("yyyy-MM-dd hh:mm:ss"),Data = tempArr};
  public class MData{public bool Success { get; set; }public string Title { get; set; }public string Subtitle { get; set; }public string UpdateTime { get; set; }public List<MItem> Data { get; set; }}
 public class MItem{public int Index { get; set; }public string Title { get; set; }public string Hot { get; set; }public string Url { get; set; }public string MobileUrl { get; set; }}

10.⭐获取某音热门 

  var httpClient = new HttpClient();var referer = "xxx";httpClient.DefaultRequestHeaders.Add("referer", referer);httpClient.DefaultRequestHeaders.Add("User-Agent", GetUserAgent());var response = await httpClient.GetAsync("xxx");response.EnsureSuccessStatusCode();var responseBody = await response.Content.ReadAsStringAsync();var jsonRes = Newtonsoft.Json.JsonConvert.DeserializeObject<dynamic>(responseBody);var tempArr = new List<MItem>();int itid = 1;foreach (var itemj in jsonRes.word_list){string tt = itemj.word.ToString();string hot  =itemj.hot_value.ToString();tempArr.Add(new MItem{Index = itid++,Title = tt,Hot = hot,Url = "https://www.douyin.com/search/" + tt,MobileUrl = "https://www.douyin.com/search/" + tt}); }var douyinData = new MData{Success = true,Title = "某音",Subtitle = "热搜榜",UpdateTime = DateTime.Now.ToString("yyyy-MM-dd hh:mm:ss"),Data = tempArr};

注意:如果目标有IP限制、Cookie、签名等,则需编写相应的对策 。

此外,还可以通过WinFrom WebBowser控件实现加载完DOM再匹配信息实现爬取效果。

这里只做抛砖引玉,后续是否入狱自行探索,请勿使用此技术做违法的事情!!!💀 

在使用爬虫技术时,必须遵守相关法律法规,尊重网站经营者的权益,避免对网站或系统造成干扰或破坏。同时,对于涉及公民个人信息的爬虫行为,应格外谨慎,确保不侵犯他人的隐私权。

END

这篇关于.NET 爬虫从入门到入狱的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/916841

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

数论入门整理(updating)

一、gcd lcm 基础中的基础,一般用来处理计算第一步什么的,分数化简之类。 LL gcd(LL a, LL b) { return b ? gcd(b, a % b) : a; } <pre name="code" class="cpp">LL lcm(LL a, LL b){LL c = gcd(a, b);return a / c * b;} 例题:

Java 创建图形用户界面(GUI)入门指南(Swing库 JFrame 类)概述

概述 基本概念 Java Swing 的架构 Java Swing 是一个为 Java 设计的 GUI 工具包,是 JAVA 基础类的一部分,基于 Java AWT 构建,提供了一系列轻量级、可定制的图形用户界面(GUI)组件。 与 AWT 相比,Swing 提供了许多比 AWT 更好的屏幕显示元素,更加灵活和可定制,具有更好的跨平台性能。 组件和容器 Java Swing 提供了许多

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站,手机流量可以访问IPV6网络的服务,为什么不在电脑搭建Home Assistant(hass),来控制你的设备呢?@智能家居 @万物互联

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时,发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null,再判断Count。 看了一下Count的源码如下: 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get

2、PF-Net点云补全

2、PF-Net 点云补全 PF-Net论文链接:PF-Net PF-Net (Point Fractal Network for 3D Point Cloud Completion)是一种专门为三维点云补全设计的深度学习模型。点云补全实际上和图片补全是一个逻辑,都是采用GAN模型的思想来进行补全,在图片补全中,将部分像素点删除并且标记,然后卷积特征提取预测、判别器判别,来训练模型,生成的像

poj 2104 and hdu 2665 划分树模板入门题

题意: 给一个数组n(1e5)个数,给一个范围(fr, to, k),求这个范围中第k大的数。 解析: 划分树入门。 bing神的模板。 坑爹的地方是把-l 看成了-1........ 一直re。 代码: poj 2104: #include <iostream>#include <cstdio>#include <cstdlib>#include <al

MySQL-CRUD入门1

文章目录 认识配置文件client节点mysql节点mysqld节点 数据的添加(Create)添加一行数据添加多行数据两种添加数据的效率对比 数据的查询(Retrieve)全列查询指定列查询查询中带有表达式关于字面量关于as重命名 临时表引入distinct去重order by 排序关于NULL 认识配置文件 在我们的MySQL服务安装好了之后, 会有一个配置文件, 也就

Python3 BeautifulSoup爬虫 POJ自动提交

POJ 提交代码采用Base64加密方式 import http.cookiejarimport loggingimport urllib.parseimport urllib.requestimport base64from bs4 import BeautifulSoupfrom submitcode import SubmitCodeclass SubmitPoj():de