2021-07-14 .NET高级班 109-爬虫专题(京东商城)

于 2021-07-14 08:46:20 发布
阅读量4.4w 收藏
点赞数
分类专栏： VIP-.NET高级班
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoxi2020/article/details/118719247
版权

在这里插入图片描述

一：首先封装http请求类和日志类

public class HttpHelper
{
   
    private static Logger logger = new Logger(typeof(HttpHelper));

    /// <summary>
    /// 根据url下载内容  之前是GB2312
了解本专栏 订阅专栏 解锁全文 超级会员免费看
微软MVP Eleven
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(Web服务负载均衡)
11-06 1万+
Web服务负载均衡是一种将Web服务请求分发到多个服务器上的技术，以提高系统的可靠性、可用性和性能。具体来说，它会将用户的请求分发到不同的服务器上，每个服务器只处理一部分请求，从而减轻单一服务器的负担，避免单点故障，并提高系统的响应速度和吞吐量。Web服务负载均衡可以实现多种算法，如轮询、加权轮询、随机、最少连接等。其中，轮询算法是最简单的一种，它将请求依次分发给每个服务器，直至所有服务器都获得请求。加权轮询算法则是在轮询的基础上，为每个服务器设置不同的权重，以更加合理地分配请求。
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(RabbitMQ消息队列)
11-04 394
消息队列是一种应用程序间异步通信的方式。它通过一个存放消息的队列来解耦发送者和接收者的关系。发送者将消息直接发送到队列中，而接收者则从队列中取出消息进行处理。消息队列可以用于解决高并发、异步处理、流量削峰等问题。RabbitMQ是一款开源的消息队列软件，它实现了AMQP（高级消息队列协议）标准，被广泛应用于分布式系统中。RabbitMQ可以通过安装在不同的机器上并通过网络连接来连接不同的应用程序，实现应用程序间的消息传递。
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(Redis缓存)
11-02 252
Redis是一个高性能的开源键值对存储系统，可以用作数据库、缓存、消息中间件等多种用途。Redis支持多种数据结构，包括字符串、哈希表、列表、集合和有序集合，可以对这些数据结构进行快速的读写操作。Redis还提供了一些高级特性，如事务、发布/订阅、Lua脚本等。Redis的作用和应用场景包括：缓存：Redis可以作为缓存来加速读取频繁的数据，在访问数据库之前将数据存储在Redis中，从而加快数据的响应速度。
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(http请求)
11-01 161
HTTP请求是一个客户端向服务器发送请求的过程，用于获取或提交网络资源。它是基于TCP/IP协议完成的，包含了请求行、请求头、请求体等内容。HTTP请求通常由客户端发起，服务器对请求进行响应。在HTTP请求中，请求行描述了请求的类型、URL、版本等信息；请求头包含了一些请求的元数据，如Host、User-Agent等；请求体则是提交给服务器的数据。常见的HTTP请求类型包括GET、POST、PUT、DELETE等。常见的HTTP请求头包括Content-Type、Accept、Authorization等。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(图片的裁剪、缩放、与加水印)
10-30 246
PIL：Python Imaging Library，Python 中处理图片的标准库，提供了丰富的图片处理功能。OpenCV：一个流行的开源计算机视觉库，支持各种图像处理和计算机视觉任务。ImageMagick：一款功能强大的图像处理工具，可用于从命令行处理图片，支持各种常见的格式，包括JPEG、PNG和GIF等。GraphicsMagick：一个类似于ImageMagick的图像处理工具，具有更高的性能和更低的内存使用量。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(分布式唯一Id)
10-29 203
分布式唯一ID（Distributed Unique ID，简称DUID）是指在分布式系统中，为了避免ID冲突而使用的一种ID生成方式。在分布式系统中，多个节点同时生成ID，如果采用单机自增序列的方式，容易造成ID重复的问题。为了解决这个问题，产生了DUID的概念。常见的DUID生成方式有：UUID：通用唯一识别码，是一种由网络软件使用的标准，用于标识信息的唯一性。UUID是根据时间戳、硬件设备等多个因素生成的，因此非常难以重复。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(数据库读写分离)
10-25 278
数据库读写分离是指将数据库的读操作和写操作分别放置到不同的服务器上进行处理。读操作通常比较频繁，而且不需要对数据进行修改，因此可以通过增加读服务器的数量来提高系统的读取性能。而写操作相对较少，但是需要对数据进行修改，因此只需要在主服务器上进行处理即可。数据库读写分离的主要优点有：提高读取性能：通过增加读取服务器的数量，可以提高系统的读取性能，从而更好地满足用户的需求。减轻主服务器负担：将读操作放置到从服务器上进行处理，可以减轻主服务器的负担，从而提高系统的稳定性和可靠性。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(数据库负载均衡)
10-25 170
数据库负载均衡指的是将数据库的请求分配到多个数据库服务器上，并通过一系列算法和策略来确保各个服务器的负载相对平衡。这样可以有效避免单个数据库服务器的过载，提高数据库的整体稳定性和性能。负载均衡器通常会监控服务器的负载情况以及数据库响应时间，根据不同的负载情况来动态调整请求的分配策略。常见的负载均衡算法包括轮询、随机、最少连接等。本文主要介绍DeveloperSharp的使用，DeveloperSharp是一个研发中大型项目必备的系统平台，也是一个低代码平台。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(高效分页)
10-21 157
数据库分页是指将大量数据按照一定的规则分成若干页，每页只显示固定数量的数据，以方便用户浏览和管理数据。常见的规则是按照数据的主键或排序字段进行分页，通过控制每页的数据量和当前显示的页码，用户可以在整个数据集中浏览到所需的数据。数据库分页通常用于网站、移动应用程序等数据密集型应用中，以提高用户体验和系统性能。数据库分页的瓶颈主要有以下几个方面：数据库查询性能：分页操作需要进行 LIMIT 和 OFFSET 的查询操作，当数据量较大时，查询效率会显著降低，因此需要优化查询语句或使用索引提高查询效率。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(数据库访问技术)
10-20 2万+
数据库访问技术是指访问和操作数据库的方法和技术。数据库访问技术主要有以下几种：SQL：SQL（Structured Query Language）是一种专门用于管理关系型数据库的语言，它可以用来进行数据的增删改查，以及对数据库表、视图等进行创建、修改和删除等操作。JDBC：JDBC（Java Database Connectivity）是一种用于在Java应用程序中访问数据库的API。它提供了一系列的接口和类，可以通过Java代码连接和操作各种数据库。
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 099-智能停车场项目专题（登录功能实现）
10-10 384
智能停车场是一种利用先进的技术和管理手段，实现停车场智能化管理、车位智能导航、停车费用自动结算以及车辆监控等功能的停车场。该项目主要是为了解决城市停车难、车位紧张等问题，并提高停车场的利用效率和管理水平，从而方便市民的停车需求，缓解城市交通拥堵，优化城市交通环境。智能停车场项目的意义主要表现在：缓解城市停车难、车位紧张的问题，方便市民的停车需求；提高停车场的管理水平和利用效率，实现自动化管理和车位智能导航，减少人工管理和停车时间；减少城市交通拥堵，优化城市交通环境，提高城市的交通运行效率和安全性；促进智能交
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 098-智能停车场项目专题（框架搭建）
10-09 328
智能停车场是一种利用先进的技术和管理手段，实现停车场智能化管理、车位智能导航、停车费用自动结算以及车辆监控等功能的停车场。该项目主要是为了解决城市停车难、车位紧张等问题，并提高停车场的利用效率和管理水平，从而方便市民的停车需求，缓解城市交通拥堵，优化城市交通环境。智能停车场项目的意义主要表现在：缓解城市停车难、车位紧张的问题，方便市民的停车需求；提高停车场的管理水平和利用效率，实现自动化管理和车位智能导航，减少人工管理和停车时间；减少城市交通拥堵，优化城市交通环境，提高城市的交通运行效率和安全性；
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 097-智能停车场项目专题（项目介绍）
10-08 247
智能停车场是一种利用先进的技术和管理手段，实现停车场智能化管理、车位智能导航、停车费用自动结算以及车辆监控等功能的停车场。该项目主要是为了解决城市停车难、车位紧张等问题，并提高停车场的利用效率和管理水平，从而方便市民的停车需求，缓解城市交通拥堵，优化城市交通环境。智能停车场项目的意义主要表现在：缓解城市停车难、车位紧张的问题，方便市民的停车需求；提高停车场的管理水平和利用效率，实现自动化管理和车位智能导航，减少人工管理和停车时间；减少城市交通拥堵，优化城市交通环境，提高城市的交通运行效率和安全性；
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 096-WebApi（minimalApi、AOP、鉴权）
10-07 307
Web API是一种使用HTTP协议，向外部客户端（如浏览器、移动应用、桌面应用等）提供服务的技术，是一种RESTful（Representational State Transfer）架构的Web服务。Web API使用基于标准HTTP的协议，如HTTP请求、HTTP响应、HTTP状态代码、HTTP头和HTTP方法等，来处理请求和返回响应数据。Web API通常用于构建具有动态内容的Web应用程序或Web服务，例如基于客户端-服务器架构的移动应用程序、Web端的单页应用程序和其他类型的Web服务等。
博客
【朝夕教育】2023年09月 WPF+上位机+工业互联 095-分布式服务（WebService、WCF、WebApi）
10-06 254
C# 中的分布式服务包括：.NET Remoting：使用 .NET Remoting，您可以以面向对象的方式通信，使应用程序的各个部分能够在本地或通过网络相互通信。Windows Communication Foundation (WCF)：WCF 是一个基于 SOAP 协议的分布式服务平台，可以用于创建分布式应用程序。ASP.NET Web API：它提供了一种将 Web 服务与现有 Web 应用程序和浏览器应用程序集成的方式，并可用于构建 RESTful Web 服务。Azure Service Fa
博客
【朝夕教育】2023年09月 WPF+上位机+工业互联 094-多线程的基本使用
10-06 202
多线程是一种程序设计模式，它允许单个程序同时执行多个任务。在多线程编程中，程序被分成不同的线程，每个线程都是独立运行的，并且可以同时执行不同的任务。相比于单线程程序，在多线程程序中，可以更高效地利用计算机的资源，提高程序的执行速度和响应能力。多线程常用于并发编程、网络编程、图形界面编程等领域。
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 093-Redis的基本使用
10-04 198
编程缓存工具主要有以下几种：内存缓存：内存缓存是将数据暂时存储在内存中，以提高应用程序的性能和响应时间。内存缓存通常涉及使用不同大小和类型的缓存区域，以缓存和重用数据。内存缓存的优点是快速、可靠、易于实现和管理。常用的内存缓存工具有Memcached、Redis等。硬盘缓存：硬盘缓存是将数据存储在磁盘上，以便在需要时更快地访问它们。硬盘缓存通常会在磁盘上创建一个缓存文件或目录，以保存已缓存的数据。硬盘缓存的优点是可以存储大量数据，而且可以长期保留数据。常用的硬盘缓存工具有文件系统缓存、数据库缓存等。数据库缓
博客
【朝夕教育】2023年09月 WPF+上位机+工业互联 092-Cache的基本使用
10-03 162
编程缓存工具主要有以下几种：内存缓存：内存缓存是将数据暂时存储在内存中，以提高应用程序的性能和响应时间。内存缓存通常涉及使用不同大小和类型的缓存区域，以缓存和重用数据。内存缓存的优点是快速、可靠、易于实现和管理。常用的内存缓存工具有Memcached、Redis等。硬盘缓存：硬盘缓存是将数据存储在磁盘上，以便在需要时更快地访问它们。硬盘缓存通常会在磁盘上创建一个缓存文件或目录，以保存已缓存的数据。硬盘缓存的优点是可以存储大量数据，而且可以长期保留数据。常用的硬盘缓存工具有文件系统缓存、数据库缓存等。
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 091-EntityFrameworkCore的基本使用
10-02 211
数据库操作是指对数据库进行各种操作的行为，如增加、删除、修改、查询等。编程语言需要进行数据库操作，是因为数据库是一种存储和管理数据的方法，可以方便地存储和访问大量数据，因此在各种应用场景下，需要使用数据库来存储和管理数据，以提高数据存储和访问的效率和准确性。编程语言通过使用数据库操作的相关语句和接口，可以对数据库进行各种操作，从而实现对数据的存储和访问。
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 090-ADO.NET的基本使用
10-01 203
数据库操作是指对数据库进行各种操作的行为，如增加、删除、修改、查询等。编程语言需要进行数据库操作，是因为数据库是一种存储和管理数据的方法，可以方便地存储和访问大量数据，因此在各种应用场景下，需要使用数据库来存储和管理数据，以提高数据存储和访问的效率和准确性。编程语言通过使用数据库操作的相关语句和接口，可以对数据库进行各种操作，从而实现对数据的存储和访问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值