深入学习C#网络编程之HTTP应用编程(下)
作者:一线码农 发布时间:2023-03-16 12:06:37
第三篇来的好晚啊,上一篇说了如何向服务器推送信息,这一篇我们看看如何"快好准"的从服务器下拉信息。
网络上有很多大资源文件,比如供人下载的zip包,电影(你懂的),那么我们如何快速的进行下载,大家第一反应肯定就是多线程下载,
那么这些东西是如何做的呢?首先我们可以从“QQ的中转站里面拉一个rar下来“。
然后用fiddler监视一下,我们会发现一个有趣的现象:
第一:7.62*1024*1024≈7990914 千真万确是此文件
第二:我明明是一个http链接,tmd的怎么变成n多个了?有意思。
好,我们继续往下看,看看这些链接都做了些什么?
最终,我们发现http协议中有一个Conent—Range字段,能够把我们的文件总大小进行切分,然后并行下载,最后再进行合并,大概我们知道了什么原理,那么,我们强大的C#类库提供了AddRange来获取Http中资源的指定范围。
既然进行了切分,那么首先一定要知道文件的ContentLength是多少,如果对http协议比较熟悉的话,当发送一个头信息过去,服务器返回的头信息中会包含很多东西,此时我们就知道要下载资源的大概情况,这个就有点“兵马未动,粮草先行“的感觉。
var request = (HttpWebRequest)HttpWebRequest.Create(url);
request.Method = "Head";
request.Timeout = 3000;
var response = (HttpWebResponse)request.GetResponse();
var code = response.StatusCode;
if (code != HttpStatusCode.OK)
{
Console.WriteLine("下载资源无效!");
return;
}
var total = response.ContentLength;
这里有个决策,到底是以下载量来决定线程数,还是以线程数来决定下载量,由于我们的下载取决于当前的网速,所以在这种场合下更好的方案是
采用后者,这几天在闪存里面两次看到苍老师,肃然起敬,所以决定在不用线程和线程的情况下,看看下载仓老师的速度如何。
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.Threading;
using System.Threading.Tasks;
using System.IO;
using System.Collections.Concurrent;
using System.Diagnostics;
using System.Drawing;
namespace ConsoleApplication1
{
public class Program
{
public static CountdownEvent cde = new CountdownEvent(0);
//每个线程下载的字节数,方便最后合并
public static ConcurrentDictionary<long, byte[]> dic = new ConcurrentDictionary<long, byte[]>();
//请求文件
public static string url = "https://www.jb51.net/";
static void Main(string[] args)
{
for (int i = 0; i < 1; i++)
{
Console.WriteLine("\n****************************\n第{0}次比较\n****************************", (i + 1));
//不用线程
//RunSingle();
//使用多线程
RunMultiTask();
}
Console.Read();
}
static void RunMultiTask()
{
Stopwatch watch = Stopwatch.StartNew();
//开5个线程
int threadCount = 5;
long start = 0;
long end = 0;
var total = GetSourceHead();
if (total == 0)
return;
var pageSize = (int)Math.Ceiling((Double)total / threadCount);
cde.Reset(threadCount);
Task[] tasks = new Task[threadCount];
for (int i = 0; i < threadCount; i++)
{
start = i * pageSize;
end = (i + 1) * pageSize - 1;
if (end > total)
end = total;
var obj = start + "|" + end;
tasks[i] = Task.Factory.StartNew(j => new DownFile().DownTaskMulti(obj), obj);
}
Task.WaitAll(tasks);
var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);
FileStream fs = new FileStream(targetFile, FileMode.Create);
var result = dic.Keys.OrderBy(i => i).ToList();
foreach (var item in result)
{
fs.Write(dic[item], 0, dic[item].Length);
}
fs.Close();
watch.Stop();
Console.WriteLine("多线程:下载耗费时间:{0}", watch.Elapsed);
}
static void RunSingle()
{
Stopwatch watch = Stopwatch.StartNew();
if (GetSourceHead() == 0)
return;
var request = (HttpWebRequest)HttpWebRequest.Create(url);
var response = (HttpWebResponse)request.GetResponse();
var stream = response.GetResponseStream();
var outStream = new MemoryStream();
var bytes = new byte[10240];
int count = 0;
while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
{
outStream.Write(bytes, 0, count);
}
var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);
FileStream fs = new FileStream(targetFile, FileMode.Create);
fs.Write(outStream.ToArray(), 0, (int)outStream.Length);
outStream.Close();
response.Close();
fs.Close();
watch.Stop();
Console.WriteLine("不用线程:下载耗费时间:{0}", watch.Elapsed);
}
//获取头信息
public static long GetSourceHead()
{
var request = (HttpWebRequest)HttpWebRequest.Create(url);
request.Method = "Head";
request.Timeout = 3000;
var response = (HttpWebResponse)request.GetResponse();
var code = response.StatusCode;
if (code != HttpStatusCode.OK)
{
Console.WriteLine("下载的资源无效!");
return 0;
}
var total = response.ContentLength;
Console.WriteLine("当前资源大小为:" + total);
response.Close();
return total;
}
}
public class DownFile
{
// 多线程下载
public void DownTaskMulti(object obj)
{
var single = obj.ToString().Split('|');
long start = Convert.ToInt64(single.FirstOrDefault());
long end = Convert.ToInt64(single.LastOrDefault());
var request = (HttpWebRequest)HttpWebRequest.Create(Program.url);
request.AddRange(start, end);
var response = (HttpWebResponse)request.GetResponse();
var stream = response.GetResponseStream();
var outStream = new MemoryStream();
var bytes = new byte[10240];
int count = 0;
while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
{
outStream.Write(bytes, 0, count);
}
outStream.Close();
response.Close();
Program.dic.TryAdd(start, outStream.ToArray());
Program.cde.Signal();
}
}
}
在下面的图中可以看出,我们的资源被分成了n段,在217.27KB的情况下,多线程加速还不是很明显,我们可以试试更大的文件,这里我就
在本地放一个133M的rar文件。
//请求文件
public static string url = http://localhost:56933/1.rar;
现在看一下效果是非常明显的。
来源:https://www.cnblogs.com/huangxincheng/archive/2012/05/20/2509715.html
猜你喜欢
- JenkinsJenkins是一个开源的、可扩展的持续集成、交付、部署的基于web界面的平台。允许持续集成和持续交付项目,无论用的是什么平台
- 有些人可能对线程池比较陌生,并且更不熟悉线程池的工作原理。所以他们在使用线程的时候,多数情况下都是new Thread来实现多线程。但是,往
- 背景在使用Spring Boot Mvc的项目中,使用Long类型作为id的类型,但是当前端使用Number类型接收Long类型数据时,由于
- 走马灯是一种常见的效果,本文讲一下如何用 PageView 在 Flutter 里实现一个走马灯, 效果如下,当前页面的高度比其它页面高,切
- 简述最近做的公司项目,图片比较多,不想给其存储到自己服务器上,就买了阿里云的OSS服务器来哦进行存储,其实集成第三方平台,一般没什么难度,当
- switch结构(开关语句)的语法switch(表达式 ){--->类型为int、char case 常量1 :---&g
- 今天给大家介绍一下SpringBoot中JPA的一些常用操作,例如:增删改查、分页、排序、事务操作等功能。下面先来介绍一下JPA中一些常用的
- ${project.basedir}的使用<project> 是 pom.xml 的根节点,project.basedir 就是
- 前言Spring框架中的BeanFactory接口和FactoryBean接口因为名称相似,老是容易搞混淆,而且也是面试过程中经常会碰到的一
- 一、连接数据库的配置单独放在一个properties文件中之前,我们是直接将数据库的连接配置信息写在了MyBatis的conf.xml文件中
- @RequestBody配合@Valid校验入参参数自定义一个Controllerimport com.example.demo.pojo.
- 定义可理解为 适配广泛的类型,即参数化类型,可以把类型像方法的参数那样进行传递。// 以ArrayList为示例// 泛型T可以是任意类pu
- 上篇并发编程之Java内存模型volatile的内存语义介绍了volatile的内存语义,本文讲述的是final的内存语义,相比之下,fin
- 这篇文章主要介绍了Spring如何在一个事务中开启另一个事务,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需
- 简介Exchanger是java 5引入的并发类,Exchanger顾名思义就是用来做交换的。这里主要是两个线程之间交换持有的对象。当Exc
- 一、项目背景在实际工作中,会遇到业务比较集中的情况,随着时间推延,这部分业务关联的mysql表就会越来越大,十分臃肿。尽管在项目架构上做了读
- 1.alibaba falstjson1.Map转JSONMap<String, Object> map = new HashM
- 定义:用于顺序访问集合对象的元素,不需要知道集合对象的底层表示。特点: 1、它支持以不同的方式遍历一个
- 最近碰到个需求,是希望在Unity有一个按钮,打开后直接跳转淘宝app,打开商品页面。百度了下没有相关的文章,于是我在此分享下。之前开发游戏
- 本文实例讲述了JAVA基于数组实现的商品信息查询功能。分享给大家供大家参考,具体如下:综合一维数组和二维数组的相关知识,以及数组排序的多种算