实战多线程下载

现在很多下载软件像迅雷，旋风等都使用了多线程下载技术。比起单线程下载多线程下载在同一时间段内发出多个下载请求，每个下载请求负责下载一段内容，充分利用了网络宽带。

因此本文就简单的通过实例来介绍怎么用多线程去下载文件。相信您看了这篇文章后也可以写个属于自己的下载软件。

首先我们需要考虑几个难题

1.如何获取远程文件的尺寸，这关系到开启多个下载线程。本代码采用比较简单的线程数决策策略。固定每个线程分担的字节数任务，根据远程文件尺寸来决定需要开启的下载线程。

2.如何实现分工下载，即每个线程只下载远程文件的一段。这是多线程下载的核心技术。

3.如何存储，组织各个线程下载得到的文件碎片，最后将其拼成一个完整的文件。

现在我们就来解决以上的难题：

首先第一个，获取远程文件的尺寸。在HTTP反馈报文的头(Header)部分有一些数据项，其中有一项便是Content-Length,表示的便是HTTP反馈报文的正文部分的字节数。我们经常以Post,Get等方式发起HTTP请求，实际上HTTP协议还支持以Head方式发出HTTP请求。具体后面代码中有说明。

第二个问题。HTTP有一个数据项：RANGE,它代表的是下载的字节范围，如0~1024代表从文件开始处下载到第1024个字节处。

第三个问题：使用随机文件存取技术。可以一边下载一边存储。当全部下载完成后，我们便得到了一个完整的文件拷贝。

具体就参考以下代码：

/**<br /> * DownloadThread.java<br /> * 版权所有(C) 2011 cuiran2001@163.com<br /> * 创建:崔冉 2011-1-17 下午02:39:41<br /> */</p> <p>package com.cayden.thread741;</p> <p>import java.io.BufferedInputStream;<br /> import java.io.File;<br /> import java.io.IOException;<br /> import java.io.RandomAccessFile;<br /> import java.net.HttpURLConnection;<br /> import java.net.URL;</p> <p>/**<br /> * @author 崔冉<br /> * @version 1.0.0<br /> * @desc<br /> */<br /> public class DownloadThread extends Thread{<br /> private String url=null;//待下载的文件<br /> private String file=null;//本地存储路径<br /> private long offset=0;//偏移量<br /> private long length=0;//分配给本线程的下载字节数</p> <p> public DownloadThread(String url,String file,long offset,long length){<br /> this.url=url;<br /> this.file=file;<br /> this.offset=offset;<br /> this.length=length;<br /> System.out.println("偏移量="+offset+";字节数="+length);<br /> }</p> <p> public void run(){<br /> try{<br /> HttpURLConnection httpURLConnection=(HttpURLConnection)new URL(this.url).openConnection();</p> <p> httpURLConnection.setRequestMethod("GET");</p> <p> httpURLConnection.setRequestProperty("RANGE", "bytes="+this.offset+"-"+(this.offset+this.length-1));</p> <p> BufferedInputStream bis=new BufferedInputStream(httpURLConnection.getInputStream());</p> <p> byte[] buff=new byte[102400];</p> <p> int bytesRead;</p> <p> while(-1!=(bytesRead=bis.read(buff,0,buff.length))){<br /> this.writeFile(this.file, this.offset, buff, bytesRead);<br /> this.offset=this.offset+bytesRead;<br /> }<br /> }catch (IOException e) {<br /> // TODO: handle exception<br /> e.printStackTrace();<br /> }<br /> }<br /> /**<br /> * 将字节数组以随机存取方式写入文件<br /> * @param fileName是被写入的文件<br /> * @param offset代表写入文件的位置偏移量<br /> * @param bytes待写入的字节数组<br /> * @param realLength实际需要写入的字节数<br /> * @throws IOException<br /> */<br /> public void writeFile(String fileName,long offset,byte[] bytes,int realLength) throws IOException{<br /> File newFile=new File(fileName);<br /> RandomAccessFile raf=new RandomAccessFile(newFile,"rw");<br /> raf.seek(offset);<br /> raf.write(bytes,0,realLength);<br /> raf.close();</p> <p> }</p> <p>}<br />

/**<br /> * DownloadManager.java<br /> * 版权所有(C) 2011 cuiran2001@163.com<br /> * 创建:崔冉 2011-1-17 下午03:53:20<br /> */</p> <p>package com.cayden.thread741;</p> <p>import java.io.File;<br /> import java.io.IOException;<br /> import java.io.RandomAccessFile;<br /> import java.net.HttpURLConnection;<br /> import java.net.URL;</p> <p>/**<br /> * @author 崔冉<br /> * @version 1.0.0<br /> * @desc<br /> */<br /> public class DownloadManager {</p> <p> static final long unitSize=500*1024;//分配给每个下载线程的字节数</p> <p> public void doDownload(String remoteFileUrl,String localFileName) throws IOException{<br /> long fileSize=this.getRemoteFileSize(remoteFileUrl);<br /> this.createFile(localFileName, fileSize);<br /> long threadCount=fileSize/unitSize;</p> <p> System.out.println("共启动线程"+(fileSize%unitSize==0?threadCount:threadCount+1)+"个");<br /> long offset=0;<br /> if(fileSize<=unitSize){//如果远程文件尺寸小于等于unitSize<br /> DownloadThread downloadThread=new DownloadThread(remoteFileUrl,localFileName,offset,unitSize);<br /> downloadThread.start();<br /> }else{<br /> //如果远程文件尺寸大于unitSize<br /> for(int i=1;i<=threadCount;i++){<br /> DownloadThread downloadThread=new DownloadThread(remoteFileUrl,localFileName,offset,unitSize);<br /> downloadThread.start();<br /> offset=offset+unitSize;<br /> }<br /> if(fileSize%unitSize!=0){//如果不能整除，则需要再创建一个线程下载剩余字节。<br /> DownloadThread downloadThread=new DownloadThread(remoteFileUrl,localFileName,offset,fileSize-unitSize*threadCount);</p> <p> downloadThread.start();<br /> }<br /> }</p> <p> }<br /> /**<br /> * 获取远程文件尺寸<br /> * @param remoteFileUrl<br /> * @return<br /> * @throws IOException<br /> */<br /> private long getRemoteFileSize(String remoteFileUrl) throws IOException{<br /> long result=0;<br /> HttpURLConnection httpURLConnection=(HttpURLConnection)new URL(remoteFileUrl).openConnection();</p> <p> httpURLConnection.setRequestMethod("HEAD");</p> <p> for(int i=1;i<=10;i++){<br /> if(httpURLConnection.getHeaderFieldKey(i).equalsIgnoreCase("Content-Length"))<br /> {<br /> result=Long.parseLong(httpURLConnection.getHeaderField(i));<br /> break;<br /> }<br /> }<br /> return result;<br /> }<br /> /**<br /> * 创建指定大小的文件<br /> * @param fileName<br /> * @param fileSize<br /> * @throws IOException<br /> */<br /> private void createFile(String fileName,long fileSize) throws IOException{<br /> File newFile=new File(fileName);<br /> RandomAccessFile raf=new RandomAccessFile(newFile,"rw");<br /> raf.setLength(fileSize);<br /> raf.close();<br /> }<br /> /**<br /> * @param args<br /> */<br /> public static void main(String[] args) throws IOException {<br /> // TODO Auto-generated method stub<br /> // if(args.length!=2){<br /> // System.out.println("Usage java DownloadManager URL local_file_name");<br /> // return;<br /> // }<br /> DownloadManager downloadManager=new DownloadManager();<br /> String remoteFileUrl="http://blog.xbsk.com/UploadFiles/2011-1/113260191.mp3";<br /> String localFileName="C:/4.mp3";<br /> downloadManager.doDownload(remoteFileUrl, localFileName);</p> <p> }</p> <p>}<br />