你好,游客 登录 注册 搜索
背景:
阅读新闻

Linux下的下载程序

[日期:2006-10-27] 来源:  作者: [字体: ]
      有许多网络文件下载工具可以在Windows平台下很好地工作,如NetAnts、“网际快车”、TelePro等,还有像WebZip那样功能强大的离线浏览器。这些工具使我们可以在Windows环境下很轻松地下载网站上的文件、目录、网站的一部分,甚至整个网站。然而在Linux环境下,这类工具却很少。笔者通过自己的摸索,在集成开发环境KDevelop 1.2下实现了一个网站下载程序,它支持文件级的“多线程下载”和“断点续传”。下面本文分3部分介绍实现这一程序的基本技术。 
基本原理 
1.超级链接寻径算法 
要想灵活地下载一个网站的全部或部分内容,程序就必需具备从用户指定的URL开始,沿着它所包含的超级链接遍历整个网站的能力。在这个基础上根据用户的限制,筛选出所要下载的文件。 
从“图论”的角度分析,网站其实是一个由文件和超级链接组成的“连通有向图”。文件是图中的顶点,超级链接是有向边。我们需要对这个有向图进行“广度优先遍历”。为此,需要用一个队列URLQueue来存放待访问的目标。初始情况下,队列中只含有用户指定的那个URL。程序从队头取得下载目标的URL,如果它符合用户的限制,就下载它指向的文件。分析此文件,找出其中包括的超级链接,生成新的下载目标的URL,然后将它们插入到队列尾部。重复以上过程,直到队列中没有符合用户限制的URL为止。 
由于网站是一个“连通有向图”,所以沿着超级链接,很可能回到已经访问过的文件。为了避免程序出现死循环,要登记已经访问过的目标。在分析下载文件的超级链接时,我们要将生成的新目标的URL与已经访问过的进行比较,剔除会造成重复访问的URL。为了提高查询速度,我们采用了“哈希表”来存放从队头取出的URL。“哈希函数”可以采用将URL中的字符作为整型值相加,然后模一个质数的简单方法来实现。在本文介绍的程序中使用了质数103。 
2.多线程下载和断点续传 
多线程下载和断点续传使用了同一个技术。HTTP协议允许客户端在向服务器端发送下载一个文件的GET请求时,使用“Range: bytes=a1-a2"选项,要求服务器只传送指定文件中从第a1个字节到a2个字节之间的部分内容。因此下载一个文件时,可以将其分成若干段,然后启动多个线程,同时与服务器建立链接,分别传送一个文件的多个部分。最后在本地将其拼接成一个完整的文件。由于从网上下载文件时,瓶颈是在服务器端和网络传输过程中,所以采用多线程同时下载将大大提高下载速度。 
当文件传输因出现问题而中断时,程序可以将各个线程当前下载的进度和已经下载的内容当做“断点信息”保存到文件中。用户下一次下载同一目标时,程序可以根据文件中保留的断点信息下载上次未完成的部分,然后将整个文件拼接起来,完成下载工作。这种技术对于在经常“掉线”的情况下下载大文件非常有利。因此,在当前流行的下载软件中都采用了此项技术。 
linux
相关资讯      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款