2009年06月9日

Linux下Wget创建镜像站点

用过Linux的应该都知道wget这个命令,这个命令常常用来下载文件,wget还有许多参数,可以完成很多的任务,如今天说的创建镜像站点。

此方法能将所有文件(网页、图片、CSS、音/视频等)都下载下来,并把网页中的链接改为相对链接,这样就避免了镜像中的链接仍旧指向原来的网站而不能正常地显示。

只需要输入:wget -mk -w 20 http://www.example.com/ 命令就行了。

命令行中-w 20代表间隔20秒下载一个文件,这样可以避免网站的访问过于频繁。-m 是镜像

同时也可以使用其他的一些参数:-c 是继续传送 , -p 是下载媒体文件,比如图片, -q 是安静模式, -b 是后台运行

一些其他常用的wget用法:

wget -i filename.txt

此命令常用于批量下载,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

如果你想发掘其中更多的功能的话,建议你去看wget的手册(man wget),在那里你会找到更多的选项,例如随机延迟,设置用户代理,发送cookie到网站上等等。

  • » 阅读全文...
  • 2009年06月4日

    中国网站维护日

    Bing.com、Twitter.com、Live.com、Flickr.com, 以及Hotmail.com集体被封后,昨日又有部分国内网站因“技术维护”关闭,如:饭否、VeryCD、豆瓣、贴吧等。。。

    附:中国互联网网站集体维护名单(2009.6.3起)

    饭否“技术维护”:

    fanfoudown

    VeryCD “技术维护”:

    verycd

    豆瓣:

    douban

    贴吧的高校吧也在系统维护:

    tieba

    校内部分功能:

    xiaonei

    附:中国互联网网站集体维护名单(2009.6.3起)

  • » 阅读全文...
  • 2009年06月3日

    Bing.com、Twitter.com、Live.com、Flickr.com, 以及Hotmail.com集体被封

    Bing.com 仅上线一天,就别中国伟大的GFW给封掉了,同时被封的还有Twitter.com,Flickr.com还有两个微软的Live.com,Hotmail.com,这次微软真的“必应”了。

    此次事件并非微软服务器故障,影响的微软服务有: 必应 Bing, Hotmail, Spaces, SkyDrive 等所属于以上三个域名的在线服务,并且 Mail 客户端无法接收 Hotmail 邮件,注意,Windows Live Messenger 是可正常登录的。不过好在微软其他的大部分在线服务是通过 https://login.live.com 登录的,而躲过此难。

    所有的封锁都是针对域名的关键字,普通代理都上不去的。玩Twitter的目前只好暂时通过HelloTXT来更新Twitter了。

    可能被封的原因是因为 Bing 视频搜索功能,太强大了,把××视频都给搜出来,GFW怒了。

  • » 阅读全文...