curl

通过curl直接访问sina网站 curl http://www.sina.com.cn 你也可以把sina保存期来 curl http://www.sina.com > sina 或 curl -o sina http://www.sina.com.cn 同时可以通过代理来访问网页 curl -x 10.54.38.18:8080 -o sina.html http://www.sina.com.cn 可以把cookies存放到一个文件里 curl -x 10.54.38.18:8080 -o sina.html -D cookie002.txt http://www.sina.com.cn 5) 下一次访问的时候,如何继续使用上次留下的cookie信息呢?要知道,很多网站都是靠监视你的cookie信息, 来判断你是不是不按规矩访问他们的网站的。 这次我们使用这个option来把上次的cookie信息追加到http request里面去: -b curl -x 10.54.38.18:8080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.sina.com.cn 6)有些讨厌的网站总要我们使用某些特定的浏览器去访问他们,有时候更过分的是,还要使用某些特定的版本~~~~ 哪里有时间为了它去找这些怪异的浏览器呢!? 好在curl给我们提供了一个有用的option,可以让我们随意指定自己这次访问所宣称的自己的浏览器信息: -A curl -A “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)” -x 10.54.38.18:8080 -o sina.html -D cookie0001.txt http://www.sina.com.cn 7) 另外一个服务器端常用的限制方法,就是检查http访问的referer。比如你先访问首页,再访问里面所指定的下载页,这第二次访问的referer地址就是第一次访问成功后的页面地址。这样,服务器端只要发现对下载页面某次访问的referer地址不 是首页的地址,就可以断定那是个盗连了~~~~~ 讨厌讨厌~~~我就是要盗连~~~~~!! 幸好curl给我们提供了设定referer的option: -e curl -A “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)” -x 10.54.38.18:8080 -e “www.sina.com.cn” -o page.html -D cookie0001.txt http://login.sina.com.cn ...

2010-03-25 · 1 min · 116 words · kevin