特定のURLがいっぱいあるときに、まとめて、チェックしたい
ruby でurl つくって、open-uri/mechanizeなどで処理するのすら煩わしい。昔書いたブロク記事から使えそうな物をピックアップ
bashで連番作る
for n in {1..100}; do printf "http://example.com/%03d.jpg\n" $n ;done;
特定のHTTPヘッダを出力
curl -I -s -o /dev/null http://example.com/100.jpg -w "%{http_code}"
合わせて戦う。
たとえば、404 を無視し、200 だけをダウンロード
for n in {1..620}; do URL=$(printf "http://example.com/%03d.jpg" $n ); # printf "$URL : " ret=$( curl -I -s -o /dev/null $URL -w "%{http_code}" ) if [ $ret = 200 ] ; then curl -O $URL; fi done;
一括ダウンロードは、まぁマナー違反かもしれないけどね。
404 ページを調べるのは役に立と思うわ.curl 便利。
