抓取豆瓣top250电影剧照

引用了shell多线程的方法，每次下载五个剧照并命名。

#/bin/bash

# 设置并发的进程数
thread_num=5


a=$(date +%H%M%S)




# mkfifo
tempfifo="my_temp_fifo"
mkfifo ${tempfifo}
# 使文件描述符为非阻塞式
exec 6<>${tempfifo}
rm -f ${tempfifo}


# 为文件描述符创建占位信息


for ((i=1;i<=${thread_num};i++))
do
{
    echo
}
done >&6


echo "==========================="
for i in `seq 0 25 249`;do
   movename=`curl https://movie.douban.com/top250?start=$i |grep '<img width="100"'|awk -F '"' '{print $4}'|sed s/[[:space:]]//g`
   pictureurl=`curl https://movie.douban.com/top250?start=$i |grep '<img width="100"'|awk -F '"' '{print $6}'`
   move=($movename)
   picture=($pictureurl)
   for(( i=0;i<${#move[@]};i++)) do
   {
       echo "%%%%"
       read -u6
       {
           #sleep 1
           wget -O ${move[i]} ${picture[i]}
           echo "" >&6
       } &
    }
    done
done


    wait


# 关闭fd6管道
    exec 6>&-


b=$(date +%H%M%S)


echo -e "startTime:\t$a"

echo -e "endTime:\t$b"

shell多线程方法建此博客。

https://www.cnblogs.com/signjing/p/7074778.html

有时间研究下如何抓取一个豆瓣用户的电影品味，顺便研究下shell的代理。