[网络连接] 【已解决】批处理如何批量下载网页链接中的pdf文件？

wzf1024

有规律的网址：
http://pmmp.cnki.net/OperatingDiscipline/Details.aspx?id=0001
……
http://pmmp.cnki.net/OperatingDiscipline/Details.aspx?id=2150

        	
                <li><a href="#method">方法</a></li>
        	
                <li><a href="#result">结果诊断</a></li>
        	
                <li><a href="#note">注意事项</a></li>
        	
            <li><a href="http://pmmp.cnki.net/Resources/CDDPdf/%e4%b8%b4%e5%ba%8a%e6%93%8d%e4%bd%9c%e8%a7%84%e8%8c%83%5cB2.6.1.6 %e4%bd%93%e4%bd%8d%e5%8f%98%e6%8d%a2%e8%af%95%e9%aa%8c.pdf">全文下载</a></li>
        </ul>
    	</div>

    </div>
复制代码

每个页面都有一个“全文下载”链接到一个pdf文件，文件名不规则，一个一个下载太麻烦，如何用批处理全部下载这些pdf文件？
哪位大侠能帮忙，非常感谢！！

ivor

换了个思路，采用list弹出元素的方式，发现还是很方便的哈，效率主要还是看服务器处理的速度。
10个线程够这下速度够快了吧。。。

# coding:utf-8
# 10线程
#

import bs4
import urllib.request as url
import threading
import time


s = time.time()
pdfUrl = []
numList = ['{:0>4}'.format(i) for i in range(1, 2150)]
def getPdfUrl(threadKey = 'default'):
    web_site = r'http://pmmp.cnki.net/OperatingDiscipline/Details.aspx?id=%s'
    while len(numList):
        num = numList.pop()
        try:
            req = url.urlopen(web_site % num)
            soup = bs4.BeautifulSoup(req,'html.parser')
            for i in soup.find_all('a'):
                if i.string == '全文下载':
                    pdf = url.unquote(i.get('href'))
                    pdfUrl.append(pdf + '\n')
                    print("Thread[%s]: %s" % (threadKey,pdf))
                    break
            
        except:
            print("服务器错误！   当前id=%s" % num)
            
    print("Thread[%s]: End!!" % threadKey)
    return 

def writeList(pdfLink):
    with open("list.txt", "w") as file:
        file.writelines(pdfLink)

#线程实体list
t = ['t1','t2','t3','t4','t5','t6','t7','t8','t9','t10']
for i in t:
    i = threading.Thread(target=getPdfUrl,args=(i,))
    i.start()

while True:
    time.sleep(1)
    if threading.active_count() == 1:
        writeList(pdfUrl)
        print("\n\n耗时: %f 秒" % (time.time() - s))
        break
复制代码

775405984

回复 18# ivor

     谢谢~~~~

523066680

四线程+队列，Mojo 本身支持多线程，不过还没学会

=info
    4线程+队列
    523066680@163.com
=cut

use Modern::Perl;
use Encode;
use threads;
use threads::shared;
use Thread::Queue;
use File::Basename;
use URI::Escape;
use Mojo::UserAgent;
STDOUT->autoflush(1);

my @ths;
my $que = Thread::Queue->new();    # A new empty queue
my $link = "http://pmmp.cnki.net/OperatingDiscipline/Details.aspx?id=";
my @mission = map { sprintf "%s%04d", $link, $_ } (1 .. 2150);

#创建线程
grep { push @ths, threads->create( \&thread_func, $_ ) } ( 0..3 );

$que->enqueue( @mission );
$que->end();
grep { $_->join() } @ths;

exit;

sub thread_func
{
    my ( $id ) = shift;
    my ($link, $file, $res, $dom);

    my $ua = Mojo::UserAgent->new();
    $ua = $ua->max_redirects(5);

    while (defined(my $link = $que->dequeue())) 
    {
        $file = basename( $link );
        $res = $ua->get( $link )->result;
        $res->body =~/(http.*?.pdf)/;
        $link = encode('gbk', decode('utf8', uri_unescape($1)));
        say $link;
    }
}
复制代码

结果见附件

ivor

回复 17# 775405984


    https://pan.baidu.com/s/1dGQORIh

775405984

回复 16# codegay


授人以鱼不如授人以渔，道理我都懂。。。

codegay

回复 15# 775405984



跟性别与专业无关。这个有个医学生的笔记，好像是个妹子。好多技术类的网站都转载过她的学习笔记。
这个学习能力，笔记能力，组织能力真的是让我惊叹。

    https://woaielf.github.io/2017/06/13/python3-all/

775405984

回复 14# ivor


   大神，我医学生，能找到这个网就已经拜佛了。。。

   可不可以帮帮忙，发一个list.txt....

http://pmmp.cnki.net/Disease/Details.aspx?id=0001
......
......
http://pmmp.cnki.net/Disease/Details.aspx?id=6715

ivor

回复 12# 775405984


    下载链接更新了，建议你学学Python。

775405984

回复 11# pcl_test


   版主，获取的下载链接如何保存文本？

775405984

回复 8# ivor


   大大能否再发一遍链接，上面的已失效
还有这个：
http://pmmp.cnki.net/Disease/Details.aspx?id=0001
......
......
http://pmmp.cnki.net/Disease/Details.aspx?id=6715

pcl_test

rem win7及以上系统运行
set "url=http://pmmp.cnki.net/OperatingDiscipline/Details.aspx?id="
powershell -c "Add-Type -AssemblyName System.Web;$web=New-Object Net.WebClient;$web.Encoding=[Text.Encoding]::utf8;1..2150|%%{$htmltext=$web.DownloadString('%url%'+('{0:d4}' -f $_));if($htmltext -match '[^\"]+(?=\">全文下载)'){[Web.HttpUtility]::UrlDecode(''+$_+' '+$matches[0])}}"
pause
复制代码

wzf1024

回复 9# CrLf


  木有。
不知道什么原因

CrLf

回复 4# wzf1024


    bat 的目录下没有出现一堆 pdf 吗？

ivor

回复 1# wzf1024


   

链接：http://pan.baidu.com/s/1bpB9F1l

我爬下来的pdf链接