本版
查看: 7960|回复: 7

python动漫之家爬虫

[复制链接]

Honor Moderator

楼主(1#)
发表于 2020-3-9 14:43:15 | 只看该作者 |只看大图 |倒序浏览 |阅读模式
[md]昨晚上还在看的漫画,

今天起床就被下架了,

太惨了


用python写了个爬虫,

能通过API看到的漫画,

就能爬



```py
import requests
import json
import os, re
BASEDIR = os.getcwd()
comicId = 7474 # 填漫画的ID
headers = {'Referer':'http://images.dmzj.com/'}
comicInfo = requests.get("http://v2.api.dmzj.com/comic/%d.json"%comicId).content
comicInfo = json.loads(comicInfo)
chapters = comicInfo['chapters'][0]['data']
for chapter in chapters:

cId = chapter['chapter_id']
cTitle = chapter['chapter_title']
cOrder = chapter['chapter_order']

cdir = BASEDIR + '/%s'%cTitle
if not os.path.exists(cdir):
os.makedirs(cdir)

print("%s create folder %s"%(cTitle, cdir))

chapterInfo = requests.get("http://v2.api.dmzj.com/chapter/%d/%d.json"%(comicId, cId)).content
chapterInfo = json.loads(chapterInfo)
for page in chapterInfo['page_url']:
match = re.search('(\d+).jpg', page)
print(match.group(1))
res = requests.get(page, headers=headers)
pic = open(cdir + '/%s.jpg'%match.group(1), 'wb')
for chunk in res.iter_content():
pic.write(chunk)
pic.close()

# res = requests.get("http://imgsmall.dmzj.com/w/7474/27922/0.jpg", headers=headers)
# pic = open('t/pic.jpg', 'wb')
# for chunk in res.iter_content():
# pic.write(chunk)
# pic.close()
```
![un.png](data/attachment/forum/202003/09/144245shak72n2w7wkzv2v.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/600 "un.png")

没有多线程,凑活着用。86话爬三分钟。
[/md]
有人找乐子,有人照镜子
回复

支持 | 反对  0 支持 / 0 反对 评分 举报

Super Moderator

沙发(2#)
发表于 2020-3-10 05:22:45 | 只看该作者
这个显示器好大

[Lv.7]特大萝卜

此用户太懒,什么都没写

板凳(3#)
发表于 2020-3-10 15:04:18 | 只看该作者
厉害

[Lv.5]胡萝卜

地板(4#)
发表于 2020-3-10 16:21:57 | 只看该作者
硬核!

Honor Moderator

5#
 楼主| 发表于 2020-3-10 17:36:41 | 只看该作者
nkc3g4 发表于 2020-3-10 05:22
这个显示器好大

27寸的
有人找乐子,有人照镜子

[Lv.5]胡萝卜

6#
发表于 2021-4-2 05:53:11 | 只看该作者
好玩吗。。。。

[Lv.7]特大萝卜

7#
发表于 2021-4-3 08:54:31 | 只看该作者
打开论坛首页看到这个截图,还以为是什么漫画呢

[Lv.8]超级萝卜

8#
发表于 2021-4-8 17:50:26 来自手机 | 只看该作者
彩色代码是怎么发的

联系我们(Contact)|手机版|萝卜头IT论坛 ( 苏ICP备15050961号-1 )

GMT+8, 2026-10-22 07:02 , Processed in 0.07 second(s), 20 queries , Gzip On.

快速回复 返回顶部 返回列表