准备爬取金庸作品集后做一个语录搜索引擎，找到了某位大神的源码，稍微修改就成了，以备后续使用。
目标网站：金庸作品集
代码实现（文件所在路径/home/patten/workspace/others/python/jyyl.python）：
#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @Time:2019/08/07 20:00
# @Author: PattenKuo
# @File: jyyl.python
import requests
from bs4 import BeautifulSoup
import time
#获取每本书的章节内容
def get_chapter(url):
# 获取网页的源代码
try:
html=requests.get(url,timeout=100)
html.encoding = html.apparent_encoding
content=html.content
# 将网页源代码解析成HTML格式
soup = BeautifulSoup(content, "lxml")
title = soup.find('h1').text #获取章节的标题
text = soup.find('div', id='htmlContent') #获取章节的内容
#处理章节的内容，使得格式更加整洁、清晰
content = text.get_text('\n','br/').replace('\n', '\n ')
content = content.replace(' ', '\n ')
return title, ' '+content
except Exception as e:
print(str(e))
return "超时，未下载成功"
def main():
# 书本列表
books = ['射雕英雄传','天龙八部','鹿鼎记','神雕侠侣','笑傲江湖','碧血剑','倚天屠龙记',\
'飞狐外传','书剑恩仇录','连城诀','侠客行','越女剑','鸳鸯刀','白马啸西风',\
'雪山飞狐']
order = [1,2,3,4,5,6,7,8,10,11,12,14,15,13,9] #order of books to scrapy
#list to store each book's scrapying range
page_range = [1,43,94,145,185,225,248,289,309,329,341,362,363,364,374,385]
for i,book in enumerate(books):
with open('//home//patten//workspace//others//python//%s.txt'%book, 'w', encoding='gb18030') as f1:
f1.close()
pass
for num in range(page_range[i],page_range[i+1]):
#for num in range(185,225):
url = "http://jinyong.zuopinj.com/%s/%s.html"%(order[i],num)
# 错误处理机制
try:
title, chapter = get_chapter(url)
time.sleep(2)
with open('//home//patten//workspace//others//python//%s.txt'%book, 'a', encoding='gb18030') as f:
print(book+':'+title+'-->写入成功！')
f.write(title+'\n\n\n')
f.write(chapter+'\n\n\n')
f.close()
except Exception as e:
print(str(e))
print('全部写入完毕!')
main()
运行结果：
patten@patten-hp:~/workspace/others/python$ jyyl.python
射雕英雄传:第01章 风雪惊变-->写入成功！
射雕英雄传:第02章 江南七怪-->写入成功！
射雕英雄传:第03章 大漠风沙-->写入成功！
射雕英雄传:第04章 黑风双煞-->写入成功！
射雕英雄传:第05章 弯弓射雕-->写入成功！
射雕英雄传:第06章 崖顶疑阵-->写入成功！
射雕英雄传:第07章 比武招亲-->写入成功！
射雕英雄传:第08章 各显神通-->写入成功！
射雕英雄传:第09章 铁枪破犁-->写入成功！
射雕英雄传:第10章 冤家聚头-->写入成功！
射雕英雄传:第11章 长春服输-->写入成功！
射雕英雄传:第12章 亢龙有悔-->写入成功！
射雕英雄传:第13章 五湖废人-->写入成功！
射雕英雄传:第14章 桃花岛主-->写入成功！
射雕英雄传:第15章 神龙摆尾-->写入成功！
射雕英雄传:第16章 九阴真经-->写入成功！
射雕英雄传:第17章 双手互搏-->写入成功！
射雕英雄传:第18章 三道试题-->写入成功！
射雕英雄传:第19章 洪涛群鲨-->写入成功！
射雕英雄传:第20章 窜改经文-->写入成功！
射雕英雄传:第21章 千钧巨岩-->写入成功！
射雕英雄传:第22章 骑鲨遨游-->写入成功！
射雕英雄传:第23章 大闹禁宫-->写入成功！
射雕英雄传:第24章 密室疗伤-->写入成功！
射雕英雄传:第25章 荒村野店-->写入成功！
射雕英雄传:第26章 新盟旧约-->写入成功！
射雕英雄传:第27章 轩辕台前-->写入成功！
射雕英雄传:第28章 铁掌峰顶-->写入成功！
射雕英雄传:第29章 黑沼隐女-->写入成功！
射雕英雄传:第30章 一灯大师-->写入成功！
......
致谢：
