在成功完成基金净值爬虫的爬虫后，简单了解爬虫的一些原理以后，心中不免产生一点困惑——为什么我们不能直接通过Request获取网页的源代码，而是通过查找相关的js文件来爬取数据呢？
有时候我们在用requests抓取页面的时候，得到的结果可能和浏览器中看到的不一样：浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。
这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据来源多种，可能是通过Ajax加载的，可能是包含在HTML文档中的，也可能是经过JavaScript和特定算法计算后生成的。而依照目前Web发展的趋势，网页的原始HTML文档不会包含任何数据，都是通过Ajax等方法统一加载后再呈现出来，这样在Web开发上可以做到前后端分离，而且降低服务器直接渲染页面带来的。通常，我们把这种网页称为动态渲染页面。
之前的基金净值数据爬虫就是通过直接向服务器获取数据接口，即找到包含数据的js文件，向服务器发送相关的请求，才获取文件。
那么，有没有什么办法可以直接获取网页的动态渲染数据呢？答案是有的。
我们还可以直接使用模拟浏览器运行的方式来实现动态网页的抓取，这样就可以做到在浏览器中看倒是什么样，抓取的源码就是什么样，即实现——可见即可爬。
Python提供了许多模拟浏览器运行的库，如：Selenium、Splash、PyV8、Ghost等。本文将继续以基金净值爬虫为例，用Selenium对其进行动态页面爬虫。
环境
tools
1、Chrome及其developer tools
2、python3.7
3、PyCharm
python3.7中使用的库
1、Selenium
2、pandas
3、random
4、 time
5、os
系统
Mac OS 10.13.2
Selenium基本功能及使用
准备工作
- Chrome浏览器
- Selenium库
- 可直接通过pip安装，执行如下命令即可：
-
pip install selenium
- ChromDriver配置
- Selenium库是一个自动化测试工具，需要浏览器来配合使用，我们主要介绍Chrome浏览器及ChromeDriver驱动的配置，只有安装了ChromeDriver并配置好对应环境，才能驱动Chrome浏览器完成相应的操作。Windows和Mac下的安装配置方法略有不同，具体可通过网上查阅资料得知，在此暂时不做赘述。
基本使用
首先，我们先来了解Selenium的一些功能，以及它能做些什么:
Selenium是一个自动化测试工具，利用它可以驱动游览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些动态渲染的页面来说，此种抓取方式非常有效。它的基本功能实现也十分的方便，下面我们来看一些简单的代码：
1 from selenium import webdriver 2 from selenium.webdriver.common.by import By 3 from selenium.webdriver.common.keys import Keys 4 from selenium.webdriver.support import expected_conditions as EC 5 from selenium.webdriver.support.wait import WebDriverWait 6 7 8 browser = webdriver.Chrome() # 声明浏览器对象 9 try: 10 browser.get('https://www.baidu.com') # 传入链接URL请求网页 11 query = browser.find_element_by_id('kw') # 查找节点 12 query.send_keys('Python') # 输入文字 13 query.send_keys(Keys.ENTER) # 回车跳转页面 14 wait = WebDriverWait(browser, 10) # 设置最长加载等待时间 15 print(browser.current_url) # 获取当前URL 16 print(browser.get_cookies()) # 获取当前Cookies 17 print(browser.page_source) # 获取源代码 18 finally: 19 browser.close() # 关闭浏览器
运行代码后，会自动弹出一个Chrome浏览器。浏览器会跳转到百度，然后在搜索框中输入Python→回车→跳转到搜索结果页，在获取结果后关闭浏览器。这相当于模拟了一个我们上百度搜索Python的全套动作，有木有觉得很神奇！！
在过程中，当网页结果加载出来后，控制台会分别输出当前的URL、当前的Cookies和网页源代码：
可以看到，我们得到的内容都是浏览器中真实的内容，由此可以看出，用Selenium来驱动浏览器加载网页可以直接拿到JavaScript渲染的结果。接下来，我们也将主要利用Selenium来进行基金净值的爬取~
注：Selenium更多详细用法和功能可以通过官网查阅（https://selenium-python.readthedocs.io/api.html）
基金净值数据爬虫
通过之前的爬虫，我们会发现数据接口的分析相对来说较为繁琐，需要分析相关的参数，而如果直接用Selenium来模拟浏览器的话，可以不再关注这些接口参数，只要能直接在浏览器页面里看到的内容，都可以爬取，下面我们就来试一试该如何完成我们的目标——基金净值数据爬虫。
页面分析
本次爬虫的目标是单个基金的净值数据，抓取的URL为：http://fundf10.eastmoney.com/jjjz_519961.html（以单个基金519961为例），URL的构造规律很明显，当我们在浏览器中输入访问链接后，呈现的就是最新的基金净值数据的第一页结果：
在数据的下方，有一个分页导航，其中既包括前五页的连接，也包括最后一页和下一页的连接，同时还有一个输入任意页码跳转的链接：
如果我们想获取第二页及以后的数据，则需要跳转到对应页数。因此，如果我们需要获取所有的历史净值数据，只需要将所有页码遍历即可，可以直接在页面跳转文本框中输入要跳转的页码，然后点击“确定”按钮即可跳转到页码对应的页面。
此处不直接点击“下一页”的原因是：一旦爬虫过程中出现异常退出，比如到50页退出了，此时点击“下一页”时，无法快速切换到对应的后续页面。此外，在爬虫过程中也需要记录当前的爬虫进度，能够及时做异常检测，检测问题是出在第几页。整个过程相对较为复杂，用直接跳转的方式来爬取网页较为合理。
当我们成功加载出某一页的净值数据时，利用Selenium即可获取页面源代码，定位到特定的节点后进行操作即可获取目标的HTML内容，再对其进行相应的解析即可获取我们的目标数据。下面，我们用代码来实现整个抓取过程。
获取基金净值列表
首先，需要构造目标URL，这里的URL构成规律十分明显，为http://fundf10.eastmoney.com/jjjz_基金代码.html，我们可以通过规律来构造自己想要爬取的基金对象。这里，我们将以基金519961为例进行抓取。
1 browser = webdriver.Chrome() 2 wait = WebDriverWait(browser, 10) 3 fundcode='519961' 4 5 def index_page(page): 6 ''' 7 抓取基金索引页 8 :param page: 页码 9 :param fundcode: 基金代码 10 ''' 11 print('正在爬取基金%s第%d页' % (fundcode, page)) 12 try: 13 url = 'http://fundf10.eastmoney.com/jjjz_%s.html' % fundcode 14 browser.get(url) 15 if page>1: 16 input_page = wait.until( 17 EC.presence_of_element_located((By.CSS_SELECTOR, '#pagebar input.pnum'))) 18 submit = wait.until( 19 EC.element_to_be_clickable((By.CSS_SELECTOR, '#pagebar input.pgo'))) 20 input_page.clear() 21 input_page.send_keys(str(page)) 22 submit.click() 23 wait.until( 24 EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#pagebar label.cur'), 25 str(page))) 26 wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#jztable'))) 27 get_jjjz() 28 except TimeoutException: 29 index_page(page)
这里，首相构造一个WebDriver对象，即声明浏览器对象，使用的浏览器为Chrome，然后指定一个基金代码（519961），接着定义了index_page()方法，用于抓取基金净值数据列表。
在该方法里，我们首先访问了搜索基金的链接，然后判断了当前的页码，如果大于1，就进行跳页操作，否则等页面加载完成。
在等待加载时，我们使用了WebDriverWait对象，它可以指定等待条件，同时制定一个最长等待时间，这里指定为最长10秒。如果在这个时间内匹配了等待条件，也就是说页面元素成功加载出来，就立即返回相应结果并继续向下执行，否则到了最大等待时间还没有加载出来时，就直接抛出超市异常。
比如，我们最终需要等待历史净值信息加载出来就指定presence_of_element_located这个条件，然后传入了CSS选择器的对应条件#jztable，而这个选择器对应的页面内容就是每一页基金净值数据的信息快，可以到网页里面查看一下：
注：这里讲一个小技巧，如果同学们对CSS选择器的语法不是很了解的话，可以直接在选定的节点点击右键→拷贝→拷贝选择器，可以直接获取对应的选择器：
关于CSS选择器的语法可以参考CSS选择器参考手册（http://www.w3school.com.cn/cssref/css_selectors.asp）。
当加载成功后，机会秩序后续的get_jjjz()方法，提取历史净值信息。
关于翻页操作，这里首先获取页码输入框，赋值为input_page，然后获取“确定”按钮，赋值为submit：
首先，我们情况输入框（无论输入框是否有页码数据），此时调用clear()方法即可。随后，调用send_keys()方法将页码填充到输入框中，然后点击“确定”按钮即可，听起来似乎和我们常规操作的方法一样。
那么，怎样知道有没有跳转到对应的页码呢？我们可以注意到，跳转到当前页的时候，页码都会高亮显示：
我们只需要判断当前高亮的页码数是当前的页码数即可，左移这里使用了另一个等待条件text_to_be_present_in_element，它会等待指定的文本出现在某一个节点里时即返回成功，这里我们将高亮的页码对应的CSS选择器和当前要跳转到 页码通过参数传递给这个等待条件，这样它就会检测当前高亮的页码节点是不是我们传过来的页码数，如果是，就证明页面成功跳转到了这一页，页面跳转成功。
这样，刚从实现的index_page()方法就可以传入对应的页码，待加载出对应页码的商品列表后，再去调用get_jjjz()方法进行页面解析。
解析历史净值数据列表
接下来，我们就可以实现get_jjjz()方法来解析历史净值数据列表了。这里，我们通过查找所有历史净值数据节点来获取对应的HTML内容
并进行对应解析，实现如下：
1 def get_jjjz(): 2 ''' 3 提取基金净值数据 4 ''' 5 lsjz = pd.DataFrame() 6 html_list = browser.find_elements_by_css_selector('#jztable tbody tr') 7 for html in html_list: 8 data = html.text.split(' ') 9 datas = { 10 '净值日期': data[0], 11 '单位净值': data[1], 12 '累计净值': data[2], 13 '日增长率': data[3], 14 '申购状态': data[4], 15 '赎回状态': data[5], 16 } 17 lsjz = lsjz.append(datas, ignore_index=True) 18 save_to_csv(lsjz)
首先，调用find_elements_by_css_selector来获取所有存储历史净值数据的节点，此时使用的CSS选择器是#jztable tbody tr，它会匹配所有基金净值节点，输出的是一个封装为list的HTML。利用for循环对list进行遍历，用text方法提取每个html里面的文本内容，获得的输出是用空格隔开的字符串数据，为了方便后续处理，我们可以用split方法将数据切割，以一个新的list形式存储，再将其转化为dict形式。
最后，为了方便处理，我们将遍历的数据存储为一个DataFrame再用save_to_csv()方法进行存储为csv文件。
保存为本地csv文件
接下来，我们将获取的基金历史净值数据保存为本地的csv文件中，实现代码如下：
1 def save_to_csv(lsjz): 2 ''' 3 保存为csv文件 4 : param result: 历史净值 5 ''' 6 file_path = 'lsjz_%s.csv' % fundcode 7 try: 8 if not os.path.isfile(file_path): # 判断当前目录下是否已存在该csv文件，若不存在，则直接存储 9 lsjz.to_csv(file_path, index=False) 10 else: # 若已存在，则追加存储，并设置header参数为False，防止列名重复存储 11 lsjz.to_csv(file_path, mode='a', index=False, header=False) 12 print('存储成功') 13 except Exception as e: 14 print('存储失败')
此处，result变量就是get_jjjz()方法里传来的历史净值数据。
遍历每一页
我们之前定义的get_index()方法需要接受参数page，page代表页码。这里，由于不同基金的数据页数并不相同，而为了遍历所有页我们需要获取最大页数，当然，我们也可以用一些巧办法来解决这个问题，页码遍历代码如下：
1 def main(): 2 ''' 3 遍历每一页 4 ''' 5 flag = True 6 page = 1 7 while flag: 8 try: 9 index_page(page) 10 time.sleep(random.randint(1, 5)) 11 page += 1 12 except: 13 flag = False 14 print('似乎是最后一页了呢')
其实现方法结合了try...except和while方法，逐个遍历下一页内容，当页码超过，即不存在时，index_page()的运行就会出现报错，此时可以将flag变为False，则下一次while循环不会继续，这样，我们便可遍历所有的页码了。
由此，我们的基金净值数据爬虫已经基本完成，最后直接调用main()方法即可运行。
总结
在本文中，我们用Selenium演示了基金净值页面的抓取，有兴趣的同学可以尝试利用其它的条件来爬取基金数据，如设置数据的起始和结束日期：
利用日期来爬取内容可以方便日后的数据更新，此外，如果觉得浏览器的弹出较为恼人，可以尝试Chrome Headless模式或者利用PhantomJS来抓取。
至此，基金净值爬虫的分析正式完结，撒花~
