匿名用户不能发表回复！|
每天回帖即可获得10分可用分！小技巧：
你还可以输入10000个字符
(Ctrl+Enter)
请遵守CSDN，不得违反国家法律法规。
转载文章请注明出自“CSDN（www.csdn.net）”。如是商业用途请联系原作者。Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容 - 华天清 - 博客园
随笔 - 32, 文章 - 0, 评论 - 9, 引用 - 0
1，引言在一文我们详细讲解了核心部件：可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分，第一部分实验了用xslt方式一次性。留下了一个问题：javascript管理的动态内容怎样提取？那么本文就回答这个问题。2，提取动态内容的技术部件在上一篇中，要提取的内容是直接从网页的source code里拿到的。但是一些Ajax动态内容是在source code找不到的，就要找合适的程序库把异步或动态加载的内容加载上来，交给本项目的提取器进行提取。python可以使用执行javascript，selenium可以让浏览器自动加载页面，获取需要的数据。selenium自己不带浏览器，可以使用第三方浏览器如Firefox，Chrome等，也可以使用headless浏览器如在后台执行。
3，源代码和实验过程
假如我们要抓取的手机名称和价格(价格在网页源码是找不到的)，如下图：
第一步：利用集搜客谋数台的直观标注功能，可以极快速度自动生成一个调试好的抓取规则，其实是一个标准的xslt程序，如下图，把生成的xslt程序拷贝到下面的程序中即可。注意：本文只是记录实验过程，实际系统中，将采用多种方式把xslt程序注入到内容提取器重。
第二步：执行如下代码(在windows10， python3.2下测试通过，源代码下载地址请见文章末尾GitHub)，请注意：xslt是一个比较长的字符串，如果删除这个字符串，代码没有几行，足以见得Python之强大
#/usr/bin/python
from urllib import request
from lxml import etree
from selenium import webdriver
import time
# 京东手机商品页面
url="/1312640.html"
# 下面的xslt是通过集搜客的谋数台图形界面自动生成的
xslt_root = etree.XML("""\
&xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" &
&xsl:template match="/"&
&xsl:apply-templates select="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())&0 and count(.//*[@id='name']/h1/text())&0]" mode="商品"/&
&/xsl:template&
&xsl:template match="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())&0 and count(.//*[@id='name']/h1/text())&0]" mode="商品"&
&xsl:value-of select="*//*[@id='summary-price']/div[position()=2]/strong/text()"/&
&xsl:value-of select="*[@id='summary-price']/div[position()=2]/strong/text()"/&
&xsl:if test="@id='summary-price'"&
&xsl:value-of select="div[position()=2]/strong/text()"/&
&xsl:value-of select="*//*[@id='name']/h1/text()"/&
&xsl:value-of select="*[@id='name']/h1/text()"/&
&xsl:if test="@id='name'"&
&xsl:value-of select="h1/text()"/&
&/xsl:template&
&/xsl:stylesheet&""")
# 使用webdriver.PhantomJS
browser=webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
browser.get(url)
time.sleep(3)
transform = etree.XSLT(xslt_root)
# 执行js得到整个dom
html = browser.execute_script("return document.documentElement.outerHTML")
doc = etree.HTML(html)
# 用xslt从dom中提取需要的字段
result_tree = transform(doc)
print(result_tree)
第三步：可以看到，网页中的手机名称和价格被正确抓取下来了
4，接下来阅读至此，我们通过两篇文章演示怎样抓取静态和动态网页内容，都采用了xslt一次性将需要的内容从网页上提取出来，其实xslt是一个比较复杂的程序语言，如果手工编写xslt，那么还不如写成离散的xpath。如果这个xslt不是手工写出来的，而是程序自动生成的，这就有意义了，程序员再也不要花时间编写和调测抓取规则了，这是很费时费力的工作。下一篇《》将讲述怎样生成xslt。5，集搜客GooSeeker开源代码下载源1.&
6，文档修改历史
：V2.0，增补文字说明：V2.1，增加第五章：源代码下载源，并更换github源的网址博主录制的Python3爬虫视频教程已发布！详情请戳！希望大家支持！非常感谢！
> Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺
其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。
可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下Selenium吧。
嗯，淘宝，它一直是个难搞的家伙。
而且买家在买宝贝的时候大多数都是匿名评论的，大家都知道非匿名评论是非常有用的，比如对于大数据分析，分析某个宝贝的购买用户星级状况等等。
现在已经不能获取非匿名了，此句已没有意义了。
对于抓淘宝，相信尝试过的童鞋都能体会到抓取它到艰辛，最简单的方法莫过于模拟浏览器了，本节我们就讲解一下利用 Selenium 抓取淘宝评论的方法。
项目提供了如下功能：
输入淘宝关键字采集淘宝链接并写入到文件
从文件读取链接，执行评论采集
将评论和旺旺号保存到Excel中
记录当前采集链接索引，保存进度
在开始本节之前
你需要了解一些基础知识，我们需要用到 Selenium 这个东西，详情请看
我们首先讲解一下你需要做怎样的配置。
首先你需要安装 Python，版本是2.7
然后需要安装的 Python 类库。
pip install pyquery selenium twisted requests xlrd xlwt xlutils
pip install pyquery selenium twisted requests xlrd xlwt xlutils
安装浏览器 Chrome，安装浏览器 Chrome，安装浏览器Chrome。
然后下载ChromeDriver，ChromeDriver是驱动浏览器的工具，需要把它配置到环境变量里。
有的童鞋说，为什么不用 PhantomJS，因为为了防止淘宝禁掉我们，需要登录淘宝账号，登录过程可能会出现奇奇怪怪得验证码，滚动条，手机验证，如果用 PhantomJS 的话不方便操作，所以在这里我们就使用 Chrome 了。
上面是 ChromeDriver 的下载地址，谷歌都上得了，这个不在话下吧，这是最官方的版本，其他链接请自行搜索。
找到对应平台的 ChromeDriver，解压后将可执行文件配置到环境变量里，配置到环境变量里，配置到环境变量里！重要的话说三遍。
首先我们拿一个例子来演示一下全过程。
随意打开天猫一个链接
我们首先观察一下评论，可以发现所有的评论都是匿名的。即使这个用户不是匿名评论的，那也会显示匿名，淘宝这保密做的挺好。
心机的淘宝啊，那我们如果想获取一些旺旺号该咋办？
接下来我们返回宝贝详情页面，然后一直下拉下拉，拉到最最后，可以看到有个“看了又看”板块。
有没有！！发现了新大陆，这是什么？这是此宝贝相关宝贝以及它的一些评论。
看到了有非匿名用户了，哈哈哈，淘宝加密了评论，推荐部分却没有加密。
嗯，就从这里，我们把它们的旺旺号都抓下来，顺便把评论和购买的宝贝抓下来。
现在已经全部改成了匿名，上述话已经无意义了。
那么抓取完之后，保存到哪里呢？为了便于管理和统计，在这里保存到 Excel 中，那么就需要用到 xlrd, xlwt, xlutils 等库。
嗯，动机就是这样。
首先我们观察这个链接，在最初的时候，其实网页并没有加载最下方的“看了又看”内容的，慢慢往下滑动网页，滑到最下方之后，才发现看了又看页面才慢慢加载出来。
很明显，这个地方使用了Ajax，由于我们用的是 Selenium，所以这里我们不能直接来模拟 Ajax 的 Request，需要我们来模拟真实的用户操作。
所以我们要模拟的就是，在网页部分加载出来之后，模拟浏览器滑动到下方，使“看了又看”内容显示出来，然后获取网页源代码，解析之即可。
那么在这里就出现了两个至关重要的点，一个是判断网页框架大体加载出来，另一个是模拟滑动直到最下方的内容加载出来。
首先，我们解决第一个问题，怎样判断网页框架大体加载出来。我们可以用网页中的某个元素的出现与否来判断。
这一部分是否加载出来。
审查一下代码，ID叫做 J_TabBarBox，好，那就用它来作为网页初步加载成功的标志。
在 Selenium 中，我们用显式等待的方法来判断该元素是否已经加载成功。
driver.get(url)
WebDriverWait(driver, timeout).until(
EC.presence_of_element_located((By.ID, "J_TabBarBox"))
except TimeoutException:
return False
if is_recommends_appear(driver, max_scroll_time):
print u'已经成功加载出下方橱窗推荐宝贝信息'
return driver.page_source
12345678910
try:&&&&driver.get(url)&&&&WebDriverWait(driver, timeout).until(&&&&&&&&EC.presence_of_element_located((By.ID, "J_TabBarBox"))&&&&)except TimeoutException:&&&&return Falseif is_recommends_appear(driver, max_scroll_time):&&&&print u'已经成功加载出下方橱窗推荐宝贝信息'&&&&return driver.page_source
接下来我们需要模拟下拉浏览器，不妨直接下拉到底部，再从底部向上拉，可能需要下拉多次，所以在这里定义了一个下拉次数，那么判断“看了又看”正文内容是否出现依然可以用显式等待的方法。
浏览器审查元素发现它的选择器是 #J_TjWaterfall li
那么可以用如下方法来判断是否加载成功
driver.find_element_by_css_selector('#J_TjWaterfall li')
except NoSuchElementException:
return False
return True
try:&&&&driver.find_element_by_css_selector('#J_TjWaterfall li')except NoSuchElementException:&&&&return Falsereturn True
下拉过程可以用执行 JavaScript 的方法实现。
js = "window.scrollTo(0,document.body.scrollHeight-" + str(count * count* 200) + ")"
driver.execute_script(js)
js = "window.scrollTo(0,document.body.scrollHeight-" + str(count * count* 200) + ")"driver.execute_script(js)
其中 count 是下拉的次数，经过测试之后，每次拉动距离和 count 是平方关系比较科学，具体不再描述，当然你可以改成自己想要的数值。
嗯，加载出来之后，就可以用
driver.page_source
driver.page_source
来获取网页源代码了
用 pyquery 解析即可。
doc = pq(html)
items = doc('#J_TjWaterfall & li')
print u'分析得到下方宝贝中的用户评论:'
for item in items.items():
url = item.find('a').attr('href')
if not url.startswith('http'):
url = 'https:' + url
comments_info = []
comments = item.find('p').items()
for comment in comments:
comment_user = comment.find('b').remove().text()
comment_content = comment.text()
anonymous_str = config.ANONYMOUS_STR
&del&if not anonymous_str in comment_user:&/del&
＃此句本来用来判断是否匿名，现淘宝已修复该漏洞，只能抓取全部匿名的了
comments_info.append((comment_content, comment_user))
info.append({'url': url, 'comments_info': comments_info})
return info
1234567891011121314151617
&&&&&&&&doc = pq(html)&&&&&&&&items = doc('#J_TjWaterfall & li')&&&&&&&&print u'分析得到下方宝贝中的用户评论:'&&&&&&&&for item in items.items():&&&&&&&&&&&&url = item.find('a').attr('href')&&&&&&&&&&&&if not url.startswith('http'):&&&&&&&&&&&&&&&&url = 'https:' + url&&&&&&&&&&&&comments_info = []&&&&&&&&&&&&comments = item.find('p').items()&&&&&&&&&&&&for comment in comments:&&&&&&&&&&&&&&&&comment_user = comment.find('b').remove().text()&&&&&&&&&&&&&&&&comment_content = comment.text()&&&&&&&&&&&&&&&&anonymous_str = config.ANONYMOUS_STR&&&&&&&&&&&&&&&&&del&if not anonymous_str in comment_user:&/del&&& ＃此句本来用来判断是否匿名，现淘宝已修复该漏洞，只能抓取全部匿名的了&&&&&&&&&&&&&&&&&&&&comments_info.append((comment_content, comment_user))&&&&&&&&&&&&info.append({'url': url, 'comments_info': comments_info})&&&&&&&&return info
然后保存到 Excel 中。
运行结果截图
可以发现，另外提供了先登陆后爬取的功能，然后保存了爬取进度。
刚才我们测试的链接是哪里来的？我们不能一个个去找吧？所以，在这里又提供了一个采集链接的过程，将采集的链接保存到文本，然后抓取的时候从文本读取一个个链接即可。
所以在这里我们模拟搜索的过程，关键字让用户输入，将搜索的链接采集下来。
在此 Selenium 模拟了输入文字，点击按钮和翻页的功能。
核心代码如下
下面的方法模拟了加载出搜索框之后输入文字点击回车的过程，将网页的结果返回。
def get_results(keyword):
driver = config.DRIVER
link = config.SEARCH_LINK
driver.get(link)
WebDriverWait(driver, config.TIMEOUT).until(
EC.presence_of_element_located((By.ID, "mq"))
except TimeoutException:
print u'加载页面失败'
element = driver.find_element_by_css_selector('#mq')
print u'成功找到了搜索框'
keyword = keyword.decode('utf-8', 'ignore')
print keyword
print u'输入关键字', keyword
for word in keyword:
print word
element.send_keys(word)
element.send_keys(Keys.ENTER)
except NoSuchElementException:
print u'没有找到搜索框'
print u'正在查询该关键字'
WebDriverWait(driver, config.TIMEOUT).until(
EC.presence_of_element_located((By.CSS_SELECTOR, "#J_ItemList div.productImg-wrap"))
except TimeoutException:
print u'查询失败'
html = driver.page_source
return html
12345678910111213141516171819202122232425262728293031
def get_results(keyword):&&&&driver = config.DRIVER&&&&link = config.SEARCH_LINK&&&&driver.get(link)&&&&try:&&&&&&&&WebDriverWait(driver, config.TIMEOUT).until(&&&&&&&&&&&&EC.presence_of_element_located((By.ID, "mq"))&&&&&&&&)&&&&except TimeoutException:&&&&&&&&print u'加载页面失败'&&&&try:&&&&&&&&element = driver.find_element_by_css_selector('#mq')&&&&&&&&print u'成功找到了搜索框'&&&&&&&&keyword = keyword.decode('utf-8', 'ignore')&&&&&&&&print keyword&&&&&&&&print u'输入关键字', keyword&&&&&&&&for word in keyword:&&&&&&&&&&&&print word&&&&&&&&&&&&element.send_keys(word)&&&&&&&&element.send_keys(Keys.ENTER)&&&&except NoSuchElementException:&&&&&&&&print u'没有找到搜索框'&&&&print u'正在查询该关键字'&&&&try:&&&&&&&&WebDriverWait(driver, config.TIMEOUT).until(&&&&&&&&&&&&EC.presence_of_element_located((By.CSS_SELECTOR, "#J_ItemList div.productImg-wrap"))&&&&&&&&)&&&&except TimeoutException:&&&&&&&&print u'查询失败'&&&&html = driver.page_source&&&&return html
下面的方法模拟了翻页的过程，到指定的翻页数目为止
def get_more_link():
print u'正在采集下一页的宝贝链接'
driver = config.DRIVER
js = "window.scrollTo(0,document.body.scrollHeight)"
driver.execute_script(js)
except WebDriverException:
print u'页面下拉失败'
next = driver.find_element_by_css_selector('#content b.ui-page-num & a.ui-page-next')
next.click()
except NoSuchElementException:
print u'找到了翻页按钮'
driver.implicitly_wait(5)
WebDriverWait(driver, config.TIMEOUT).until(
EC.presence_of_element_located((By.CSS_SELECTOR, "#J_ItemList div.productImg-wrap"))
except TimeoutException:
print u'查询失败'
html = driver.page_source
parse_html(html)
12345678910111213141516171819202122
def get_more_link():&&&&print u'正在采集下一页的宝贝链接'&&&&driver = config.DRIVER&&&&try:&&&&&&&&js = "window.scrollTo(0,document.body.scrollHeight)"&&&&&&&&driver.execute_script(js)&&&&except WebDriverException:&&&&&&&&print u'页面下拉失败'&&&&try:&&&&&&&&next = driver.find_element_by_css_selector('#content b.ui-page-num & a.ui-page-next')&&&&&&&&next.click()&&&&except NoSuchElementException:&&&&&&&&print u'找到了翻页按钮'&&&&driver.implicitly_wait(5)&&&&try:&&&&&&&&WebDriverWait(driver, config.TIMEOUT).until(&&&&&&&&&&&&EC.presence_of_element_located((By.CSS_SELECTOR, "#J_ItemList div.productImg-wrap"))&&&&&&&&)&&&&except TimeoutException:&&&&&&&&print u'查询失败'&&&&html = driver.page_source&&&&parse_html(html)
运行结果截图
采集到到内容保存到 urls.txt 中
嗯，这下采集链接和爬取链接都有了。
扯了这么多，许多童鞋已经蠢蠢欲动了，大声告诉我你们想要的是什么？
哦没错！代码！
嗯在这呢！
嗯想说一句，在这里还提供了一些可配置项，比如翻页最大次数，超时时间，下拉次数，登录链接等等。
都可以在 config.py 中配置。
保存链接单的文件
输出文本EXCEL路径
浏览器驱动
采集超时时间
MAX_SCROLL_TIME
下拉滚动条最大次数
NOW_URL_COUNT
当前采集到第几个链接
登录淘宝的链接
SEARCH_LINK
采集淘宝链接搜索页面
采集链接临时变量
采集淘宝链接翻页数目
FILTER_SHOP
是否过滤相同店铺
ANONYMOUS_STR
匿名用户标志，已失效
哦，对了，程序怎么用啊？看 README！
转载请注明： &
or分享 (0)
您的支持是博主写作最大的动力，如果您喜欢我的文章，感觉我的文章对您有帮助，请狠狠点击下面的
想结交更多的朋友吗?
来进击的Coder瞧瞧吧
进击的Coder
进击的Coder灌水太多?
这里是纯粹的技术领地
激进的Coder
想找人聊天解闷？想要学习干货？
微信公众号进击的Coder为你打造
进击的Coder
微信公众号
扫一扫关注Python 爬虫如何机器登录新浪微博并抓取内容？ - 知乎2287被浏览122851分享邀请回答# -*- coding: utf-8 -*-
import requests
import base64
import urllib
import urllib.parse
import rsa
import json
import binascii
from bs4 import BeautifulSoup
class Userlogin:
def userlogin(self,username,password,pagecount):
session = requests.Session()
url_prelogin = '.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=&rsakt=mod&client=ssologin.js(v1.4.5)&_=5'
url_login = '.cn/sso/login.php?client=ssologin.js(v1.4.5)'
#get servertime,nonce, pubkey,rsakv
resp = session.get(url_prelogin)
= re.findall(r'(?&=\().*(?=\))', resp.text)[0]
= json.loads(json_data)
servertime = data['servertime']
= data['nonce']
= data['pubkey']
= data['rsakv']
# calculate su
print(urllib.parse.quote(username))
= base64.b64encode(username.encode(encoding="utf-8"))
#calculate sp
rsaPublickey= int(pubkey,16)
key = rsa.PublicKey(rsaPublickey,65537)
message = str(servertime) +'\t' + str(nonce) + '\n' + str(password)
sp = binascii.b2a_hex(rsa.encrypt(message.encode(encoding="utf-8"),key))
postdata = {
'entry': 'weibo',
'gateway': '1',
'from': '',
'savestate': '7',
'userticket': '1',
'ssosimplelogin': '1',
'vsnf': '1',
'vsnval': '',
'service': 'miniblog',
'servertime': servertime,
'nonce': nonce,
'pwencode': 'rsa2',
'encoding': 'UTF-8',
'url': '/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack',
'returntype': 'META',
'rsakv' : rsakv,
resp = session.post(url_login,data=postdata)
# print resp.headers
print(resp.content)
login_url = re.findall(r'http://weibo.*&retcode=0',resp.text)
print(login_url)
respo = session.get(login_url[0])
uid = re.findall('"uniqueid":"(\d+)",',respo.text)[0]
url = "/u/"+uid
respo = session.get(url)
24720 条评论分享收藏感谢收起21623 条评论分享收藏感谢收起查看更多回答2 个回答被折叠（）程序目的：
根据特定的SNP list， 在千人基因组数据库中爬取CHB人群的等位基因频率信息，如。
因为网页是动态的数据，嵌入了JavaScript代码，因此借助selenium来爬取信息。
Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，避免了用繁杂的正则表达式。
准备工作：
0、安装selenium：pip install -U selenium
1、安装chromedriver: brew install chromedriver
注意：使用该命令安装的时候可能安装的chromedriver不是最新版，有可能导致与chrome浏览器版本不兼容而报如下错误：
unknown error: Runtime.executionContextCreated has invalid ‘context’: {“auxData”:{“frameId”:”11740.1”,”isDefault”:true},”id”:1,”name”:”“,”origin”:”://”}
(Session info: chrome=54.0.2840.71)
(Driver info: chromedriver=2.9.248307,platform=Mac OS X 10.9.4 x86_64)
这个其实是老版本的chromedriver 无法正常启动chrome。解决办法就是下载最新的chromedriver.
如果用brew upgrade命名更新不了chromedriver，要去 下载刚发布的Latest Release: ChromeDriver 2.25
2、下载完毕chromedriver，Move the file to /usr/bin directory sudo mv chromedriver /usr/bin
3、更改chromedriver权限，Go to /usr/bin directory and you would need to run something like chmod a+x chromedriver to mark it executable.
from bs4 import BeautifulSoup
import time
from selenium import webdriver
from mon.exceptions import NoSuchElementException
def get_allele_feq(browser, snp):
browser.get(
'https://www.ncbi.nlm.nih.gov/variation/tools/1000genomes/?q=%s' %snp)
time.sleep(30)
bs = BeautifulSoup(browser.page_source, "lxml")
race = bs.find(string="CHB")
race_data = race.find_parent("div").find_parent(
"div").find_next_sibling("div")
race_feq = race_data.find("span", class_="gt-selected").find_all("li")
base1_feq = race_feq[0].text
base2_feq = race_feq[1].text
return snp, base1_feq, base2_feq
except NoSuchElementException:
return "%s:can't find element" %snp
def main():
browser = webdriver.Chrome()
fh = open("./4diseases_snps_1kCHB_allele_feq.list2", 'w')
snps = open("./4diseases_snps.list.uniq2",'r')
for line in snps:
snp = line.strip()
response = get_allele_feq(browser, snp)
time.sleep(1)
fh.write("\t".join(response))
fh.write("\n")
print "\t".join(response)
time.sleep(1)
fh.close()
browser.quit()
if __name__ == '__main__':
参考资料：
#Beautiful Soup 4.4.0 文档
本文已收录于以下专栏：
相关文章推荐
BeautifulSoup 是python学习的重要组成部分，可用于帮助解析html/XML等内容，尤其是在爬取特定网页信息的时候，用于解析和检查在网上看到的那些乱七八糟而且不规范的HTML页面。至于...
最近要有一个任务，要爬取/#/cn 网页上的文章，作为后续自然语言处理的源数据。
爬取目标：下图中红色方框部分的文章内容。（需要点击每篇文章的链接才能获得文章内容）...
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息，两种方法从本质上都是一样的，都是通过分析网页的DOM树结构进行元素定位，再定向爬取具体的电影信息，通过代码的对...
不同网站有不同特性，需要掌握selenim基本网页元素定位以及浏览器控制，本文解析网页主要实现以下操作：
1）模拟鼠标操作，点击按钮提交；2）获取浏览器窗口句柄，切换到当前窗口下操作；3）处理不带总页...
由于项目的需要，需要检索到NCBI网页中相应字段。。。相应内容后期补充中
从网页中抽取出所需要的信息：
        包括标题，作者，摘要，Keywrods, Mesh Terms等等信息
  ...
本文主要是自己的在线代码笔记，在生物医学本体Ontology构建过程中，我使用Selenium定向爬取生物医学PubMed数据库的内容。PubMed是一个免费的搜寻引擎，提供生物医学方面的论文搜寻以及...
利用python爬取网站数据非常便捷，效率非常高，但是常用的一般都是使用BeautifSoup、requests搭配组合抓取静态页面，即网页上显示的数据都可以在html源码中找到，而不是网站通过js或...
当我们使用Python爬取网页数据时，往往用的是urllib模块，通过调用urllib模块的urlopen(url)方法返回网页对象，并使用read()方法获得url的html内容，然后使用...
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时...
他的最新文章
讲师：刘文志
讲师：陈伟
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)}