Python3.4编程实现简单抓取爬虫功能示例
作者：macwhirr123 发布时间：2022-04-23 17:48:15
标签：Python,爬虫
本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考，具体如下：
import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
cj=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
urllib.request.install_opener(opener)
page = urllib.request.urlopen(url)
html = page.read()
return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
html = html.decode('utf-8')
reg='"screen_name":"(.*?)"'
imgre = re.compile(reg)
src=re.findall(imgre,html)
return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
print (getimg(getHtml("http://weibo.com/"+a)))
time.sleep(1)
希望本文所述对大家Python程序设计有所帮助。
来源：http://blog.csdn.net/macwhirr123/article/details/44623341
0
投稿猜你喜欢
- Socket服务器是网络服务中常用的服务器。使用go语言实现这个业务场景是很容易的。这样的网络通讯，需要一个服务端和至少一个客户端。我们计划
MYSQL中的分组和链接是在操作数据库和数据交互时最常用的两个在功能，把这两项处理好了，MYSQL的执行效率会非常高速。一、group by- df.fillna主要用来对缺失值进行填充，可以选择填充具体的数字，或者选择临近填充。官方文档DataFrame.fillna(self,
- 采集文章给建站带来了很大的方便，特别是一些小网站，人员有限，资金有限，适当的使用采集功能可以很快丰富我们的网站，采集这么厉害可能你会觉的代码
- 一、 官网下载安装包： 官网网址：https://www.python.org/ 我下载的是3.6.3版本，如下图：&n
- 这时候最好的做法就是按需引入，动态引入组件js和样式，文件load完成后调用callback，运行js。代码还是很简便的 1. 判断文件lo
- 实验室老师让给数据画一张线性拟合图。不会matlab，就琢磨着用python。参照了网上的一些文章，查看了帮助文档，成功的写了出来这里用到了
- Flask-SQLAlchemy安装和建表操作请参考这里。 # Role表class Role(db.Model):
- function createobj() { if (window.ActiveXObject)&n
- 说明字符串驻留是一种仅保存一份相同且不可变字符串的方法。不同的值被存放在字符串驻留池中，发生驻留之后, 许多变量可能指向内存中的相同字符串对
- 方法一使用findspark使用pip安装findspark：pip install findspark在py文件中引入findspark：
- Python爬虫为什么受欢迎如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 P
- 1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断select * from peoplewhere people
- 做电商时，消费者对商品的评论是很重要的，但是不会写代码怎么办？这里有个Chrome插件可以做到简单的数据爬取，一句代码都不用写。下面给大家展
- 前言上篇我们介绍了微前端实现沙箱的几种方式，没看过的可以下看下JS沙箱这篇内容，扫盲一下。接下来我们通过源 码详细分析下qiankun沙箱实
- 如下所示：' '.join(line.split())例如：'line dd',运行line.split()
- 在Qt中经常需要使用样式，为了降低耦合性（与逻辑代码分离），我们通常会定义一个QSS文件，然后编写各种控件（QLabel，QLIneEdit
- 一、两层结构的ASP应用有何缺点 在Browser/Server 应用程序开发领域，微软公司的IIS/ASP以其强大的功能，良好的扩展能力，
- 前面两章，我们分析了Linux内存分配的策略以及Linux通过使用 OOM_Killer的机制解决了“超售”引起的风险，MySQL同其他的应
- 这两天一直在做课件，我个人一直不太喜欢PPT这个东西……能不用就不用，我个人特别崇尚极简风。谁让我们是程序员呢，所以就爱上了Jupyter写
