Python实现抓取网页并且解析的实例
作者：shichen2014 发布时间：2022-01-12 13:24:53
标签：Python
本文以实例形式讲述了Python实现抓取网页并解析的功能。主要解析问答与百度的首页。分享给大家供大家参考之用。
主要功能代码如下：
#!/usr/bin/python
#coding=utf-8
import sys
import re
import urllib2
from urllib import urlencode
from urllib import quote
import time
maxline = 2000
wenda = re.compile("href=\"http://wenda.so.com/q/.+\?src=(.+?)\"")
baidu = re.compile("<a href=\"http://www.baidu.com/link\?url=.+\".*?>更多知道相关问题.*?</a>")
f1 = open("baidupage.txt","w")
f2 = open("wendapage.txt","w")
for line in sys.stdin:
if maxline == 0:
break
query = line.strip();
time.sleep(1);
recall_url = "http://www.so.com/s?&q=" + query;
response = urllib2.urlopen(recall_url);
html = response.read();
f1.write(html)
m = wenda.search(html);
if m:
if m.group(1) == "110":
print query + "\twenda\t0";
else:
print query + "\twenda\t1";
else:
print query + "\twenda\t0";
recall_url = "http://www.baidu.com/s?wd=" + query +"&ie=utf-8";
response = urllib2.urlopen(recall_url);
html = response.read();
f2.write(html)
m = baidu.search(html);
if m:
print query + "\tbaidu\t1";
else:
print query + "\tbaidu\t0";
maxline = maxline - 1;
f1.close()
f2.close()
希望本文所述对大家Python程序设计的学习有所帮助。
0
投稿猜你喜欢
- PHP程序员应该都知道连接MySQL数据库可以使用mysql_pconnect（永久连接）函数，使用数据库永久连接可以提高效率，但是实际应用
- python中判断文件结束符的方法：可以使用try except语句块来进行判断。具体使用方法：【try:while True:s = in
- 一. MovingAverage权值滑动平均更新1.1 示例代码：def create_target_q_network(self,stat
- 有时候发微博时候，需要裁切图片为九宫格，但是ps或者其他工具都太麻烦，这里写一个python一键切割九宫格的工具，以供大家学习和使用！实现代
第七步: 在自定义分页的Repeater 里添加排序功能现在已经完成了自定义分页，我们再来添加排序功能。ProductsBLL类的GetPr- 微软在 Github 上开源了一个 Python 静态类型检查工具：pyright ，引起了社区内的多方关注。微软在开源项目上的参与力度是越
- WordPress 本身以及主题和插件通常需要加载一些 JavaScript 来实现某些特殊功能。为了最大限度地保证兼容性，不至于出现 Ja
- 在没步入正轨之前，先给大家介绍JavaScript 特殊字符你可以在 JavaScript 中使用反斜杠来向文本字符串添加特殊字符。插入特殊
- 做设计类网址导航的初衷是为了资源整合，也是在尝试解决问题。假定访问用户都是行业人士，或者目地性很强的有一定了解的用户，应该如何考虑这个组织系
- 看到好几位博主通过对模块的各个击破学习python，我也效法一下，本篇说一下python中加密涉及到的模块。hashlibhashlib模块
- 编写断言使用assert编写断言pytest允许你使用python标准的assert表达式写断言；例如，你可以这样做：# test_samp
- 安装npm install --save reduxnpm install --save redux-saga配置actionactionT
- 背景：实现用python的optimize库的fsolve对非线性方程组进行求解。可以看到这一个问题实际上还是一个优化问题，也可以用之前拟合
- 1 词频统计1.1 简单词频统计1.导入jieba库并定义文本import jiebatext = "Python是一种高级编程语
- 本文实例为大家分享了vuejs实现下拉框菜单选择的具体代码，供大家参考，具体内容如下方法一：<script type="te
- 准备工作： ① 首先要会使用ThinkPHP这个框架 ② 最好有些ajax的基础（可以去看下小飞的另外一篇博文：Ajax实时验证"
- 最近开始学习Python开发，“工欲善其事必先利其器”，Python程序都是用什么工具开发出来的呢。
- 前言我们有时候会编写Python脚本来辅助我们执行一些重复的操作。但是这些脚本在实际使用中会有一些不方便：我们通常需要进入终端或者IDE中来
- 很多人对于CSS都是边干边学习，因为它不像C#之类的语言那么复杂，看起来似乎挺简单，然而正是这种对CSS的不完整的理解，导致了许多的CSS代
- OL定义有序列表的时候，除非指定list-style-position:inside;，否则文字和前导符是有缩进的。但有的时候，OL定义的列
