Python实现抓取网页并且解析的实例
作者：shichen2014 发布时间：2022-01-12 13:24:53
标签：Python
本文以实例形式讲述了Python实现抓取网页并解析的功能。主要解析问答与百度的首页。分享给大家供大家参考之用。
主要功能代码如下：
#!/usr/bin/python
#coding=utf-8
import sys
import re
import urllib2
from urllib import urlencode
from urllib import quote
import time
maxline = 2000
wenda = re.compile("href=\"http://wenda.so.com/q/.+\?src=(.+?)\"")
baidu = re.compile("<a href=\"http://www.baidu.com/link\?url=.+\".*?>更多知道相关问题.*?</a>")
f1 = open("baidupage.txt","w")
f2 = open("wendapage.txt","w")
for line in sys.stdin:
if maxline == 0:
break
query = line.strip();
time.sleep(1);
recall_url = "http://www.so.com/s?&q=" + query;
response = urllib2.urlopen(recall_url);
html = response.read();
f1.write(html)
m = wenda.search(html);
if m:
if m.group(1) == "110":
print query + "\twenda\t0";
else:
print query + "\twenda\t1";
else:
print query + "\twenda\t0";
recall_url = "http://www.baidu.com/s?wd=" + query +"&ie=utf-8";
response = urllib2.urlopen(recall_url);
html = response.read();
f2.write(html)
m = baidu.search(html);
if m:
print query + "\tbaidu\t1";
else:
print query + "\tbaidu\t0";
maxline = maxline - 1;
f1.close()
f2.close()
希望本文所述对大家Python程序设计的学习有所帮助。
0
投稿猜你喜欢
- 为了安全起见，最好还是给打开的文件对象指定一个名字，这样在完成操作之后可以迅速关闭文件，防止一些无用的文件对象占用内存。举个例子，对文本文件
在上一期python numpy 模块中对概述介绍了numpy 模块安装、使用方法、特点等入门知识。numpy 模块是一个开源的第三方Pyt- 前言最近写了个CNode 社区的微信小程序版本，把在微信小程序中使用npm包，踩的坑记录一下，希望能给遇到类似问题的小伙伴，提供一些思路和方
- 本文实例讲述了python通过装饰器检查函数参数数据类型的方法。分享给大家供大家参考。具体分析如下：这段代码定义了一个python装饰器，通
- 需要先装pywin32，windows下调用winapi的接口## _*_ coding:UTF-8 _*___author__ =
- 本文实例为大家分享了python和shell监控linux服务器的具体代码，供大家参考，具体内容如下1、 shell监控负载监控原理：使用u
- 一，fso.GetFile提取文件相应的 File 对象1，getfile.asp<％whichfile=Serv
- 需求描述上周突然接到一个任务，要通过XX网站导出XX年-XX年之间的数据，导出后的文件名就是对应日期，导出后发现，竟然有的文件大小是一样，但
- 本文实例讲述了Python3.6简单反射操作。分享给大家供大家参考，具体如下：# -*- coding:utf-8 -*-#!python3
- 1、有一个论坛，帖子的数据巨大，请简要说明如何提高用户搜索帖子的效率。 在程序方面，可以使用页面缓存技术。在前台界面着设计方面也可以让用户输
- 实际工作中可能会有这样的场景：两个结构体(可能类型一样), 字段名和类型都一样, 想复制一个结构体的全部或者其中某几个字段的值到另一个(即m
- 目录1.自定义行索引2. 按普通索引选择数据2.1 按普通索引选择单行数据2.2 按行索引选择多行数据3.按位置索引选择数据3.2 按位置索
- 一。初识单元测试1)定义：单元：函数或者是类单元测试：测试类或者函数python内置的单元测试框架：unittest2)单元测试的意义好处：
- <％@ page language="java" contentType="text/html; cha
- 下面写一下，这两个要是有no了，怎么恢复。。 如果是slave_io_running no了，那么就我个人看有三种情况，一个是网络有问题，连
- 本文实例讲述了python自动化测试的过程，分享给大家供大家参考。具体代码如下：import unittest ##############
- Python import的搜索路径import的搜索路径为：搜索「内置模块」（built-in module）搜索 sys.path 中的
- 1、生成数据集（双月数据集）class moon_data_class(object): def __init__
- （1）函数的分类：内置函数：python内嵌的一些函数。匿名函数：一行代码实现一个函数功能。递归函数自定义函数：根据自己的需求，来进行定义函
- 本文实例为大家分享了Python3实现飞机大战游戏的具体代码，供大家参考，具体内容如下1、主程序：plane_main.pyimport p
