python采集百度百科的方法
作者：两把刷子 发布时间：2023-01-12 03:48:35
标签：python,采集
本文实例讲述了python采集百度百科的方法。分享给大家供大家参考。具体如下：
#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:get_baike.py
import urllib2,re
import sys
def getHtml(url,time=10):
response = urllib2.urlopen(url,timeout=time)
html = response.read()
response.close()
return html
def clearBlank(html):
if len(html) == 0 : return ''
html = re.sub('\r|\n|\t','',html)
while html.find(" ")!=-1 or html.find(' ')!=-1 :
html = html.replace(' ',' ').replace(' ',' ')
return html
if __name__ == '__main__':
html = getHtml('http://baike.baidu.com/view/4617031.htm',10)
html = html.decode('gb2312','replace').encode('utf-8') #转码
title_reg = r'<h1 class="title" id="[\d]+">(.*?)</h1>'
content_reg = r'<div class="card-summary-content">(.*?)</p>'
title = re.compile(title_reg).findall(html)
content = re.compile(content_reg).findall(html)
title[0] = re.sub(r'<[^>]*?>', '', title[0])
content[0] = re.sub(r'<[^>]*?>', '', content[0])
print title[0]
print '#######################'
print content[0]
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
pip install *** :Cannot connect to proxy在使用pip install 安装任何新的包都会出现下面错误- django自定义管理器和model的继承在我写代码时建立的很多数据库需要一些共同的字段，比如is_active, create_time这
- 1、模拟退火算法退火是金属从熔融状态缓慢冷却、最终达到能量最低的平衡态的过程。模拟退火算法基于优化问题求解过程与金属退火过程的相似性，以优化
- CAS 全称集中式认证服务(Central Authentication Service)，是实现单点登录(SSO)的一中手段。CAS 的通
- 平时见到的url参数都是key-value, 一般vlaue都是字符串类型的如果有幸和我一样遇到字典，列表等参数，那么就幸运了python2
- PHP PDO 事务与自动提交现在通过 PDO 连接上了，在开始进行查询前，必须先理解 PDO 是如何管理事务的。事务支持四大特性（ACID
- 在CentOS7下，默认安装的就是python2.7，我现在来教大家如何安装python3：1、首先安装python3.6可能使用的依赖#
- 这里用到django-rest-framework-jwt这个库 https://github.com/GetBli
- 前言此专栏为python与R语言对比学习的文章；以通俗易懂的小实验，带领大家深入浅出的理解两种语言的基本语法，并用以实际场景！感谢大家的关注
- from win32com.client import DispatchEximport timeie=DispatchEx("I
- 本文实例讲述了python实现清屏的方法。分享给大家供大家参考。具体分析如下：一试：>>> import os>&g
- 概述很多人接触Python，都是从爬虫开始，其实很多语言都可以做爬虫，只是Python相对其他语言来说，更加简单而已。但是Python并不止
- 一、单字节SQL注入MYSQL的SQL注入已经由来已久，以下是普遍采用的注入步骤：1、在GET参数上加一个/*或者#（mysql专有的注释）
- 有时我们在定义字段名及别名时所用名与oracle关键字同名，这时该如何处理呢？ 其实很简单，只要在此关键字加上""，如&
- 鉴于安全性的需要，该对象收到很多限制，现在只剩下下列属性和方法。History历史对象有length这个属性，列出历史的项数。JavaScr
- 大家好，我是东哥。本篇和大家介绍一个经典的异常检测算法：局部离群因子(Local Outlier Factor)，简称LOF算法。背景Loc
- 在python命令行模式下，在IDLE中输入多行，例如if else使用tab的方式，控制缩进在最后，连续两个回车，表示结束&g
- 如果你有对触发器和事务的概念，有些了解，这篇文章，对你来说会是很简单，或能让你更进一步的了解触发器里面的一些故事，和触发器中事务个故事。在这
- 除了在Matlab中使用PRTools工具箱中的svm算法，Python中一样可以使用支持向量机做分类。因为Python中的sklearn库
- 很多小伙伴对 MySQL 的隔离级别一直心存疑惑，其实这个问题一点都不难，关键看怎么讲！单纯的看理论，绝对让你晕头转向，但是，如果我们通过几
