python实现的读取网页并分词功能示例
作者：笨小孩好笨 发布时间：2022-05-08 07:06:38
标签：python,读取网页,分词
本文实例讲述了python实现的读取网页并分词功能。分享给大家供大家参考，具体如下：
这里使用分词使用最流行的分词包jieba，参考：https://github.com/fxsjy/jieba
或点击此处本站下载jieba库。
代码：
import requests
from bs4 import BeautifulSoup
import jieba
# 获取html
url = "http://finance.ifeng.com/a/20180328/16049779_0.shtml"
res = requests.get(url)
res.encoding = 'utf-8'
content = res.text
# 添加至bs4
soup = BeautifulSoup(content, 'html.parser')
div = soup.find(id = 'main_content')
# 写入文件
filename = 'news.txt'
with open(filename,'w',encoding='utf-8') as file_object:
# <p>标签的处理
for line in div.findChildren():
file_object.write(line.get_text()+'\n')
# 使用分词工具
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list)) # 全模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list)) # 精确模式
seg_list = jieba.cut("他来到了网易杭研大厦") # 默认是精确模式
print(", ".join(seg_list))
with open(filename,'r',encoding='utf-8') as file_object:
with open('cut_news.txt','w',encoding='utf-8') as file_cut_object:
for line in file_object.readlines():
seg_list = jieba.cut(line,cut_all=False)
file_cut_object.write('/'.join(seg_list))
爬取结果：
分词结果：
希望本文所述对大家Python程序设计有所帮助。
来源：https://blog.csdn.net/u013288190/article/details/79736198
0
投稿猜你喜欢
先上个效果图，就是用左右尖括号可改变中间日期的值。（点击中间显示区域有时间选择器弹框，用的插件就不说了，主要说自己原创的部分） &- 1.列表list是处理一组有序项目的数据结构，即你可以在一个列表中存储一个序列的项目。列表中的项目。列表中的项目应该包括在方括号中，这样py
- 1、Mysql errono 1005 : 主外键不是完全一致 , 请检查如下几点: a、字段是否存在 b、类型是否一致(注意unsigne
- MySQL的数据库管理工具非常多，有哪些优秀的GUI工具可以帮助提高工作效率?不妨看一看这5个MySQL GUI工具。1、Navicat f
- pip install指定安装目录pip install一般会有默认的安装目录，可以通过python -m site进行查看，当然也可以对默
- 用XMLHTTP Post Form时的表单乱码有两方面的原因——Post表单数据时中文乱码；服务器Response被XMLHTTP不正确编
- 前言：本篇主要讲两方面，错误和异常以及模块。在编程时遇见错误信息在所难免，Python中会也有很多种错误信息，常见的两种就是语法错误和逻辑错
- 多值运动，也就是对于某个对象来说，不仅仅只是其中一个属性值在变化，而是好多个，比如宽，高，字体，透明度等等同时变化当然了，多值运动会产生一个
- 我们要先配置npm的全局模块的存放路径以及cache的路径，例如我希望将以上两个文件夹放在nodejs的主目录下，便在nodejs下建立”n
- 本文实例讲述了Python实现获取前100组勾股数的方法。分享给大家供大家参考，具体如下：本来想采用穷举试探的方式来做这个算法，后来发现还是
- 1. 前言但是对于很多人来说，首先编写一款 App 需要一定的移动端开发经验，其次还需要另外编写无障碍服务应用，如此显得有一定难度的本篇文章
- MySQL是一个关系型数据库管理系统，官方网站是http://www.mysql.com/，分为MySQL Enterprise Editi
- python脚本性能分析首先使用cd进入需要测试的脚本文件对应的目录，然后再使用如下代码完成对脚本的性能测试。# enter the dir
- 最近在写vue项目，需要由后台传来当前用户对应权限的路由表，前端通过调接口拿到后处理(后端处理路由)，就是配置vue动态路由啦。由于错信了一
- 类：定义一件事物的抽象特点。对象：类的 实例。成员变量 − 定义在类内部的变量。该变量的值对外是不可见的，但是可以通过成
- 1. 文件的读写原理：文件的读写称为I/O操作。操作原理：.py文件是用解释器去运行，调用OS操作系统的资源，去操作磁盘上的文件。操作流程：
- 在Python中需要通过正则表达式对字符串进⾏匹配的时候，可以使⽤⼀个python自带的模块，名字为re。正则表达式的大致匹配过程是：1.依
- 1.paramiko概述ssh是一个协议，OpenSSH是其中一个开源实现，paramiko是Python的一个库，实现了SSHv2协议(底
- 本文实例为大家分享了python实现转盘效果的具体代码，供大家参考，具体内容如下#抽奖 面向对象版本import tkinterimport
- 一、窗口函数的基本用法从MySQL8之后才开始支持窗口函数<窗口函数> OVER ([PARTITION BY <用于分组
