Python实现对中文文本分段分句
作者:虚坏叔叔 发布时间:2022-09-16 18:16:50
标签:Python,文本,分段,分句
一、问题
实现对文本的分句,大致来说主要是以中文的句号、感叹、问号等符号进行分句。难点在于直接分句可能会造成人物说话的语句也被分开!
二、步骤
分段
首先读取文本,文本读取后整体是一个字符串,每一个段之间是空白,所以分段之间按照空白分开来即可,最后存入一个paragraph_list,注意该list的下标就是段落的顺序号!其他的这里就不再多赘述!(可以查看最后的整体代码)
分句
首先拿到上面分好的paragraph_list,循环拿到每一段,然后对每一段直接按照分句规则(正则表达式)进行分句,参考该文章
import re
def cut_sent(para):
para = re.sub('([。!?\?])([^”'])', r"\1\n\2", para)
para = re.sub('(\.{6})([^”'])', r"\1\n\2", para)
para = re.sub('(\…{2})([^”'])', r"\1\n\2", para)
para = re.sub('([。!?\?][”'])([^,。!?\?])', r'\1\n\2', para)
para = para.rstrip()
return para.split("\n")
# 这一段文字分句后应该有的结果
s = '今天天气好啊!' \
'温度高吗?你好,很高兴遇见你,真不错。' \
'小明遇见小红说:"你的衣服这好看!"' \
'小红说:"什么?衣服真好看?真的吗?"' \
'小明回答到:"嗯,真的!我也想买。"'
for i in cut_sent(s):
print(i)
#结果将人物语句也分开
"""
今天天气好啊!
温度高吗?
你好,很高兴遇见你,真不错。
小明遇见小红说:"你的衣服这好看!
"小红说:"什么?
衣服真好看?
真的吗?
"小明回答到:"嗯,真的!
我也想买。
"
"""
连接
这里解决办法就是循环每一句,识别:"和"
两个符号均有,则该句直接就是一整句,直接就加入
两个符号都没有,则该句直接就是一整句,直接就加入
如果只有前面符号而无后面符号,则记录有前面符号那一句,依次往下拼接,直到遇到字符最后有“,将上面拼接好的语句作为一整句放入
def connect(paragraph):
sentence_before = []
sentence_after = []
for each_para in paragraph:
sentence_before.append(cut(each_para))
# 核心代码!(将被错分的语句进行连接)
for each in sentence_before:
list = []
sentence = ""
FLAG = True # 非常关键!判断有':“'的符号后面的语句是否继续拼接
for i in each:
if i.find(':“') * i.find('”') >= 0 and FLAG:
list.append(i + sentence)
else:
FLAG = False
sentence = sentence + i
if i.find('”') > 0:
list.append(sentence)
sentence = ""
FLAG = True
sentence_after.append(list)
return sentence_after
三、最后整体代码
import re
import pandas as pd
# 将整篇文章进行分段
def segments(url):
raw = pd.read_csv(url,names=['txt'], sep='aaa', encoding="GBK" ,engine='python')
def m_head(tem_str):
return tem_str[:1]
def m_mid(tmp_str):
return tmp_str.find("回 ")
raw['head'] = raw.txt.apply(m_head)
raw['mid'] = raw.txt.apply(m_mid)
raw['len'] = raw.txt.apply(len)
chap_num = 0
for i in range(len(raw)):
if raw['head'][i] == "第" and raw['mid'][i] > 0 and raw['len'][i] < 30:
chap_num += 1
if chap_num >= 40 and raw['txt'][i] == "附录一:成吉思汗家族":
chap_num = 0
raw.loc[i, 'chap'] = chap_num
del raw['head']
del raw['mid']
del raw['len']
tmp_chap = raw[raw['chap'] == 7].copy()
tmp_chap.reset_index(drop=True, inplace=True)
tmp_chap['paraidx'] = tmp_chap.index
paragraph = tmp_chap['txt'].values.tolist()
return paragraph
# 将每段进行分句
def cut(para):
# 相关规则
pattern = ['([。!?\?])([^”'])','(\.{6})([^”'])','(\…{2})([^”'])','([。!?\?][”'])([^,。!?\?])']
for i in pattern:
para = re.sub(i, r"\1\n\2", para)
para = para.rstrip()
return para.split("\n")
# 将其中被错分的语句进行连接(主要是针对话语)
def connect(paragraph):
sentence_before = []
sentence_after = []
for each_para in paragraph:
sentence_before.append(cut(each_para))
# 核心代码!(将被错分的语句进行连接)
for each in sentence_before:
list = []
sentence = ""
FLAG = True # 非常关键!判断有':“'的符号后面的语句是否继续拼接
for i in each:
if i.find(':“') * i.find('”') >= 0 and FLAG:
list.append(i + sentence)
else:
FLAG = False
sentence = sentence + i
if i.find('”') > 0:
list.append(sentence)
sentence = ""
FLAG = True
sentence_after.append(list)
return sentence_after
# 将最后的结果保存到DataFrame
def toDataFrame(list3):
df = pd.DataFrame(columns=["content","paragraph","sentence"])
for para_num,i in enumerate(list3):
for sentence_num,j in enumerate(i):
df_ = pd.DataFrame({"content": j, "paragraph": para_num,"sentence":sentence_num+1},index=[para_num])
df = df.append(df_,ignore_index=True)
for i in df['content'].values.tolist():
print(i)
def main():
# URL = "/Users/dengzhao/Downloads/金庸-射雕英雄传txt精校版.txt"
URL = input("请输入文件地址:")
para = segments(URL)
result = connect(para)
print(result)
flag = input("以DataFrame形式输出数据(Y,N):")
if flag == 'Y':
toDataFrame(result)
elif flag == 'N':
print("Thanks!!!!")
else:
print("程序结束!请检查的你的输入!")
if __name__ == '__main__':
main()
来源:https://blog.csdn.net/biggbang/article/details/129535678
0
投稿
猜你喜欢
- for 循环本系列前面 “探索 Python,第 5 部分:用 Python 编程” 一文讨论了 if 语句和 while 循环,讨论了复合
- 首先,FSO是FileSystemObject的简称。当然也就是我们的俗称FSO组件了,该组件可以用来处理驱动器、文件夹以及文件。它可以检测
- PyQt5 Qt Designer (Qt设计师)PyQt5是对Qt所有类进行封装, Qt能开发的东西, PyQt都能开发.Qt是强大的GU
- Yoho, 大家好,又是我哟~ 首先抱歉让大家等了这么多时间。最近实在比较繁忙啦。不过我还是会尽量抽空出来给大家讲点有的没的,欢迎大家继续
- EXISTS该函数返回集合中第一个元素的索引,如果集合为空,返回NULLNULLNULLCollection.EXISTS(index)CO
- 1、问题现象:有个网站是通过session验证的,前端时间访问正常,但近期后台session老是失效很快,根本没法操作,我设置timeout
- 要想从命令行启动mysqld服务器,你应当启动控制台窗口(或“DOS window”)并输入命令:C
- 展示:一般情况下序列化得到的外键的内容只是id:...{ fields: { uat_date: "2015-07-
- 首先预览一下 PyCharm 在实际应用中的界面:(更改了PyCharm的默认风格)安装首先去下载最新的pycharm 2.7.3,进行安装
- PHP lcfirst() 函数实例把 "Hello" 的首字符转换为小写。:<?php echo lcfirst
- 轮播图的根本其实就是缓动函数的封装,如果说轮播图是一辆跑动的汽车,那么缓动函数就是它的发动机,今天本文章就带大家由简入繁,封装属于自己的缓动
- 本文实例为大家分享了python3实现ftp服务功能的具体代码,供大家参考,具体内容如下客户端 main代码:#Author by Andy
- 表单递交合法性检测-只接受数字。如下代码加入HTML的<head>区:<SCRIPT LANGUAGE=&quo
- 抓取“xmly”鬼故事音频import json # 在这个url,音频链接为JSON动态生成,所以用到了json模块impor
- 一、从外部文档中粘贴时,如果只要文字而不想要其格式,可以使用“Edit→paste as text”命令,不要直接用Ctrl+V。二、当有浏
- 1. 使用函数 np.random.random由于 np.random.random() 默认生成 0~1 之间的小数,因此需要转换一下如
- 推荐阅读:go语言最新版激活教程可以点下这个链接查看。goland永久安装教程,点击此处查看。Go 这几年很火,小哈也蹭业余时间悄 * 学习一
- 技巧之一:提高使用Request集合的效率 访问一个ASP集合来提取一个值是费时的、占用计算资源的过程。因为这个操作包含了一系列对相关集合的
- 本次做一个最简单的贪食蛇雏形游戏,就是一个小蛇在画面上移动,我们可以控制蛇的移动方向,但是不能吃东西,蛇不会长大。但是基础的有了,完整版的贪
- 桑基图,它的核心是对不同点之间,通过线来连接。线的粗细代表流量的大小。很多工具都能实现桑基图,比如:Excel、tableau,我们今天要用