python用类实现文章敏感词的过滤方法示例
作者:代序春秋 发布时间:2022-04-10 19:30:25
标签:python,敏感词,过滤
过滤一遍并将敏感词替换之后剩余字符串中新组成了敏感词语,这种情况就要用递归来解决,直到过滤替换之后的结果和过滤之前一样时才算结束
第一步:建立一个敏感词库(.txt文本)
第二步:编写代码在文章中过滤敏感词(递归实现)
# -*- coding: utf-8 -*-
# author 代序春秋
import os
import chardet
# 获取文件目录和绝对路径
curr_dir = os.path.dirname(os.path.abspath(__file__))
# os.path.join()拼接路径
sensitive_word_stock_path = os.path.join(curr_dir, 'sensitive_word_stock.txt')
# 获取存放敏感字库的路径
# print(sensitive_word_stock_path)
class ArticleFilter(object):
# 实现文章敏感词过滤
def filter_replace(self, string):
# string = string.decode("gbk")
# 存放敏感词的列表
filtered_words = []
# 打开敏感词库读取敏感字
with open(sensitive_word_stock_path) as filtered_words_txt:
lines = filtered_words_txt.readlines()
for line in lines:
# strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。
filtered_words.append(line.strip())
# 输出过滤好之后的文章
print("过滤之后的文字:" + self.replace_words(filtered_words, string))
# 实现敏感词的替换,替换为*
def replace_words(self, filtered_words, string):
# 保留新字符串
new_string = string
# 从列表中取出敏感词
for words in filtered_words:
# 判断敏感词是否在文章中
if words in string:
# 如果在则用*替换(几个字替换几个*)
new_string = string.replace(words, "*" * len(words))
# 当替换好的文章(字符串)与被替换的文章(字符串)相同时,结束递归,返回替换好的文章(字符串)
if new_string == string:
# 返回替换好的文章(字符串)
return new_string
# 如果不相同则继续替换(递归函数自己调用自己)
else:
# 递归函数自己调用自己
return self.replace_words(filtered_words, new_string)
def main():
while True:
string = input("请输入一段文字:")
run = ArticleFilter()
run.filter_replace(string)
continue
if __name__ == '__main__':
main()
运行结果:
来源:https://blog.csdn.net/geek64581/article/details/102750552


猜你喜欢
- 1、词表映射无论是深度学习还是传统的统计机器学习方法处理自然语言,都需要先将输入的语言符号(通常为标记Token),映射为大于等于0、小于词
- 本文实例讲述了Python3实现将文件归档到zip文件及从zip文件中读取数据的方法。分享给大家供大家参考。具体实现方法如下:'
- 本文为大家分享了SQLServer存储过程中事务的使用方法,具体代码如下create proc usp_Stock@GoodsId int,
- 简介:Mysql数据库按时间点恢复实战对于任何一家企业来讲,数据都是最宝贵的财富。如何保护数据完整性,数据不受损坏,在发生故障时,如何保住数
- 前言在Django中有大量的通用类视图,例如ListView,DetailView,CreateView,UpdateView等等,将所有重
- MySQL有多种存储引擎:MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、
- 连接mysql#!/usr/bin/python#-*- coding:utf-8 -*-import timeimport pymysql
- 前言工作中偶尔会遇到文件去重的事情,收到一大堆文件,名称各不相同,分析文件的时候发现有不少重复的文件,导致工作效率低下,那么,这里就写了一个
- AJAX简介AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML)。AJA
- 前言编程是一件很快乐的事,实现一个目的,我们可以有很多方法路径,在这篇文章我们介绍一些JavaScript的奇技淫巧,仅供大家参考,各路大神
- 一、介绍如果在Python中需要对用户输入的密码或者其他内容进行加密,首选的方法是生成hash值。在Python中可以利用二个模块来进行:&
- 针对排序来说,order by 是我们使用非常频繁的关键字。结合之前我们对索引的了解再来看这篇文章会让我们深刻理解在排序的时候,是如何利用索
- 在工控应用上,返回的数据经常会以二进制的形成存储,而这些二进制数据又是以每4个bit表示一个十六进制的数据内容。解析的时候,往往是一个字节(
- 一、准备工作请参照 Vue前端框架搭建 使用模板创建框架。二、创建登录页1.main.js 中引入全局 ToastPlugin、Loadin
- SQLServer分页方式附带50万数据分页时间[本机访问|已重启SQL服务|无其他程序干扰][非索引排序]环境 WIN7 SQL服务12.
- 昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例涉及主要知识点:web是如何交互的requests库的get、post函数的应用r
- 前言本文主要分享一个python代码,可以将多个视频中的音频转化为相同采样率的视频。对视频格式的校验没有做,也不是很关键。环境依赖ffmpe
- 要随机生成字符串代码如下: 在MySQL中定义一个随机串的方法,然后再SQL语句中调用此方法。 随机串函数定义方法: CREATE DEFI
- 让左模糊查询也能走索引测试表USER_INFO表数据以及结构如下有一个USER_NAME字段的索引有个业务需求,需要模糊搜索出用户名后几位有
- 介绍当创建一个应用程序时,通常希望能够告诉你的应用程序如何做某事。有两种流行的方法来完成这项任务,你可以让应用程序接受命令行参数,或者创建一