利用Python将文本中的中英文分离方法
作者：微澜同学 发布时间：2023-01-06 11:55:58
标签：Python,中英文,分离
在进行文本分析、提取关键词时，新闻评论等文本通常是中英文及其他语言的混杂，若不加处理直接分析，结果往往差强人意。
下面对中英文文本进行分离做一下总结：
1、超短文本，ASCII识别。
s = "China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.该集团总裁朱利安周二表示，中国联想控股将分拆其多个业务部门在股市上市。"
result = "".join(i for i in s if ord(i) < 256)
print(result)
out:
China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.
2、unicode编码识别
import re
s = "China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.该集团总裁朱利安周二表示，中国联想控股将分拆其多个业务部门在股市上市。"
uncn = re.compile(r'[\u0061-\u007a,\u0020]')
en = "".join(uncn.findall(s.lower()))
print(en)
out:
chinas legend holdings will split its several business arms to go public on stock markets, the groups president zhu linan said on tuesday
中文的编码范围是：\u4e00-\u9fa5，相应的[^\u4e00-\u9fa5]可匹配非中文。
匹配英文时，需要将空格[\u0020]加入，不然单词之间没空格了。
来源：https://blog.csdn.net/sinat_36972314/article/details/79746291
0
投稿猜你喜欢
- <?php//===============================时间日期=========================
代码如下#!/bin/python#coding=utf-8#python-version=2.75- 问题描述我正在用Python 3.4.1来构建一个Django项目。 manage.py runserver 引发Uni
- 本文实例为大家分享了python实现桌面壁纸切换功能的具体实现方法，供大家参考，具体内容如下大体分为两个部分一、利用爬虫爬取壁纸第一部分爬取
- 第一步，建立一个CPP的DLL工程，然后写如下代码，生成DLL#include <stdio.h> &nb
- 什么是 better-scrollbetter-scroll 是一个移动端滚动的解决方案，它是基于 iscroll 的重写，它和 iscro
- 1.1 什么是多线程 Threading多线程可简单理解为同时执行多个任务。多进程和多线程都可以执行多个任务，线程是进程的一部分。线程的特点
- 1 介绍U-Net最初是用来对医学图像的语义分割，后来也有人将其应用于其他领域。但大多还是用来进行二分类，即将原始图像分成两个灰度级或者色度
- 排查原因，发现是80端口被其它程序占用（很常见的事情╮(╯_╰)╭）。解决方法用记事本打开目录x:\xampp\apache\conf下的h
- 最近在学习django，学到第五章模型时，需要连接数据库，然后，在这里分享一下方法。起初是不知道怎样配置mysql数据库，但是还好，djan
- 简介：网络爬虫（又被称为网页蜘蛛)，网络机器人，是一种按照一定的规则，自动地抓信息的程序或者脚本。假设互联网是一张很大的蜘蛛网，每个页面之间
- 今天在学习dubbo-go的时候,下载了dubbo-go的example,依赖的包太多了,之前都是手动下载某个依赖的包,现在手动一个一个 g
- fit_generator 是 keras 提供的用来进行批次训练的函数，使用方法如下：model.fit_generator(genera
- 爬虫库使用简单的requests库，这是一个阻塞的库，速度比较慢。解析使用XPATH表达式总体采用类的形式多线程使用concurrent.f
- Python怎么生成一个迭代器，对于需要处理大型数据来说，迭代器是必不可少的，这样可节省大量内存空间，更加合理操作数据。首先我们打开编辑器，
- JavaScript游戏开发之键盘控制层的移动截图：<html> <head> <meta http-equi
- python 对excel的 读入 与 改写（对比xlwt、openpyxl、xlrd）xlwt不支持写xlsx文件。openpyxl不支持
- 本文实例讲述了Python编程实现的简单Web服务器。分享给大家供大家参考，具体如下：最近有个需求，就是要创建一个简到要多简单就有多简单的w
- 前言学过编程的人应该对全局变量与局部变量这两个名词并不陌生，Python也同多数编程语言一样，也有全局变量与局部变量的概念但是与其他编程语言
- 最近写项目需要画出应用程序调用链的网路拓扑图，完全自己写需要花费些时间，那么首先想到的是echarts,但echarts的自定义写法写起来非
