Python I/O与进程的详细讲解
作者:沙沙罗曼 发布时间:2022-11-27 14:07:15
I/O
with语句
with context_expression [as target(s)]:
with-body
context_expression
返回值遵从上下文管理协议,包含__enter__()
与__exit__()
方法,as语句的target(s)得到的是__enter__()返回值,执行with-body
后会调用上下文管理器的__exit__()方法,使用with语句,可以减轻某些代码编写负担,比如文件读写。
读文件
try:
f = open('/path/to/file', 'r', encoding='utf8', errors='ignore')
print(f.read(1024))
finally:
if f:
f.close()
# 使用with语句
with open('/path/to/file', 'r') as f:
print(f.read(1024))
open()
方法打开文件模式,默认以utf8格式读取,添加后缀'b'(rb、wb)表示以二进制方式读取,mode有以下几种:
StringIO和BytesIO
StringIO将string按照文件的方式读取和写入,BytesIO将bytes按照文件的的方式读取和写入。
OS
通过OS模块,与操作系统信息交互,如创建、移动、列出文件等等。
序列化
通过内置模块pickle,实现序列化与反序列化,使用json模块完成JSON数据的序列化和反序列化。
import pickle
d = dict(name = 'sha', age = 26)
# 将序列化内容写入文件
with open('dump', 'wb') as f:
pickle.dump(d, f)
# 从文件中读取序列化内容
with open('dump', 'rb') as f:
d = pickle.load(f)
print(d) # {'name': 'sha', 'age': 26}
进程与线程
进程
Python调用一次进程fork()
会有两次返回,子进程永远返回0,父进程中返回子进程ID。os.fork()
不支持windows,multiprocessing模块是跨平台版本的多进程模块。
import os
pid = os.fork() # pid后的代码会在两个进程中分别执行,通过pid值不同判断父子
if pid == 0:
print('exec in child process')
else:
print('exec in parent process')
# exec in parent process
# exec in child process
进程池
from multiprocessing import Pool
def say(x):
print(x)
if __name__ == '__main__':
p = Pool(4)
for i in range(5):
p.apply_async(say, args=(i,))
p.close()
p.join()
子进程
import subprocess
print('$ nslookup amsimple.com')
r = subprocess.call(['nslookup', 'amsimple.com'])
print('Exit code:', r)
进程间通信
进程间通信通过Queue与Pipes实现,父进程创建Queue传递给子进程。
线程
Python提供两个模块_thread与threading,前者是低级模块后者是高级模块,对_thread进行了封装。
启动一个线程就是把一个函数传入并创建Thread实例,然后调用start()开始执行:
import threading
# 新线程执行的代码:
def say():
print('%s say hello' % threading.current_thread().name)
t = threading.Thread(target=say, name = 'SayThread')
t.start()
t.join()
threading.current_thread()
返回但前运行线程的实例,主线程名MainTreed,子线程名在创建时指定。
通过threading.Lock()
获取锁,某些需要线程安全的操作,先通过acquire()
获取锁,通过release()
释放锁。
Python中的线程因为GIL锁,无法真正利用多核。
通过ThreadLocal实现线程级的全局变量,不同线程间相互不影响。
import threading
th_local = threading.local() # th_local会跟线程绑定,不同线程看到的是不同对象
分布式进程
managers模块依靠网络通信,可以把多进程分布到多台机器上。
正则
通过'r'前缀定义正则字符串,通过re模块做正则匹配等操作。
import re
s = r'^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$'
re.match(s, 'shasharoman@gmail.com')
来源:https://amsimple.com/blog/article/43.html
猜你喜欢
- 今天给大伙分享一下 Python 爬虫的教程,这次主要涉及到的是关于某 APP 的逆向分析并抓取数据,关于 APP 的反爬会麻烦一些,比如
- 或许现在关心交互设计的设计师们大部分来自于了互联网行业,所以我们看到当你搜索“交互设计”时更多的BLOG和文章是在谈论互联网,网站的导航,注
- 如果你想用Python开发Windows程序,并让其开机启动等,就必须写成windows的服务程序Windows Service
- 方法一:进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为
- 1 简介孤立森林(isolation Forest)是一种高效的异常检测算法,它和随机森林类似,但每次选择划分属性和划分点(值)时都是随机的
- 主要就是通过jieba的posseg模块将一段文字分段并赋予不同字段不同意思。然后通过频率计算出热频词数据放在文章里面了,就不用花积分下载了
- 1、生成器函数包含yield from表达式。2、在yield from表达式处暂停委派生成器,调用方可直接将数据发送给子生成器。3、子生成
- 1、ndarray转换成matriximport numpy as npfrom numpy import random,matr_arr=
- islower()方法判断检查字符串的所有的字符(字母)是否为小写。语法以下是islower()方法的语法:str.islowe
- 对象Python 中,一切皆对象。每个对象由:标识(identity)、类型(type)、value(值)组成。1. 标识用于唯一标识对象,
- 遇到问题nohup python flush.py &这样运行,生成了nohup.out文件,但是内容始终是空的,试了半天也不行。浪
- 前言之前看过一遍的python教程,真的是自己看过一遍,python的程序能看懂,但是很难去实现。比较困难的自己实现一些代码,找工作原因,自
- 内容摘要:MySQL易学易用,附带丰富的技术文档,这两个因素使之被广泛应用。然而,随着MySQL发展加快,即使一个MySQL老手有时也会为该
- 第一题:ASP中,VBScript的唯一的数据类型是什么?第二题:在ASP中,VBScript有多种控制程序流程语句,如If…Then, S
- 我就废话不多说了,大家还是直接看代码吧!cmd.py# -*- coding: utf-8 -*-from PySide import Qt
- 我们能否使用一些自动化工具代替人来完成数据分析的过程呢,现有一些成熟的 AutoEDA 工具可以一定程度上完成上述过程。本文中,我将盘点常见
- 学委前面展示dict的概念和增删查改!这次我们把其他函数介绍补充了。dict 的元素定位(键/值定位)和遍历dict这种对象我们可以通过 k
- 方法一:mylist = [1,2,2,2,2,3,3,3,4,4,4,4]myset = set(mylist)for item in m
- 目录背景法1,不适用法2,已不能用法3:Appnium法4:模拟操作整体代码后续工作及扩展总结背景由于课题需要爬取朋友圈的内容作为研究数据,
- 彩 * 像转换为灰度图像第一种方式通过 imread 读取图像的时候直接设置参数为 0 ,自动转换彩 * 像为灰度图像第二种方式,可以通过 sp