PHP导出数据超时的优化建议
作者:冷月& 发布时间:2023-06-29 18:36:32
一般情况下,导出超时可能都是以下三种情况:
一、sql语句复杂,查询时间过长;
二、处理查询后数据逻辑冗余;
三、数据量过大导致响应超时。
接下来分别给出这三种情况的优化建议。
一、sql语句复杂,查询时间过长
1、查看索引是否设置妥当,即所用的查询条件是否有添加索引,当然索引不是越多越好,只需给常用的查询条件加上即可,一般采用B+树的索引方式(具体原因可自行百度,不再赘述)
2、在查询语句中尽量避免IN、NOT IN、IS NULL、OR、!=、<>、LIKE、OR、NOT EXISTS这些查询条件的出现,会导致索引失效。
- IN查询时,可以考虑用BETWEEN来代替
- LIKE查询时,仅当"%"在前时会索引失效,"%"在后是不会失效的
- 查询条件里还要避免数字的出现,使用字符串,数字也会导致索引失效,例如,查询:"pid"=1,可以优化为"pid"="1"
- 要尽量避免在循环中使用查询语句,这种情况一般可以用join或者with来解决(当涉及到跨库时,请谨慎使用这种方式!)
- 查询时,可以指定需要查询的字段,排除掉不需要的字段避免资源浪费
- 当数据量多大时,可以使用分页和缓存来优化(具体方法请参考数据量过大导致响应超时部分)
温馨提示:在执行查询语句后,可以通过show profiles
来查询语句的资源消耗情况来帮助你更好的优化sql语句;关于查询语句是否使用了索引,可以在查询语句前加explain
来查看索引使用情况,例如:explain select * from user where id= '1';
二、处理查询后数据逻辑冗余
- 在做数组循环时,尽量使用continue、break来减少没必要的循环;
- 尽量减少if嵌套层数,在需要用到多个if-else时,使用switch可以提高效率,特别是在数据量大时
- 当进行数组赋值时,
一次赋一个值,使用$arr[]=1,会比array_push($arr,"1"),更快,
但是当需要多次赋值时,
array_push($arr,"1","2","3",...),会比
$arr[]="1";
$arr[]="2"
$arr[]="3"
...
更快
- 遍历数组进行赋值时,尽量使用引用的方式,减少内存开销,例如:
foreach($arr as &$item){
$item = 1;
...
}
三、数据量过大导致响应超时
当数量两过大,又不想用异步的方式导出excel文件时,可以尝试使用csv来作为到处格式,且查询导出数据时可以使用分页的方式查询,导出时利用ob_flush进行缓存。例如:
$page = 1; // 页面
$pageSize = 1000; //每页条数
while(
$list = Db::name("user")->page($page)->limit($pageSize)->select()
)
{
foreach($list as &$item){
// TODO 进行相应的逻辑处理
}
$page++;
}
当数据访问次数过多时,建议使用redis缓存一些固定数据,减少mysql查询次数。
当然,最好的方式还是使用异步的方式导出,建议使用python或者go语言搭建微服务来进行导出。
来源:https://www.cnblogs.com/ycold/p/14984368.html


猜你喜欢
- 本文实例讲述了PHP封装的PDO数据库操作类。分享给大家供大家参考,具体如下:<?phpclass DatabaseHandler {
- 本文记录了mysql安装详细教程,分享给大家。一、版本的选择之前安装的Mysql,现在才来总结,好像有点晚,后台换系统了,现在从新装上Mys
- server端代码:package main import ( "fmt" "net" "
- socket文件:当用Unix域套接字方式进行连接时需要的文件。pid文件:MySQL实例的进程ID文件。1.pid-file介绍MySQL
- 本文实例为大家分享了vue+Element实现登录随机验证码的具体代码,供大家参考,具体内容如下验证码验证只是前端,无需后台交互首先,创建一
- Python基本内置数据类型有哪些一些基本数据类型,比如:整型(数字)、字符串、元组、列表、字典和布尔类型。随着学习进度的加深,大家还会接触
- 1.数据准备#1.建立员工表,并创建name,age,position索引,id为自增主键CREATE TABLE `employees`
- 我们通过单体模式理解了是以对象字面量的方式来创建单体模式的;比如如下的对象字面量的方式代码如下:var singleMode = { &nb
- 看这篇文章前需要先了解一下以下几个问题~一、问题1.分区是什么分区:就是把一张表数据分块存储目的:提升索引的查询效率2.Mysql为什么要使
- 这篇博客主要是为了学习Python和PyQt,因为对棋类游戏比较热衷,所以从规则较简单的五子棋入手,利用PyQt5实现图形界面,做一个可以进
- 本文实例讲述了SQL Server日期加减函数DATEDIFF与DATEADD用法。分享给大家供大家参考,具体如下:SQL Server 日
- 目录1.字符串的介绍2.字符串的下标3.字符串切片4.字符串find()操作5.字符串index()操作6.字符串count()操作7.字符
- 前言本专栏内容目前已经比较系统了,核心内容也相对完整,本系列文章会根据Spring Security社区的发展逐步的更新内容。请大家多多关注
- Anaconda简介Anaconda是一个方便的python包管理和环境管理软件,一般用来配置不同的项目环境。我们常常会遇到这样的情况,正在
- 表结构: CREATE TABLE [dbo].[Xtest]( [ID] [bigint] IDENTITY(1,1) NOT NULL,
- testify在团队里推行单元测试的时候,有一个反对的意见是:写单元测试耗时太多。且不论这个意见对错,单元测试确实不应该太费时间。这时候,一
- 一、Tensor 之间的运算规则相同大小 Tensor 之间的任何算术运算都会将运算应用到元素级不同大小 Tensor(要求dimensio
- 目录0. 前言1. ipaddress模块介绍1.1 IP主机地址1.2 定义网络1.3 主机接口1.4 检查address/network
- 来看看javascript怎么实现自动点击超级链接吧,主要使用了js中的onclick事件。这里推荐大家看看这篇文章js鼠标事件大全。看了这
- 前言:在开发中经常会与时间打交道,如:获取事件戳,时间戳的格式化等,这里简要记录一下python操作时间的方法。python中常见的处理时间