相信很多人做大批量数据导出和数据导入的时候,经常会遇到PHP内存溢出的问题,在解决了问题之后,总结了一些经验,整理成文章记录下。
优化点
1、优化SQL语句,避免慢查询,合理的建立索引,查询指定的字段,sql优化这块在此就不展开了。
2、查询的结果集为大对象时转数组处理,框架中一般有方法可以转,如Laravel中有toArray(),Yii2中有asArray()。
3、对于大数组进行数据切割处理,PHP函数有array_chunk()、array_slice()。
4、对于大型的字符串和对象,使用引用传递&。
5、用过的变量及时unset。
6、导出的文件格式由excel改为csv
7、ini_set(‘memory_limit',''),设置程序可以使用的内存(不建议这样做)。
内存管理
PHP的内存什么怎么管理的呢? 在学C语言时,开发者是需要手动管理内存。在PHP中,Zend引擎提供为了处理请求相关数据提供了一种特殊的内存管理器。请求相关数据是只需要服务单个请求,最迟会在请求结束时释放数据。
防止内存泄漏并尽可能快地释放所有内存是内存管理的重要组成部分。因为安全原因,Zend引擎会释放所有上面提到的API锁分配的内存。
垃圾回收机制
简单说下:
PHP5.3之前,采用引用计数的方式管理。PHP中的变量存在zval的变量容器中,变量被引用的时,引用计数+1,变量引用计数为0时,PHP将在内存中销毁这个变量。但是在引用计数循环引用时,引用计数就不会消减为0,导致内存泄漏。
PHP5.3之后做了优化,并不是每次引用计数减少都进入回收周期,只有根缓冲区满额后才开始进行垃圾回收,这样可以解决循环引用的问题,也可以将总内存泄漏保持在一个阈值之下。
代码
由于使用phpexcel时经常会遇到内存溢出,下面分享一段生成csv文件的代码:
<"UTF-8", "GB2312//IGNORE", $data) . PHP_EOL, FILE_APPEND); } } /** * 压缩文件 * @param $sourceFile * @param $distFile * @return mixed */ public static function zipFile($sourceFile, $distFile) { $zip = new \ZipArchive(); if ($zip->open($distFile, \ZipArchive::CREATE) !== true) { return $sourceFile; } $zip->open($distFile, \ZipArchive::CREATE); foreach ($sourceFile as $file) { $fileContent = file_get_contents($file); $file = iconv('utf-8', 'GBK', basename($file)); $zip->addFromString($file, $fileContent); } $zip->close(); return $distFile; } /** * 下载文件 * @param $filePath * @param $fileName */ public static function download($filePath, $fileName) { if (!file_exists($filePath . $fileName)) { header('HTTP/1.1 404 NOT FOUND'); } else { //以只读和二进制模式打开文件 $file = fopen($filePath . $fileName, "rb"); //告诉浏览器这是一个文件流格式的文件 Header("Content-type: application/octet-stream"); //请求范围的度量单位 Header("Accept-Ranges: bytes"); //Content-Length是指定包含于请求或响应中数据的字节长度 Header("Accept-Length: " . filesize($filePath . $fileName)); //用来告诉浏览器,文件是可以当做附件被下载,下载后的文件名称为$file_name该变量的值 Header("Content-Disposition: attachment; filename=" . $fileName); //读取文件内容并直接输出到浏览器 echo fread($file, filesize($filePath . $fileName)); fclose($file); exit(); } } }
调用处代码
$fileName = "库存导入模板"; $stockRes = []; // 导出的数据 $formFields = [ 'store_id' => '门店ID', 'storeName' => '门店名称', 'sku' => 'SKU编码', 'name' => 'SKU名称', 'stock' => '库存', 'reason' => '原因' ]; $fileRes = ExportService::exportData($fileName, $stockRes, $formFields); $tmpPath = \Yii::$app->params['excelSavePath']; // 文件路径 $fileName = str_replace($tmpPath, '', $fileRes); // 下载文件 ExportService::download($tmpPath, $fileName);
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
更新日志
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]