Чтение.файл xls через PHPExcel выдает фатальную ошибку: разрешенный размер памяти ... даже с читателем chunk

im с помощью PHPExcel для чтения .xls-файл. Я довольно короткое время встречаюсь 

Fatal error: Allowed memory size of 1073741824 bytes exhausted (tried to allocate 730624 bytes) in ExcelPHPExcelSharedOLERead.php on line 93

после некоторого гугления я попытался chunkreader, чтобы предотвратить это (упоминается даже на PHPExcel homesite), но я все еще застрял с этой ошибкой.

моя мысль заключается в том, что через chunk reader я буду читать файл по частям, и моя память не будет переполняться. Но должен же быть какой-то серьезный memoryleak? Или Я освобождаю плохую память? Я даже попытался поднять ОЗУ сервера до 1GB. Размер файла, который я пытаюсь read составляет около 700k, что не так много (im также читает ~20MB pdf, xlsx, docx, doc и т. д. Файлы без проблем). Поэтому я предполагаю, что может быть просто какой-то незначительный тролль, которого я пропустил.

код выглядит так

function parseXLS($fileName){
    require_once dirname(__FILE__) . './sphider_design/include/Excel/PHPExcel/IOFactory.php';
    require_once dirname(__FILE__) . './sphider_design/include/Excel/PHPExcel/ChunkReadFilter.php';

    $inputFileType = 'Excel5';

    /**  Create a new Reader of the type defined in $inputFileType  **/
    $objReader = PHPExcel_IOFactory::createReader($inputFileType);
    /**  Define how many rows we want to read for each "chunk"  **/ 
    $chunkSize = 20;
    /**  Create a new Instance of our Read Filter  **/ 
    $chunkFilter = new chunkReadFilter(); 
    /**  Tell the Reader that we want to use the Read Filter that we've Instantiated  **/ 
    $objReader->setReadFilter($chunkFilter); 

    /**  Loop to read our worksheet in "chunk size" blocks  **/ 
    /**  $startRow is set to 2 initially because we always read the headings in row #1  **/
    for ($startRow = 2; $startRow <= 65536; $startRow += $chunkSize) { 
        /**  Tell the Read Filter, the limits on which rows we want to read this iteration  **/ 
        $chunkFilter->setRows($startRow,$chunkSize); 
        /**  Load only the rows that match our filter from $inputFileName to a PHPExcel Object  **/ 
        $objPHPExcel = $objReader->load($fileName); 
        //    Do some processing here 

        //    Free up some of the memory 
        $objPHPExcel->disconnectWorksheets(); 
        unset($objPHPExcel); 
    }
}

и вот код для chunkReader

class chunkReadFilter implements PHPExcel_Reader_IReadFilter
{
    private $_startRow = 0;
    private $_endRow = 0;

    /**  Set the list of rows that we want to read  */ 
    public function setRows($startRow, $chunkSize) { 
        $this->_startRow    = $startRow; 
        $this->_endRow      = $startRow + $chunkSize;
    } 

    public function readCell($column, $row, $worksheetName = '') {
        //  Only read the heading row, and the rows that are configured in $this->_startRow and $this->_endRow 
        if (($row == 1) || ($row >= $this->_startRow && $row < $this->_endRow)) { 
           return true;
        }
        return false;
    } 
}
6
memory-leaks php phpexcel

3 ответов

Итак, я нашел интересное решение здесь как читать большие листы из больших файлов Excel (27 МБ+) с PHPExcel?

as приложение 3 на вопрос

edit1: также с этим решением я пришел в chokepoint с моим любимым сообщением errr, но я нашел что-то о кэшировании, поэтому я реализовал это

$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
$cacheSettings = array(' memoryCacheSize ' => '8MB');
PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

недавно я тестировал его только для xls-файлов меньше 10 МБ, но, похоже ,он работает (также я установил $objReader->setReadDataOnly(true);) и кажется, достаточно сбалансированным для достижения скорости и потребления памяти. (я буду следовать моему тернистому пути больше, если это возможно)

edit2: Поэтому я сделал некоторые дальнейшие исследования и нашел chunk reader ненужным на моем пути. (мне кажется, что проблема с памятью одинакова с chunk reader и без него.) Итак, мой окончательный ответ на мой вопрос что-то вроде этого, который гласит.xls файл (только данные из ячеек, без формирования, даже фильтрации формул). Когда я использую cache_tp_php_temp im способен читать файлы xls (протестировано до 10 МБ) и около 10k строк и нескольких столбцов в считанные секунды и без проблемы с памятью

function parseXLS($fileName){

/** PHPExcel_IOFactory */
    require_once dirname(__FILE__) . './sphider_design/include/Excel/PHPExcel/IOFactory.php';
    require_once dirname(__FILE__) . './sphider_design/include/Excel/PHPExcel/ChunkReadFilter.php';
    require_once dirname(__FILE__) . './sphider_design/include/Excel/PHPExcel.php';

    $inputFileName = $fileName;
    $fileContent = "";

    //get inputFileType (most of time Excel5)
    $inputFileType = PHPExcel_IOFactory::identify($inputFileName);

    //initialize cache, so the phpExcel will not throw memory overflow
    $cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
    $cacheSettings = array(' memoryCacheSize ' => '8MB');
    PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

    //initialize object reader by file type
    $objReader = PHPExcel_IOFactory::createReader($inputFileType);

    //read only data (without formating) for memory and time performance
    $objReader->setReadDataOnly(true);

    //load file into PHPExcel object
    $objPHPExcel = $objReader->load($inputFileName);

    //get worksheetIterator, so we can loop sheets in workbook
    $worksheetIterator = $objPHPExcel->getWorksheetIterator();

    //loop all sheets
    foreach ($worksheetIterator as $worksheet) {    

            //use worksheet rowIterator, to get content of each row
            foreach ($worksheet->getRowIterator() as $row) {
                //use cell iterator, to get content of each cell in row
                $cellIterator = $row->getCellIterator();
                //dunno
                $cellIterator->setIterateOnlyExistingCells(false);      

                //iterate each cell
                foreach ($cellIterator as $cell) {
                    //check if cell exists
                    if (!is_null($cell)) {
                        //get raw value (without formating, and all unnecessary trash)
                        $rawValue = $cell->getValue();
                        //if cell isnt empty, print its value
                        if ((trim($rawValue) <> "") and (substr(trim($rawValue),0,1) <> "=")){
                            $fileContent .= $rawValue . " ";                                            
                        }
                    }
                }       
            }       
    }

    return $fileContent;
}
4
3

вот что я сделал на основе вашего примера. Я узнал, что некоторые переменные с движком php должны быть установлены для обеспечения успеха функции. Взгляните на это. Я удаляю часть, чтобы вставить в свою базу данных, но основная идея здесь.

$upload_dir = dirname(__DIR__) . "/uploads/";
$inputFileName = $upload_dir . basename($_FILES["fileToUpload"]["name"]);
$insertOk = FALSE;

// get inputFileType (most of time Excel5)
$inputFileType = PHPExcel_IOFactory::identify($inputFileName);

// initialize cache, so the phpExcel will not throw memory overflow
ini_set('memory_limit', '-1');
ini_set('max_execution_time', 180); // 180 seconds of execution time maximum
$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
$cacheSettings = array(' memoryCacheSize ' => '8MB');
PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

// initialize object reader by file type
$objReader = PHPExcel_IOFactory::createReader($inputFileType);

// read only data (without formating) for memory and time performance
$objReader->setReadDataOnly(true);

// load file into PHPExcel object
$objPHPExcel = $objReader->load($inputFileName);
$objPHPExcel->setActiveSheetIndex(0);

$spreadsheetInfo = $objReader->listWorksheetInfo($inputFileName);
$maxRowsAllowed = $spreadsheetInfo[0]['totalRows']; 

// Define how many rows we want to read for each "chunk"
$chunkSize = 200;

// Create a new Instance of our Read Filter
$chunkFilter = new ReportChunkReadFilter();

//  Tell the Reader that we want to use the Read Filter that we've
//  Instantiated
$objReader->setReadFilter($chunkFilter);

// Loop to read our worksheet in "chunk size" blocks
for ($startRow = 0; $startRow <= $maxRowsAllowed; $startRow += $chunkSize) {
    // Tell the Read Filter, the limits on which rows we want to 
    // read this iteration
    $chunkFilter->setRows($startRow,$chunkSize);

    // Load only the rows that match our filter from $inputFileName
    // to a PHPExcel Object
    $objPHPExcel = $objReader->load($inputFileName);
    $sheetData = $objPHPExcel->getActiveSheet()->toArray(null,true,true,true);

    // loop on the rows of the filtered excel file (the chunk)
    foreach ($sheetData as $rowArray) {                                    
      echo $rowArray['A'];  
      // do your stuff here
    }

    // Free up some of the memory 
    $objPHPExcel->disconnectWorksheets(); 
    unset($objPHPExcel);                    
}

unlink($inputFileName);
0