博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
PHP快速读取CSV大文件
阅读量:6539 次
发布时间:2019-06-24

本文共 3411 字,大约阅读时间需要 11 分钟。

hot3.png

CSV大文件的读取已经在前面讲述过了,但是如何快速完整的操作大文件仍然还存在一些问题。

1、如何快速获取CSV大文件的总行数?

办法一:直接获取文件内容,使用换行符进行拆分得出总行数,这种办法对小文件可行,处理大文件时不可行;

办法二:使用fgets一行一行遍历,得出总行数,这种办法比办法一好一些,但大文件仍有超时的可能;

办法三:借助SplFileObject类,直接将指针定位到文件末尾,通过SplFileObject::key方法获取总行数,这种办法可行,且高效。

具体实现方法:

$csv_file = 'path/bigfile.csv';$spl_object = new SplFileObject($csv_file, 'rb');$spl_object->seek(filesize($csv_file));echo $spl_object->key();

2、如何快速获取CSV大文件的数据?

仍然使用PHP的SplFileObject类,通过seek方法实现快速定位。

$csv_file = 'path/bigfile.csv';$start = 100000;		// 从第100000行开始读取$num = 100;				// 读取100行$data = array();$spl_object = new SplFileObject($csv_file, 'rb');$spl_object->seek($start);while ($num-- && !$spl_object->eof()) {	$data[] = $spl_object->fgetcsv();	$spl_object->next();}print_r($data);

 

综合上面两点,整理成一个csv文件读取的类:

class CsvReader {	private $csv_file;	private $spl_object = null;	private $error;		public function __construct($csv_file = '') {		if($csv_file && file_exists($csv_file)) {			$this->csv_file = $csv_file;		}	}		public function set_csv_file($csv_file) {		if(!$csv_file || !file_exists($csv_file)) {			$this->error = 'File invalid';			return false;		}		$this->csv_file = $csv_file;		$this->spl_object = null;	}		public function get_csv_file() {		return $this->csv_file;	}		private function _file_valid($file = '') {		$file = $file ? $file : $this->csv_file;		if(!$file || !file_exists($file)) {			return false;		}		if(!is_readable($file)) {			return false;		}		return true;	}		private function _open_file() {		if(!$this->_file_valid()) {			$this->error = 'File invalid';			return false;		}		if($this->spl_object == null) {			$this->spl_object = new SplFileObject($this->csv_file, 'rb');		}		return true;	}	public function get_data($length = 0, $start = 0) {		if(!$this->_open_file()) {			return false;		}		$length = $length ? $length : $this->get_lines();		$start = $start - 1;		$start = ($start < 0) ? 0 : $start;		$data = array();		$this->spl_object->seek($start);		while ($length-- && !$this->spl_object->eof()) {			$data[] = $this->spl_object->fgetcsv();			$this->spl_object->next();		}		return $data;	}		public function get_lines() {		if(!$this->_open_file()) {			return false;		}		$this->spl_object->seek(filesize($this->csv_file));		return $this->spl_object->key();	}		public function get_error() {		return $this->error;	}}

调用方法如下:

include('CsvReader.class.php');

$csv_file = 'path/bigfile.csv';

$csvreader = new CsvReader($csv_file);

$line_number = $csvreader->get_lines();

$data = $csvreader->get_data(10);

 

echo $line_number, chr(10);

print_r($data);

 

其实,上述CsvReader类并不只针对CSV大文件,对于其他文本类型的大文件或超大文件同样可用,前提是将类中fgetcsv方法稍加改动为current即可。

PHP如何对CSV大文件进行读取并导入数据库?

对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象。

为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的。

下面这个函数是读取CSV文件中指定的某几行数据:

/** * csv_get_lines 读取CSV文件中的某几行数据 * @param $csvfile csv文件路径 * @param $lines 读取行数 * @param $offset 起始行数 * @return array * */function csv_get_lines($csvfile, $lines, $offset = 0) {    if(!$fp = fopen($csvfile, 'r')) {    	return false;    }    $i = $j = 0;	while (false !== ($line = fgets($fp))) {		if($i++ < $offset) {			continue; 		}		break;	}	$data = array();	while(($j++ < $lines) && !feof($fp)) {		$data[] = fgetcsv($fp);	}	fclose($fp);    return $data;}

调用方法:

 

$data = csv_get_lines('path/bigfile.csv', 10, 2000000);

print_r($data);

函数主要采用行定位的思路,通过跳过起始行数来实现文件指针定位。

至于数据如何入库本文不再详细讲述。

上述函数对500M以内的文件进行过测试,运行通畅,对于更大的文件未做测试,请斟酌使用或加以改进。

转载于:https://my.oschina.net/yonghan/blog/467796

你可能感兴趣的文章