POI3.8的SXSSF包是XSSF的一个扩展版本,支持流处理,在生成大数据量的电子表格且堆空间有限时使用。SXSSF通过限制内存中可访问的记录行数来实现其低内存利用,当达到限定值时,新一行数据的加入会引起老一行的数据刷新到硬盘。
比如内存中限制行数为100,当行号到达101时,行号为0的记录刷新到硬盘并从内存中删除,当行号到达102时,行号为1的记录刷新到硬盘,并从内存中删除,以此类推。
rowAccessWindowSize代表指定的内存中缓存记录数,默认为100,此值可以通过
new SXSSFWorkbook(int rowAccessWindowSize)或SXSSFSheet.setRandomAccessWindowSize(intwindowSize)来设置。
SXSSF在把内存数据刷新到硬盘时,是把每个SHEET生成一个临时文件,这个临时文件可能会很大,有可以会达到G级别,如果文件的过大对你来说是一个问题,你可以使用下面的方法让SXSSF来进行压缩,当然性能也会有一定的影响。
SXSSFWorkbook wb = new SXSSFWorkbook(); wb.setCompressTempFiles(true); // temp files will be gzipped
例子:
生成三个SHEET,每个SHEET有6000行记录,共18万行记录
importjava.io.FileOutputStream;
importorg.apache.poi.ss.usermodel.Cell;
importorg.apache.poi.ss.usermodel.Row;
importorg.apache.poi.ss.usermodel.Sheet;
importorg.apache.poi.ss.util.CellReference;
importorg.apache.poi.xssf.streaming.SXSSFSheet;
importorg.apache.poi.xssf.streaming.SXSSFWorkbook;
public classSXSSFWorkBookUtil {
public voidtestWorkBook() {
try{
longcurr_time=System.currentTimeMillis();
introwaccess=100;//内存中缓存记录行数
/*keep 100 rowsin memory,exceeding rows will be flushed to disk*/
SXSSFWorkbook wb = newSXSSFWorkbook(rowaccess);
intsheet_num=3;//生成3个SHEET
for(inti=0;i<sheet_num;i++){
Sheet sh = wb.createSheet();
//每个SHEET有60000ROW
for(intrownum = 0; rownum < 60000; rownum++) {
Row row = sh.createRow(rownum);
//每行有10个CELL
for(intcellnum = 0; cellnum < 10; cellnum++) {
Cell cell = row.createCell(cellnum);
String address = newCellReference(cell).formatAsString();
cell.setCellValue(address);
}
//每当行数达到设置的值就刷新数据到硬盘,以清理内存
if(rownum%rowaccess==0){
((SXSSFSheet)sh).flushRows();
}
}
}
/*写数据到文件中*/
FileOutputStream os = newFileOutputStream("d:/data/poi/biggrid.xlsx");
wb.write(os);
os.close();
/*计算耗时*/
System.out.println("耗时:"+(System.currentTimeMillis()-curr_time)/1000);
} catch(Exception e) {
e.printStackTrace();
}
}
}
对于不同的rowAccessWindowSize值,用上面的例子进行耗时测试,结果如下:
rowAccessWindowSize Time(s)
5000 293
1000 69
500 43
100 20
50 18
10 16
1 15
以上测试结果是在个人笔记本电脑上进行的,配置为:
Dual-Core CPU T4400 2.2GHz 2.19GHz
Memory 1.86GB
以上测试过程只是进行了一次,并没有多次测试求平均值,数据也只想表达当设置不同的rowAccessWindowSize值,耗时的一种趋势。
可见一般情况下,使用默认值100即可。
相关推荐
绝对原创,这是我在项目中解决大数据Excel导入时内存溢出问题而编写的Excel行级解析器。同时支持Excel-2003和Excel-2007,excel-2003解析采用poi的eventusermodel模式实现,2007采用xmlreader实现,经项目验证,...
一个POI导出Excel万级数据分页实现 解决内存溢出问题 完整的 project demo 有数据库dmp文件
java 使用 poi 解析导入大数据量(几万数据量+)时,报出OOM。这是使用POI 第二种处理方法,解决大数据量导入内存溢出问题,并提升效率
poi读取大数据量excel文件,避免内存溢出,行级操作 根据本网站的资源修改的。 将一些类路径错误全部进行了修正。 另外,需要自己在类路径里,放spring-context.jar和spring-beans.jar包。
poi3.8版本jar包及解析Excel(xlsx和xls格式)对应Java代码
集合了所有的POI3.8的包和POI3.5的包,主要用于java poi excel模板的读取
本资源是从之前的资源综合整理出来的代码,之前的代码不全,需要下载两次,为了...本资源解决的难题是导入大文件excel的时候,会报内存溢出的错误。 欢迎各位下载,解决用户的难题是我的宗旨,好的话给个评价,谢谢!
NULL 博文链接:https://iceher0.iteye.com/blog/1418484
导入excel 导出excle poi3.8 全量包
在网上找了很久相关的资料,都是不怎么完整的,我发了些时间终于整合了doc,excel转html,分享出来,代码不支持2007,相关的jar自己去网上找
poi读取大量数据会造成gc内存溢出的报错,由于垃圾回收机制无法将大量的对象及时的回收,而这些对象又会保存在内存中,会导致内存不够用的情况,这时候我们就需要使用新的方法,读取为cvs即可.此解决方案可支持千万数据的...
Java读取excel的工具,poi3.8版本,下载后lib下的三个jar包不要忘了必须导入,否则调用报错
从http://download.csdn.net/detail/whatismvc/3696185 和http://download.csdn.net/detail/whatismvc/3694229 下载的, 处理大数据量的Excel 2007文件不内存溢出,我试过的最大数据是 26000行,222列的xlsx。
java版本的使用POI导出大数据量到EXCEL
java poi导出大量数据到Excel
可以运行的POI导出Excel文件实例,里面有两种方法,一个是Servlet,一个是main
应客户要求,导出数据库中的数据为Excel,只... POI3.8以后的版本支持Excel2007高版本,单个Sheet的行数可达到百万,针对内存溢出问题,可通过设置内存数据保留数,每当计数到指定的数值时,刷新数据到硬盘,清理内存。
解决poi大数据量导出excel的代码,该代码中所用的jar包是poi3.9。在测试过程中单个sheet中导出20万数据没有问题。
解决poi读取excel2007出现内存溢出问题代码参