excel - NODE.JS: fatal error - JS 分配失败 - 进程内存不足,同时

我正在使用 nodejs 来解析带有模块“jsxlsx_async”的 xlsx 文件,并且值将存储在 mongodb 中。 我的代码:

    xlsx(file, function(err,wb){
        if (err){
            //handling err
        }
        //get data array 
        wb.getSheetDataByName('Sheet1', function(err,data){
            if (err){
                //handling err
            }
            //handling data
            console.log(data);
        });
    });

使用:Nodejs:v0.10.25,MongoDB:v2.2.6, 操作系统:win8,内存:6GB

我的步骤: 1.读取上传的xlsx文件并将读取的值保存到JS对象中。 2.通过迭代JS对象上的值将读取的值保存到mongodb集合中。

这适用于较小的 xlsx 文件,但我想解析大于 50MB 的 xlsx 文件。

我的问题是我将整个 xlsx 值存储在单个 JS 对象中。 请为解决方案提供一些更好的想法。 有没有更好的方法来逐行读取 xlsx 并在读取一行时保存值?

最佳答案

我之前也遇到过类似的问题。我需要从 txt 文件中读取一个巨大的 JSON 对象,但该进程因内存不足而被终止。对于这个问题,我的解决方案是把这个大文件分成2个文件。

关于你的问题,我的建议是:

  1. 尝试增加 v8 引擎的内存限制。 https://github.com/joyent/node/wiki/FAQ示例(8192 表示 8GB):

    node --max-old-space-size=8192 server.js 
    
  2. 如果 #1 不起作用,请尝试使用此库逐行读取 xlsx 文件:https://github.com/ffalt/xlsx-extract

  3. 如果 #1、#2 不起作用,请尝试 https://github.com/extrabacon/xlrd-parser

关于excel - NODE.JS: fatal error - JS 分配失败 - 进程内存不足,同时解析大型 excel 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21927377/

相关文章:

mongodb - mongoengine - 忽略模式验证的额外字段

mongodb - MongoDB中聚合($match)和查找之间的区别?

mongodb - 使用 sphinx 搜索与 mongodb 作为数据源

java - 如何直接从 Java 中的 mongodb 查询返回原始 JSON?

java - Mongodb避免重复条目

mongodb - 寻找 1 x 100 万个交叉点的最佳解决方案? Redis、Mongo、其他

java - 编码对象时未使用 MongoDB BSON 编解码器

mongodb - 如何在 MongoDB 中将子文档展平为根级别?

javascript - MongoError,错误 :E11000 duplicate key e

mongodb - 文档数据库 : Redundant data, 引用等(特别是 MongoDB)