我正在使用 nodejs 来解析带有模块“jsxlsx_async”的 xlsx 文件,并且值将存储在 mongodb 中。 我的代码:
xlsx(file, function(err,wb){
if (err){
//handling err
}
//get data array
wb.getSheetDataByName('Sheet1', function(err,data){
if (err){
//handling err
}
//handling data
console.log(data);
});
});
使用:Nodejs:v0.10.25,MongoDB:v2.2.6, 操作系统:win8,内存:6GB
我的步骤: 1.读取上传的xlsx文件并将读取的值保存到JS对象中。 2.通过迭代JS对象上的值将读取的值保存到mongodb集合中。
这适用于较小的 xlsx 文件,但我想解析大于 50MB 的 xlsx 文件。
我的问题是我将整个 xlsx 值存储在单个 JS 对象中。 请为解决方案提供一些更好的想法。 有没有更好的方法来逐行读取 xlsx 并在读取一行时保存值?
最佳答案
我之前也遇到过类似的问题。我需要从 txt 文件中读取一个巨大的 JSON 对象,但该进程因内存不足而被终止。对于这个问题,我的解决方案是把这个大文件分成2个文件。
关于你的问题,我的建议是:
尝试增加 v8 引擎的内存限制。 https://github.com/joyent/node/wiki/FAQ示例(8192 表示 8GB):
node --max-old-space-size=8192 server.js
如果 #1 不起作用,请尝试使用此库逐行读取 xlsx 文件:https://github.com/ffalt/xlsx-extract
如果 #1、#2 不起作用,请尝试 https://github.com/extrabacon/xlrd-parser
关于excel - NODE.JS: fatal error - JS 分配失败 - 进程内存不足,同时解析大型 excel 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21927377/
相关文章:
mongodb - mongoengine - 忽略模式验证的额外字段
mongodb - MongoDB中聚合($match)和查找之间的区别?
mongodb - 使用 sphinx 搜索与 mongodb 作为数据源
java - 如何直接从 Java 中的 mongodb 查询返回原始 JSON?
mongodb - 寻找 1 x 100 万个交叉点的最佳解决方案? Redis、Mongo、其他
java - 编码对象时未使用 MongoDB BSON 编解码器
mongodb - 如何在 MongoDB 中将子文档展平为根级别?