arrow::read_delim_arrow()causingRsessionabortedwhenreadingLargedataset(21GB)csvfilein16gbRAMsystem
创始人
2024-11-10 19:30:14
0

针对在16GB内存系统中读取21GB CSV文件时,使用arrow::read_delim_arrow()函数导致R会话异常终止的问题,可以尝试以下

  1. 分块读取CSV文件:将大文件分成多个小文件进行读取,避免一次性读取过多数据占用大量内存。可以使用readr或data.table包的fread()函数分块读取,或者使用Hadoop、Spark等分布式计算框架读取大文件。

  2. 使用arrow::read_csv()代替read_delim_arrow():read_csv()函数采用流式读取方式,可以减小内存占用。不过需要注意,arrow::read_csv()目前还处于实验阶段,可能会存在一些问题。

示例代码:

使用data.table包的fread()函数进行分块读取

library(data.table) chunk_size <- 1000000 n_chunks <- 21 file_path <- "path_to_large_csv_file.csv"

for (i in 1:n_chunks) { start_row <- (i-1) * chunk_size + 1 end_row <- i * chunk_size chunk <- fread(file_path, skip = start_row-1, nrows = chunk_size)

do something with the chunk

}

使用arrow::read_csv()进行流式读取

library(arrow) large_file <- "path_to_large_csv_file.csv" output_table <- arrow::read_csv(large_file)

相关内容

热门资讯

总结透视!wepoker透视脚... 总结透视!wepoker透视脚本免费下载pc,epoker透视底牌,机巧教程(真是有挂)-哔哩哔哩1...
揭露透视!werplan免费挂... 揭露透视!werplan免费挂下载!一直真的有辅助技巧(有挂详细)-哔哩哔哩1、玩家可以在werpl...
教你透视!werplan怎么透... 教你透视!werplan怎么透视,wepoker免费脚本咨询,手册教程(真实有挂)-哔哩哔哩1、让任...
了解透视!来玩app破解版!果... 了解透视!来玩app破解版!果然是真的有辅助技巧(有挂方式)-哔哩哔哩运来玩app破解版辅助工具,进...
推荐透视!wepoker到底有... 推荐透视!wepoker到底有没有透视,aapoker透视脚本入口,方案教程(有挂工具)-哔哩哔哩w...
了解透视!哈糖大菠萝软件下载!... 了解透视!哈糖大菠萝软件下载!总是真的有辅助神器(有人有挂)-哔哩哔哩1、打开软件启动之后找到中间准...
必备透视!hhpoker怎么防... 必备透视!hhpoker怎么防作必弊,aa poker透视软件,演示教程(有挂功能)-哔哩哔哩1、h...
曝光透视!werplan辅助软... 曝光透视!werplan辅助软件!竟然真的有辅助方法(有挂透明挂)-哔哩哔哩1、下载好werplan...
详细透视!wepoker轻量版... 您好,wepoker轻量版透视系统这款游戏可以开挂的,确实是有挂的,需要了解加去威信【1367043...
揭幕透视!epoker免费透视... 揭幕透视!epoker免费透视脚本!本来真的是有辅助方法(有挂教程)-哔哩哔哩epoker免费透视脚...