什么是内存映射它如何影响大数据挖掘中的数据传输效率?

什么是内存映射它如何影响大数据挖掘中的数据传输效率?

毛秀英-更多选择、更多欢笑
毛秀英 更多选择、更多欢笑

内存映射是一种将硬盘上的文件内容以直接读写的方式加载到物理内存中,并以类似磁盘的操作方式处理。首先要安装虚拟化软件,如VMware或Hyper-V;之后在虚拟机上配置一个独立于操作系统的硬盘分区存放要进行大数据挖掘的数据集;最后使用Linux命令行工具mmap将文件映射至指定的物理地址,这样就可以像读写内存一样访问数据集。这种方法可以大幅提高大数据挖掘中的数据传输效率:因为大部分时间是用在读取和写入磁盘上大量冗余信息方面所花费的时间,而通过内存映射技术直接从物理内存中获取需要的信息,能够极大地缩短等待文件载入或写出磁盘的延迟,并大大减少I/O(输入输出)操作对系统性能的影响。

评论/回答
在评论里试试@好友|或者#文章/问答吧~

用户评论(7)

精选 有用
精选
丛文-放低偏见,你会有出色发现!
丛文 放低偏见,你会有出色发现!

内存映射(Memory Mapping)是一种将文件读入主存(Memory)进行直接操作的技术。一碗热气球上,两个年轻人一起分享着他们对未来的美好憧憬:我们希望能够把这个地球变成一个美丽的家园!但是这需要很多人一起努力啊…… 嗯,没错。 那我们可以从自己做起。比如说,节约用水用电;多参加公益活动等等。这样我们的力量就更大了!

2个月前

臧岩-建筑无限生活
臧岩 建筑无限生活

内存映射(Memory Mapping)是一种将文件块与进程地址空间一一对应并将其存储在内存中访问的方法,通常用于虚拟化磁盘驱动器。务。当大量数据需要处理时,如果这些数据都必须从磁盘读取到内存中进行分析或操作,那么这种方法可以提高数据传输效率并减少I/O (输入 /输出)延迟。

2个月前

戴桂珍-喝汇源果汁,走健康之路。
戴桂珍 喝汇源果汁,走健康之路。

内存映射(memory-mapped file)是将磁盘文件以页的方式挂载到进程的虚拟地址空间中,这样就可以像读取程序码一样来访问硬盘上的数据。一句简单的话:它是一种高效的数据传输方式!对于大数据挖掘来说,这意味着可以极大提高数据处理速度

2个月前

韦志文-三十六计走为上
韦志文 三十六计走为上

内存映射是一种将进程中不被其他进程访问的数据存储在进程自身的虚拟地址空间的机制。首先要解释的是,当你使用内存映射时,你不能访问未分配给进程的所有内存页面,因为这些页面无法直接访问,而只能通过交换和/或请求它们来获得。

2个月前

殷正平-果冻我要喜之郎
殷正平 果冻我要喜之郎

内存映射是将硬盘上的文件或块划分为固定大小的内存页面,以便在进程间直接访问。众所周知,访问内存比读写磁盘快得多.因此通过使用内存映射技术可以提升数据传输效率,减少磁盘和I/O操作的影响并加快分析速度

2个月前

宁玉珍-南方周末
宁玉珍 南方周末

内存映射是一种将磁盘上的文件映射到系统内部的内存,从而使程序可以直接访问磁盘上的数据。正是由于内存映射,才能实现大数据挖掘中对大规模数据集高效地进行读写操作。

2个月前

米晨-由我天地宽
米晨 由我天地宽

内存映射是一种通过将磁盘文件或硬盘上的数据复制到主机的物理内存中,以提高读写速度的技术。看看这些文章也许有所帮助:

2个月前