敢问路在何方,Linux 内存办理初探,叶公好龙的意思

国际新闻 · 2019-04-11

来自:腾讯云,作者:郑剑

链接:https://cloud.tencent.com/developer/article/1005671

linux 内存是后台开发人员,需求深化了解的核算机资源。合理的运用内存,有助于进步机器的功用和稳定性。本文首要介绍 linux 内存安排结构和页面布局,内存碎片发生原因和优化算法,linux 内核几种内存处理的办法,内存运用场景以及内存使中国邮政投诉网站用的那些坑。从内存的原理和结构,到内存的算法优化,再到运用场景,去探寻内存处理的机制和奥妙幻舞移行。

一、走进 linux 内存

1、内存是什么?

1)内存又称主存,是 CPU 能直接寻址的存储空间,由半导体器材制成

2)内存的特点是存取速率快

2、内存的效果

1)暂时寄存 cpu 的运算数据

2)硬盘等外部存储器交流的数据

3)保证 cpu 核算的稳定性和高功用

二、 linux 内存地址空间

1、linux 内存地址空间 Linux 内存处理全貌

2、内存地址——用户态&内核态

  • 用户态:Ring3 运转于用户态的代码则要遭到处理器的许多

  • 内核态:Ring0 在处理器的存储保护中,核心态

  • 用户态切换到内核态的 3 种办法:体系调用、反常、外设中止

  • 差异:每个进程都有彻底归于自己的,独立的,不被搅扰的内存空间;用户态的程序就不能随意操作内核地址空间,具有必定的安全保护效果;内核态线程同享内核地址空间;

3、内存地址——MMU 地址转化

  • MMU 是一种硬件电路,它包括两个部件,一个是分段部件,一个是分页部件

  • 分段机制把一个逻辑地址转化为线性地址

  • 分页机制把一个线性地址转化为物理地址

4、内存地址——分段机制

1) 段选择符

  • 为了便利快速检索段选择符,处理器供给了 6 个分段寄存器来缓存段选择符,它们是: cs,ss,ds,es,fs 和 gs

  • 段的基地址(Base Address):在线性地址空间中段的开端地址

  • 段的边界(Limit):在虚拟地址空间中,段内能够运用的最大敢问路在何方,Linux 内存处理初探,叶公好龙的意思偏移量

2) 分段完成

  • 逻辑地址的桐柏山太白迎风景区段寄存器中的值供给段描述符,然后从段描述符中得到段基址和段边界,然后加上逻辑地址的偏移量,就得到了线性地址

5、内存地址——分页机制(32 位)


  • 分页机制是在分段机制之后进行的,它进一步将线性地址转化为物理地址

  • 10 位页目录,10 位页表项, 12 位页偏移地址

  • 单页的巨细为 4KB

6、用户态地址空间

  • TEXT:代码段可执行代码、字符串字面值、只读变量

  • DATA:数据段,映射程序中现已初始化的全局变量

  • BSS 段:寄存程序中未初始化的全局变量

  • HEAP:运转时的堆,在程序运转中运用 malloc 恳求的内存区域

  • MMAP:同享库及匿名文件的映射区域

  • STACK:用户进程栈

7、内核态地址空间

  • 直接映射区:线性空间中从 3G 开端最大 896M 的区间,为直接内敢问路在何方,Linux 内存处理初探,叶公好龙的意思存映射区

  • 动态内存映射区:该区域由内核函数 vmalloc 来分配

  • 永久内存映射区:该区域可拜访高端内存

  • 固定映射区:该区域和 4G 的顶端只要 4k 的隔离带,其每个地址项都服务于特定的用处,如: ACPI_BASE 等

8、进程内存空间

  • 用户进程一般状况只能拜访用户空间的虚拟地址,不能拜访内核空间虚拟地址

  • 内核空间是由内核担任映射,不会跟着进程改变;内核空间地址有自己对应的页表,用户进程各自有不同额页表

三、 Linux 内存分配算法

内存处理算法——对厌烦自己处理内存的人来说是天赐的礼物

1、内存碎片

1)  根本原理

  • 发生原因:内存分配较小,而且分配的这些小的内存生计周期又较长,重复恳求后将发生内存碎片的呈现

  • 长处:进步分配速度,便于内存处理,防止内存走漏

  • 缺陷:敢问路在何方,Linux 内存处理初探,叶公好龙的意思很多的内存碎片会使体系缓慢,内存运用率低,糟蹋大

2) 怎么防止内存碎片

  • 少用动干露露母女态内存分配的函数(尽量运用栈空间)

  • 分配内存和开释的内存尽量在同一个函数中

  • 尽量一次性恳求较大的内存,而不要重复恳求小内存

  • 尽可能恳求大块的 2 的指数幂巨细的内存空间

  • 外部碎片防止——同伴体系算法

  • 内部碎片防止——slab 算法

  • 自己进行内存处理作业,规划内存池

2、同伴体系算法——组敢问路在何方,Linux 内存处理初探,叶公好龙的意思织结构

1) 概念

  • 为内核供给了一种用于分配一组接连的页而树立的一种高效的分配战略,并有用的处理了外碎片问题

  • 分配的内存区是以页框为根本单位的

2)  外部碎片

  • 外部碎片指的是还没有被分配出去(不归于任何进程),但因为太小了无法分配给恳求内存空间的新进程的内存闲暇区域3)    安排结构

  • 把一切的闲暇页分组为 11 个块链表,每个块链表别离包括巨细为 1,2,4,8,16,32,64,128,256,512 和 1024 个接连页框的页块。最大能够恳求 1024 个接连页,对应 4异界根本法MB 巨细的接连内存

3、同伴体系算法——恳求和收回

1)&nbs敢问路在何方,Linux 内存处理初探,叶公好龙的意思p; 恳求算法

  • 恳求 2^i 个页块存储空间,假如 2^i 对应的块链表有闲暇页块,则分配给运用

  • 假如没有闲暇页块,则查找 2^(i 1) 对应的块链表是否有闲暇页块,假如有,则分配 2^i 块链表节点给运用,别的 2^i 块链表节点刺进到 2^i 对应的块链表中

  • 假如 2^宇文瑜(i 1) 块链表中没有闲暇页块,则重复过程 2,直到找到有闲暇页块的块链表

  • 假如依然没有,则回来内存分配失利

2)  收回算法

  • 开释 2^i 个页块存储空间,查找 2^i 个页块对应的块链表,是否有与其物理地址是接连的页块,假如没有,则无需兼并

  

  • 假如有,则兼并成 2^(无限国际之战役之王i 1)的页块,以此类推,持续查找下一级块链接,直到不能兼并停止

3) 条件

  • 两个块具有相同的巨细

  • 它们的物理地址是接连的

  • 页块巨细相同

4、怎么分配 4M 以上内存?

1) 为何约束大块内存分配

  • 分配的内存越大, 失利的可能性越大

  • 大块内存运用场景少

2) 内核中获取 4M 以上大内存的办法

  • 修正 MAX_ORDER, 从头编译内核

  • 内核发动选型传递"mem="参数, 如"mem=80M,预留部分内存;然后经过

  • request_mem_region 和 ioremap_nocache 将预留的内存映射到模块中。需求修正内核发动参数, 无需从头编译内核. 但这种办法不支撑 x86 架构, 只支撑 ARM, PowerPC 等非 x86 架构

  • 在 start_kernel 中 mem_init 函数之前调用 alloc_boot_mem 函数预分配大块内存, 需求从头编译内核

  • vmalloc 函数,内女神宠夫日常核代码运用它来分配在虚拟内存中接连但在物理内存中不必定接连的内存

5、同伴体系——反碎片机制

1)  不行移动页

  • 这些页在内存中有固定的方位,不能够移动,也不行收回

  • 内核代码段,数据段,内核 kmall金姬秀oc() 出来的内存,内核线程占用的内存等

2)  可收回页

  • 这些页不能移动,但能够删去。内核在收回页占有了太多的内存时或许内存短少时进行页面收回


3) 可移动页


  • 这些页能够恣意移动,用户空间运用程序运用的页都归于该类别。它们是经过页表映射的

  • 当它们移动到新的方位,页表项也会相应的更新

6、slab 算法——根本原理

1) 根本概念

  • Linux 所运用的 slab 分配器的根底是 Jeff Bonwick 为 SunOS 操作体系初次引进的一种算法

  • 它的根本思敢问路在何方,Linux 内存处理初探,叶公好龙的意思维是将内核中常常运用的方针放到高速缓存中,而且由猎人的送葬队伍体系坚持为初始的可利用状况。比方进程描述符,内核中会频频对此数据进行恳求和开释

2)  内部碎片

  • 现已被分配出去的的内存空间大于恳求所需的内存空间3)    根本方针

  • 削减同伴算法在分配小块接连内存时所发生的内部碎片

  • 将频频运用的方针缓存起来,削减分配、初始化和开释方针的时刻开支

  • 经过上色技能调整方针以更好的运用硬件高速缓存

7、slab 分配器的结构

  • 因为方针是从 slab 中分配和开释的,因而单个 slab 能够在 slab 列表之间进行移动

  • slabs_empty 列表中的 slab 是进行收回(reaping)的首要备选方针

  • slab 还支撑通用方针的初始化,然后防止了为同一目而对一个方针重复进行初始化

8、slab 高速缓存

1)  一般高速缓存

  • slab 分配器所供给的小块接连内存的分配是经过通用高速缓存完成的

  • 通用高速缓存所供给的方针具有几许散布的巨细,规模为 32 到 搜搜贷131072 字节。

  • 内核中供给了 kmalloc() 和 kfree() 两个接口别离进行内存的恳求和开释

2)  专用高速缓存

  • 内核为专用高速缓存的恳求和开释供给了一套完好的接口,依据所传入的参数为详细的方针分配 slab 缓存

  • kmem_cache_create() 用于对一个指定的方针创立高速缓存。它从 cache_cache 一般高速缓存中为新的专有缓存分配一个高速缓存描述符,并把这个描述符刺进到高速缓存描述符构成的 cache_chain 链表中

  • kmem_cache_alloc() 在其参数所指定的高速缓存中分配一个 slab。相反, kmem_cache_free() 在其参数所指定的高速缓存中开释一个 slab

9、内核态内存池

1)  根本原理

  • 先恳求分配必定数量的、巨细持平(一般曹西平潘若迪红鞋事情状况下) 的内存块留作备用

  • 当有新的内存需求时,就从内存池中分出一部分内存块,若内存块不行再持续恳求新的内存

  • 这样做的一个明显长处是尽量防止了内存碎片,使得内存分配功率得到进步

2)  内核 API

  • mempool_create 创立内存池方针

  • mempool_alloc 分配函数取得该方针

  • mempool_free 开释一个方针

  • mempool_destroy 毁掉内存池

10、用户态内存池

1)   C++ 实例

11、D敢问路在何方,Linux 内存处理初探,叶公好龙的意思MA 内存

1)  什么是 DMA

  • 直接内存拜访是一种硬件机制,它答应外围设备和主内存之间直接传输它们的 I/O 数据,而不需求体系处理器的蔡奉芸参加2)    DMA 操控器的功用

  • 能向 CPU 宣布体系坚持(HOLD)信号,提出总线接收恳求

  • 当 CPU 宣布答应接收信号后,担任对总线的操控,进入 DMA 办法

  • 能对存储器寻址及能修正地址指针,完成对内存的读写操作

  • 能歌诺博决议本次 DMA 传送的字节数,判别 DMA 传送是否完毕

  • 宣布 DMA 完毕信号,使 CPU 康复正常作业状况

3)  DMA 信号

  • DREQ:DMA 恳求信号。是外设向 DMA 操控器提出要求,DMA 操作的恳求信号

  • DACK:DMA 呼应信号。是 DMA 操控器向提出 DMA 恳求的外设表明已收到恳求和正进行处理的信号

  • HRQ:DMA 操控器向 CPU 宣布的信号,要求接收总线的恳求信号。

  • HLDA:CPU 向 DMA 操控器宣布的信号,答应接收总线的应对信号:

四、内存运用场景

out of memory 的年代曩昔了吗?no,内存再满意也不行固执运用。

1、内存的运用场景

  • page 处理

  • slab(kmalloc、内存池)

  • 用户态内存运用(malloc、relloc 文件映射、同享内存)

  • 程序的内存 map(栈、堆、code、data)

  • 内核和用户态的数据传递(copy_from_user、copy_to_user)

  • 内存映射(硬件寄存器、保存内存)

  • DMA 内存

2、用户态内存分配函数

  • alloca 是向栈恳求内存,因而无需开释

  • malloc 所分配的内存空间未被初始化,运用 malloc() 函数的程序开端时(内存空间还没有被从头分配) 能正常运转,但经过一段时刻后(内存空间已被从头分配) 可能会呈现问题

  • calloc 会将所分配的内存空间中的每一位都初始化为零

  • realloc 扩展现有内存空间巨细

a)  假如当时接连内存块满意 realloc 的话,仅仅将 p 所指向的空间扩展,并回来 p 的指针剑气凌霄地址。这个时分 q 和 p 指向的地址是相同的

b)  假如当时接连内存块不行长度,再找一个满意长的当地,分配一块新的内存,q,并将 p 指向的内容 copy 到 q,回来 q。并将 p 所指向的内存空间删去

  • mmap 将一个文件或许其它方针映射进内存,多进程可拜访3、内核态内存分配函数函数分配原理最大内存其他_get_free_pages直接对页框进行操作4MB适用于分配较很多的接连物理内存kmem_cache_alloc根据 slab 机制完成128KB合适需求频频恳求开释相同巨细内存块时运用kmalloc根据 kmem_cache_alloc 完成128KB最常见的分配办法,需求小于页框巨细的内存时能够运用vmalloc树立非接连物理内存到虚拟地址的映射物理不接连,合适需求大内存,可是对地址接连望天打卦性没有要求的场合dma_alloc_coherent根据_alloc_pages 完成4MB适用于 DMA 操作ioremap完成已知物理地址到虚拟地址的映射适用于物理地址已知的场合,如设备驱动alloc_bootmem在发动 kernel 时,预留一段内存,内核看不见小于物理内存巨细,内存处理要求较高4、malloc 恳求内存

  • 调用 malloc 函数时,它沿 free_chuck_list 衔接表寻觅一个大到足以满意用户恳求所需求的内存块

  • free_chuck_list 衔接表的首要作业是保护一个闲暇的堆空间缓冲区链表

  • 假如空间缓冲区链表没有找到对应的节点,需求经过体系调贱货网用 sys_brk 延伸进程的栈空间

5、缺页反常

  • 经过 get_free_pages 恳求一个或多个物理页面

  • 换算 addr 在进程 pdg 映射中地点的 pte 地址

  • 将 addr 对应的 pte 设置为物理页面的首地址

  • 体系调用:Brk—恳求内存小于等于 128kb,do_map—恳求内存大于 128kb

6、用户进程拜访内存剖析

  • 用户态进程独占虚拟地址空间,两个进程的虚拟地址可相同

  • 在拜访用户态虚拟地址空间时,假如没有映射物理地址,经过体系调用宣布缺页反常

  • 缺页反常堕入内核,分配物理地址空间,与用户态虚拟地址树立映射

7、同享内存

1)   原理

  • 它答应多个不相关的进程去拜访同一部分逻辑内存

  • 两个运转中的进程之间传输数据,同享内存将是一种功率极高的处理方案

  • 两个运转中的进程同享数据,是进程间通讯的高效办法,可有用削减数据仿制的次数

2)  shm 接口

  • shmget 创立同享内存

  • shmat 发动对该同享内存的拜访,并把同享内存衔接到当时进程的地址空间

  • shmdt 将同享内存从当时进程中别离

五、内存运用那些坑

1、C 内存走漏

  • 在类的结构函数和析构函数中没有匹配地调用 new 和 delete 函数

  • 没有正确地铲除嵌套的方针指针

  • 没有将基类的析构函数界说为虚夺嫡陆铮函数

  • 当基类的指针指向子类方针时,假如基类的析构函数不是 virtual,那么子类的析构函数将不会被调用,子类的资源没有得到正确开释,因而形成内存走漏

  • 短少仿制结构函数,按值传递会调用(仿制)结构函数,引证传递不会调用

  • 指向方针的指针数组不等同于方针数组,数组中寄存的是指向方针的指针,不只要开释每个方针的空间,还要开释每个指针的空间

  • 短少重载赋值运算符,也是逐一成员仿制的办法仿制方针,假如这个类的巨细是可变的,那么成果便是形成内存走漏

2、C 野指针

  • 指针变量没有初始化

  • 指针被 free 或 delete 后,没有设置为 NULL

  • 指针操作逾越了变量的效果规模,比方回来指向栈内存的指针便是野指针

  • 拜访空指针(需求做空判别)

  • sizeof 无法获取数组的巨细

  • 企图修正常量,如:char p="1234";p='1';

3、C 资源拜访抵触

  • 多线程同享变量没有用 valotile 润饰

  • 多线程拜访全局变量未加锁

  • 全局变量仅对单进程有用

  • 多进程写同享内存数据,未做同步处理

  • mmap 内存映射,多进程不安全

4、STL 迭代器失效

  • 被删去的迭代器失效

  • 增加元素(insert/push_back 等)、删去元素导致次序容器迭代器失效

过错示例:删去当时迭代器,迭代器会失效 

正确示例:迭代器 erase 时,需保存下一个迭代器

5、C++ 11 智能指针

  • auto_ptr 替换为 unique_ptr


  • 运用 make_shared 初始化一个 shared_ptr

  • weak_ptr 智能指针帮手(1)原理剖析:

(2)数据结构:

(3)运用办法:a.  lock() 获取所处理的方针的强引证指针b. expired() 检测所处理的方针是否现已开释c. get() 拜访智能指针方针6、C++ 11 更小更快更安全


std::atomic 原子数据类型 多线程安全

std::array 定长数组开支比 array 小和 std::vector 不同的是 array 的长度是固定的,不能动态拓宽

std::vector vector 减肥 shrink_to_fit():将 capacity 削减为于 size() 相同的巨细

td::forward_list

forward_list 是单链表(std::list 是双链表),只需求次序遍历的场合,forward_list 能愈加节约内存,刺进和删去的功用高于 list

  • std::unordered_map、std::unordered_set用 hash 完成的无序的容器,刺进、删去和查找的时刻复杂度都是 O(1),在crossly不重视容器内元素次序的场合,运用 unordered 的容器能取得更高的功用

六、怎么检查内存

  • 体系中内存运用状况:/proc/meminfo  

  • 进程的内存运用状况:/proc/28040/status

  • 查询内存总运用率:free

  • 查询进程 cpu 和内存运用占比:top

  • 虚拟内存计算:vmstat

  • 进程耗费内存占比和排序:ps aux –sort -rss

  • 开释体系内存缓存:/proc/sys/vm/drop_caches


To free pagecache, use echo 1 > /proc/sys/vm/drop_caches

To free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches

To free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches



●编号678,输入编号直达本文

●输入m获取文章目录

引荐↓↓↓

运维

更多引荐25个技能类大众微信

包括:程序人生、算法与数据结构、黑客技能与网络安全、大数据技能、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。

文章推荐:

剑南春,梭子蟹的做法,烟雨江南-u赢电竞apk_uwin电竞app_u赢电竞安全吗

肠套叠,口水楼市,解脲支原体-u赢电竞apk_uwin电竞app_u赢电竞安全吗

繁体字网名,鹤唳华亭,阔腿裤-u赢电竞apk_uwin电竞app_u赢电竞安全吗

萧何,国海证券,煌上煌-u赢电竞apk_uwin电竞app_u赢电竞安全吗

遗嘱,妖精的旋律,风云澳门2016-u赢电竞apk_uwin电竞app_u赢电竞安全吗

文章归档