Linux虚拟内存与物理内存

Sun, 12 Aug 2018 18:00:20 +0800

概念

在linux中，内存分为物理内存和虚拟内存，即ps命令中的RSS和VSZ。虚拟内存存在的原因是为了解决在物理内存上直接划分内存存在的一些问题，比如：

频繁申请和回收内存导致的空间碎片化
可以随意访问用于其他用途的内存区域，不安全
难以执行多任务

进程能看见的是虚拟地址空间，且地址段时连续的，而系统上搭载的内存的实际的地址是物理地址。通过命令 readelf和cat /proc/<pid>/maps输出的就是进程的虚拟地址。

虚拟内存以页为单位进行划分的，在x86_64的架构中页大小默认是4KB，getconf PAGESIZE可以查看页大小。通过内核管理的页表可以完成从虚拟地址到物理地址的转换，每个进程拥有独立的虚拟地址空间，进程的虚拟内存是连续的，但是在物理内存中不一定是连续，且进程只能访问自己的虚拟内存段，没法访问到其他进程的虚拟内存空间和物理内存。

利用虚拟内存机制的重要功能：

文件映射
请求分页
写时复制
swap
多级页表
标准大页

请求分页

如果内核直接从物理内存中获取需要的区域，然后设置页表并关联虚拟地址空间与物理地址空间，这样会导致内存的浪费，有一部分内存获取后可能进程到运行结束都不会使用，如：

用于大规模程序中的、程序运行时未使用的功能代码段和数据段
由glibc保留的内存池中未被用户利用的部分

所以利用请求分页来解决这个问题。对于虚拟地址空间内的各个页面，只有在进程初次访问页面时才会为这个页面分配物理内存。

过程：

① 进程访问入口点

② CPU 参照页表，筛选出入口点所属的页面中哪些虚拟地址未关联物理地址

③ 在CPU中引发缺页中断

④ 内核中的缺页中断机构为页面分配物理内存并更新页表

⑤ 回到用户模式继续运行进程

测试

现用以下测试代码观察虚拟内存和物理内存的分配关系

#include <unistd.h>
#include <time.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <err.h>
#define BUFFER_SIZE (100*1024*1024)
#define NCYCLE 10
#define PAGE_SIZE 4096

int main(void)
{
    char *p;
    time_t t;
    char *s;

    t = time(NULL);
    s = ctime(&t);
    printf("%.*s: before allocation, please press Enter key\n", (int)(strlen(s) - 1), s);
    getchar();

    p = malloc(BUFFER_SIZE);  //申请100MB的内存
    if (p == NULL)
        err(EXIT_FAILURE, "malloc() failed");
    t = time(NULL);
    s = ctime(&t);
    printf("%.*s: allocated %dMB, please press Enter key\n", (int)(strlen(s) - 1), s, BUFFER_SIZE / (1024 * 1024));
    getchar();

    int i; // 以页为单位访问内存，每10M且隔1秒就输出一次信息
    for (i = 0; i < BUFFER_SIZE; i += PAGE_SIZE) {
        p[i] = 0;
        if (i != 0 && i % (BUFFER_SIZE/NCYCLE) == 0) {
            t = time(NULL);
            s = ctime(&t);
            printf("%.*s: touched %dMB\n", (int) (strlen(s) - 1), s, i / (1024*1024));
            sleep(1);
        }
    }
    t = time(NULL);
    s = ctime(&t);
    printf("%.*s: touched %dMB, please press Enter key\n", (int) (strlen(s) - 1), s, BUFFER_SIZE / (1024 * 1024));
    getchar();
    exit(EXIT_SUCCESS);
}

示例说明：

Linux系统平均负载和上下文切换

Sun, 12 Nov 2017 23:00:18 +0800

平均负载

top/uptime显示的平均负载到底是啥意思？它的值多少是比较合理的？

Linux系统中，不知道的命令、库和系统调用等都可以执行下man命令来查看。

man uptime说明：

System load averages is the average number of processes that are either in a runnable or uninterruptable state. A process in a runnable state is either using the CPU or waiting to use the CPU. A process in uninterruptable state is waiting for some I/O access, eg waiting for disk. The averages are taken over the three time intervals. Load averages are not normalized for the number of CPUs in a system, so a load average of 1 means a single CPU system is loaded all the time while on a 4 CPU system it means it was idle 75% of the time.

Linux on erpan's note

Linux虚拟内存与物理内存

概念

请求分页

测试

Linux系统平均负载和上下文切换

平均负载