程序员必知必会的计算机底层原理


程序员必知必会的计算机底层原理

引子

学习路线：

大厂爱问的面试题：

正文

视频目录：

P1【计算机的组成】CPU的结构以及工作原理    13:33
P2【缓存】CPU和内存的速度问题    04:57
P3【缓存行】大厂常问缓存的问题（一）    05:24
P4【缓存行】大厂常问缓存的问题（二）    02:15
P5【计算机的组成】什么是缓存行    20:59
P6【计算机的组成】复习-答疑    05:42
P7【计算机的组成】线程的可见性-有序性    15:41
P8【美团一面】对象的创建过程    11:41
P9【美团二问】DCL单列要不要加volatile问题（一）    14:51
P10【美团二问】DCL单列需不需要加volatile问题（二）    42:13
P11【线程-锁】锁的概念    07:29
P12【线程-锁】小程序演示锁    19:36
P13【锁的概念】悲观锁和乐观锁的基本概念    01:47
P14【线程-锁】乐观锁怎么保证数据的一致性（面试灾区）    08:57
P15【线程-锁】CAS    21:42
P16【线程-锁】答疑    04:16
P17【线程-锁-升级初步】轻量级锁-重量级锁    12:22
P18【线程-锁-升级初步】偏向锁    06:44
P19【阿里面试题】自旋锁一定比重量级锁效率高吗？    20:42
P20【JVM】garbage？    07:20
P21【JVM】垃圾回收器原理    19:19
P22【JVM】GC的概念    21:46
P23【JVM】CMS    04:31
P24【JVM】三色标记算法（一）    17:42
P25【JVM】CMS方案：lncremental UPdate（二）    15:07
P26【JVM】G1解决方案    32:16
P27【网络】TCP/IP和程序员有什么关系    11:31
P28【网络】三次握手    10:11
P29【网络】资源内存 （soket）    16:38
P30【网络】socket 四元组    30:27
P31【IO内核知识】Queue队列    05:48
P32【IO内核知识】IO模型    27:51
P33【IO内核知识】知识梳理    23:11
P34【软技能】简历怎么写才能通过HR的筛选    10:04
P35【软技能】个人情况应该怎么写    04:01
P36【软技能】技能描述应该怎么写    30:55
P37【软技能】个人优势以及个人评价怎么写    09:50
P38【软技能】项目应该怎么写，怎么描述才能引导面试官问到你的点    17:16
P39【软技能】工作经历    03:24
P40【软技能】教育背景奖学金及荣誉证书该不该写在简历上面    04:49
P41【软技能】简历应该写多少页合适    02:50
P42【软技能】面试的注意事项-表达    13:55
P43【软技能】在线优化简历    15:35

计算机的组成

缓存

缓存行

64byte 64字节

缓存一致性协议

CPU的速度和内存的速度（100 ：1）

这里的速度值得是ALU访问寄存器的速度比访问内存的速度快100倍

为了充分利用CPU的计算能力，在CPU和内存中间引入缓存的概念（工业上的妥协，考虑性价比）

现在的工业实践，多采用三级缓存的架构

缓存行：一次性读取的数据块

程序的局部性原理：空间局部性 时间局部性

如果缓存行大：命中率高，但读取效率低。如果缓存行小：命中率低，但读取效率高。

工业实践的妥协结果，目前(2021）的计算机多采用64bytes （64 * 8bit）为一行

由于缓存行的存在，我们必须有一种机制，来保证缓存数据的一致性，这种机制被称为缓存一致性协议。

线程的可见性-有序性

程序真的是按照“顺序”执行的吗？

CPU的乱序执行

Disorder这个程序，证明乱序执行的确存在

为什么会乱序？主要是为了提高效率（在等待费时的指令执行的时候，优先执行后面的指令）

线程的as-if-serial

单个线程，两条语句，未必是按顺序执行

单线程的重排序，必须保证最终一致性

as-if-serial：看上去像是序列化（单线程）

会产生的后果

多线程会产生不希望看到的结果

ThisEscape（this 溢出问题）

推荐《Effective Java》- 不要在构造方法中启动线程！

哪些指令可以互换顺序

hanppens-before原则（JVM规定重排序必须遵守的规则）

JLS17.4.5 （不需要记住）

•程序次序规则：同一个线程内，按照代码出现的顺序，前面的代码先行于后面的代码，准确的说是控制流顺序，因为要考虑到分支和循环结构。

•管程锁定规则：一个unlock操作先行发生于后面（时间上）对同一个锁的lock操作。

•volatile变量规则：对一个volatile变量的写操作先行发生于后面（时间上）对这个变量的读操作。

•线程启动规则：Thread的start( )方法先行发生于这个线程的每一个操作。

•线程终止规则：线程的所有操作都先行于此线程的终止检测。可以通过Thread.join( )方法结束、Thread.isAlive( )的返回值等手段检测线程的终止。

•线程中断规则：对线程interrupt( )方法的调用先行发生于被中断线程的代码检测到中断事件的发生，可以通过Thread.interrupt( )方法检测线程是否中断

•对象终结规则：一个对象的初始化完成先行于发生它的finalize()方法的开始。

•传递性：如果操作A先行于操作B，操作B先行于操作C，那么操作A先行于操作C

禁止编译器乱序

使用内存屏障阻止指令乱序执行

内存屏障是特殊指令：看到这种指令，前面的必须执行完，后面的才能执行

intel : lfence sfence mfence(CPU特有指令)

JVM中的内存屏障

所有实现JVM规范的虚拟机，必须实现四个屏障

LoadLoadBarrier LoadStore SL SS

volatile的底层实现

volatile修饰的内存，不可以重排序，对volatile修饰变量的读写访问，都不可以换顺序

1: volatile i

2: ACC_VOLATILE

3: JVM的内存屏障

屏障两边的指令不可以重排！保障有序！

happends-before

as - if - serial

4：hotspot实现

bytecodeinterpreter.cpp

int field_offset = cache->f2_as_index();
if (cache->is_volatile()) {
    if (support_IRIW_for_not_multiple_copy_atomic_cpu) {
        OrderAccess::fence();
    }

orderaccess_linux_x86.inline.hpp

inline void OrderAccess::fence() {
    if (os::is_MP()) {
        // always use locked addl since mfence is sometimes expensive
        #ifdef AMD64
        __asm__ volatile ("lock; addl $0,0(%%rsp)" : : : "cc", "memory");
        #else
        __asm__ volatile ("lock; addl $0,0(%%esp)" : : : "cc", "memory");
        #endif
    }
}

LOCK 用于在多处理器中执行指令时对共享内存的独占使用。
它的作用是能够将当前处理器对应缓存的内容刷新到内存，并使其他处理器对应的缓存失效。
另外还提供了有序的指令无法越过这个内存屏障的作用。

对象的创建过程

DCL单列需不需要加volatile问题

面试题

DCL单例要不要加volatile？（难）

锁

乐观锁，悲观锁

乐观锁：自旋锁

自旋锁：ABA问题，引用，版本号

追踪锁，最后都是硬件底层实现的：缓存锁、总线锁。OS操作系统加了一种：关中断，以及其他。

JVM -> OS (C++、汇编) -> 硬件

轻量级锁是JVM自己可以实现的锁，如：CAS锁。

重量级锁是JVM调用wait()通过OS实现的锁（OS管理的是JVM线程和JVM线程之间的同步状态）

偏向锁是偏向第一个线程的锁

JVM

garbage

垃圾回收 GC (garbage collection)

reference count 引用计数

自旋引用

Root Searching，GC roots 根可达

GC Algorithms （垃圾清除算法）:

  • Mark-Sweep （标记清除）
  • Copying （拷贝）
  • Mark-Compact （标记压缩）

组合回收：

历史上的垃圾回收器：

分区制、分代制

CMS

  • concurrent mark sweep
  • a mostly concurrent, low-pause collector
  • 4 phases
    1. initinal mark
    2. concurrent mark
    3. remark
    4. concurrent sweep

三色标记算法

floating garbage

CMS方案：lncremental UPdate

所以。CMS的remark阶段，必须从头扫描一遍。

从线程角度：

G1解决方案

实际调优操作

推荐书目

《编码：隐匿在计算机软硬件背后的语言》 （Code: The Hidden Language of Computer Hardware and Software）

《深入理解JAVA并发原理》






参考资料

清华大佬用400分钟就把程序员必知必会的计算机底层原理给讲明白了 https://www.bilibili.com/video/BV1zU4y1y75Q

穿越线程的迷宫 http://fynote.com/d/MjI1MQ==#_0

返回