深度剖析HashMap的底层实现

#头条创作挑战赛#

概述

HashMap作为Java程序员使用频率非常高的容器,同时,同时也是面试官非常爱问的,里面的知识点满满,需要我们对它的实现机制有个深入的理解,本文主要通过jdk8带领大家剖析下HashMap。

HashMap简介

HashMap 最早出现在 JDK 1.2中,底层基于散列算法实现,它是一个key-value结构的容器。

以上是HashMap的类结构图:

核心机制

底层实现机制

jdk8中的HashMap底层数据才有数组+链表+红黑树的方式实现。

扩容机制

HashMap底层是一个数组,Java中的数组是固定的,随着我们往HashMap中添加元素,发现数组长度不够了,这时候就需要进行扩冲容量的操作,和扩容相关的参数有两个一个是初始容量 initialCapacity,另一个负载因子 loadFactor。通过这两个设定这两个参数,可以进一步影响阈值大小。扩容的阈值threshold等于容量*负载因子(threshold = capacity * loadFactor)。

名称

用途

initialCapacity

HashMap 初始容量

loadFactor

负载因子

threshold

当前 HashMap 所能容纳键值对数量的最大值,超过这个值,则需扩容

快速失败机制

HashMap 遍历使用的是一种快速失败机制,它是 Java 非安全集合中的一种普遍机制,这种机制可以让集合在遍历时,如果有线程对集合进行了修改、删除、增加操作,会触发并发修改异常。

它的实现机制是在遍历前保存一份 modCount ,在每次获取下一个要遍历的元素时会对比当前的 modCount 和保存的 modCount 是否相等。

快速失败也可以看作是一种安全机制,这样在多线程操作不安全的集合时,由于快速失败的机制,会抛出异常。这样可以避免由于并发修改导致一些未知的问题,通过提前失败提高性能。

源码剖析

成员变量

成员变量可以说明HashMap的底层数据结构。

    // 底层存储的数据结构,是一个Node数组
    transient Node[] table;

    // 遍历用到的entrySet
    transient Set> entrySet;

    // hashmap的元素数量
    transient int size;

    // 修改次数, 用于快速失败机制
    transient int modCount;

   // 发生扩容的阈值 
    int threshold;

    /**
     * 扩容使用的负载因子
     *
     * @serial
     */
    final float loadFactor;

我们再来看下Node的数据结构,实现了Map.Entry接口。

很明显是一个链表的结构,红黑树也是基于这个数据结构构建得到。

构造方法

有参构造函数源码如下,关键是tableSizeFor这个方法

public HashMap(int initialCapacity, float loadFactor) {
        if (initialCapacity < 0)
            throw new IllegalArgumentException("Illegal initial capacity: " +
                                               initialCapacity);
        if (initialCapacity > MAXIMUM_CAPACITY)
            initialCapacity = MAXIMUM_CAPACITY;
        if (loadFactor <= 0 || Float.isNaN(loadFactor))
            throw new IllegalArgumentException("Illegal load factor: " +
                                               loadFactor);
        this.loadFactor = loadFactor;
        //根据tableSizeFor获取扩容阈值
        this.threshold = tableSizeFor(initialCapacity);
    }
static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

该方法的作用总结起来就一句话:找到大于或等于 cap 的最小2的幂。至于为啥要这样,后面再解释。我们先来看看 tableSizeFor 方法的图解:

可以理解为把cap低位的二进制位通过右移全部变为1,最后再+1,就是2的幂次方了。

此时这里的阈值threshold不是初始容量*负载因子,不必在意,这只是临时的,真正设置threshold在后面put方法中。

put方法

其实整个向map中插入数据的流程,大家多少都应知道一些,整个流程如上图所示,我们现在通过源码解读理解这个过程中的细节。

put方法

// 对外暴露的接口,添加的入口
public V put(K key, V value) {
    // 核心是调用putVal方法, 参数的hash方法是计算key的hash值
    return putVal(hash(key), key, value, false, true);
}

hash方法

static final int hash(Object key) {
        int h;
        // 采用位运算获取最终的hash
        return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}

这段代码叫做扰动函数,也是hashMap中的hash运算,主要分为下面几步:

putVal方法

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                   boolean evict) {
        Node[] tab; Node p; int n, i;
        // 如果数组为空,进行 resize() 初始化,后面详细分析resize方法
        if ((tab = table) == null || (n = tab.length) == 0)
            n = (tab = resize()).length;
        // (n - 1) & hash相当于取模,获取数组的索引位置
        // 如果计算的位置上Node不存在,直接创建节点插入
        if ((p = tab[i = (n - 1) & hash]) == null)
            tab[i] = newNode(hash, key, value, null);
        else {
            // 如果计算的位置上Node 存在,链表或者红黑树处理
            Node e; K k;
            // 如果已存在的key和传入的key一模一样,则需要覆盖
            if (p.hash == hash &&
                ((k = p.key) == key || (key != null && key.equals(k))))
                e = p;
            // 如果 index 位置元素已经存在,且是红黑树    
            else if (p instanceof TreeNode)
                // 将元素插入到红黑树中
                e = ((TreeNode)p).putTreeVal(this, tab, hash, key, value);
            else {
                // 否则如果是链表的情况,对链表进行遍历,并统计链表长度
                for (int binCount = 0; ; ++binCount) {
                    // 如果节点链表的next为空
                    if ((e = p.next) == null) {
                         // 找到节点链表中next为空的节点,创建新的节点插入
                        p.next = newNode(hash, key, value, null);
                           // 如果节点链表中数量超过TREEIFY_THRESHOLD(8)个,转化为红黑树
                        if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                            // 树化操作
                            treeifyBin(tab, hash);
                        break;
                    }
                    // 判断节点链表中的key和传入的key是否一样
                    if (e.hash == hash &&
                        ((k = e.key) == key || (key != null && key.equals(k))))
                        // 如果一样的话,退出
                        break;
                    p = e;
                }
            }
            // 如果存在相同key的节点e不为空
            if (e != null) { // existing mapping for key
                V oldValue = e.value;
                  // onlyIfAbsent 表示是否仅在 oldValue 为 null 的情况下更新键值对的值
                if (!onlyIfAbsent || oldValue == null)
                    // 设置新的值
                    e.value = value;
                afterNodeAccess(e);
                // 返回老的结果
                return oldValue;
            }
        }
        ++modCount;
       // 当前大小大于临界大小,扩容
        if (++size > threshold)
            resize();
        afterNodeInsertion(evict);
        return null;
    }

putVal方法主要做了这么几件事情:

  1. 当桶数组 table 为空时,通过扩容的方式初始化 table。
  2. 查找要插入的键值对是否已经存在,存在的话根据条件判断是否用新值替换旧值。
  3. 如果不存在,则将键值对链入链表中,并根据链表长度决定是否将链表转为红黑树。
  4. 判断键值对数量是否大于阈值,大于的话则进行扩容操作。

resize()方法

当 HashMap 中的键值对数量超过扩容阈值时,则进行扩容,先阐述清楚几个概念:

 final Node[] resize() {
        Node[] oldTab = table;
        // 现有容量的大小,等于数组的长度,如果数组为空,返回0
        int oldCap = (oldTab == null) ? 0 : oldTab.length;
        // 现有的扩容阈值
        int oldThr = threshold;
        // newCap表示新的容量,newThr新的扩容阈值
        int newCap, newThr = 0;
        // 如果现有容量大于0,表示已经初始化过了
        if (oldCap > 0) {
            // 如果现有容量已经大于最大容量。结束扩容,直接返回
            if (oldCap >= MAXIMUM_CAPACITY) {
                threshold = Integer.MAX_VALUE;
                return oldTab;
            }
             // 否则,如果扩大两倍之后的容量小于最大容量,且现有容量大于等于初始容量16    
            else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                     oldCap >= DEFAULT_INITIAL_CAPACITY)
                 // 新的扩容阀值扩大为两倍,左移<<1 相当于乘以2
                newThr = oldThr << 1; // double threshold
        }
        // 否则如果当前容量等于0 ,但是当前扩容阈值 > 0,调用有参构造函数会到这里
        else if (oldThr > 0) // initial capacity was placed in threshold
             // 进入这里,新的容量等于当前的扩容阈值,
            newCap = oldThr;
        // 否则如果当前容量等于0,并且挡墙扩容阈值=0,调用无参构造函数进入这里
        else {               
            // 新的容量等于默认容量
            newCap = DEFAULT_INITIAL_CAPACITY;
            // 新的扩容阈值等于默认负载因子0.75*默认容量16=12
            newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
        }
        // 如果新的扩容阈值等于0
        if (newThr == 0) {
            // 设置新的扩容阈值等于新的容量*负载因子
            float ft = (float)newCap * loadFactor;
            newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                      (int)ft : Integer.MAX_VALUE);
        }
       // 设置hashmap对象的扩容阈值位新的扩容阈值
        threshold = newThr;
        @SuppressWarnings({"rawtypes","unchecked"})
        // 初始化数组     
        Node[] newTab = (Node[])new Node[newCap];
        // 设置hashmap对象的桶数组为newTab
        table = newTab;
        // 下面时rehash的过程
         // 如果旧的桶数组不为空,则遍历桶数组,并将键值对映射到新的桶数组中
        if (oldTab != null) {
            // 遍历老的数组
            for (int j = 0; j < oldCap; ++j) {
                Node e;
                // 如果数组索引位置不为空
                if ((e = oldTab[j]) != null) {
                    oldTab[j] = null;
                    // 如果节点下面没有链表或者红黑树
                    if (e.next == null)
                        // 用新数组容量取模,设置到新数组中
                        newTab[e.hash & (newCap - 1)] = e;
                    // 如果节点是红黑树    
                    else if (e instanceof TreeNode)
                        // 需要对红黑树进行拆分
                        ((TreeNode)e).split(this, newTab, j, oldCap);
                    // 如果节点是红黑树 
                    else { // preserve order
                        Node loHead = null, loTail = null;
                        Node hiHead = null, hiTail = null;
                        Node next;
                         // 遍历链表,并将链表节点按原顺序根据高低位分组
                        do {
                            next = e.next;
                            if ((e.hash & oldCap) == 0) {
                                if (loTail == null)
                                    loHead = e;
                                else
                                    loTail.next = e;
                                loTail = e;
                            }
                            else {
                                if (hiTail == null)
                                    hiHead = e;
                                else
                                    hiTail.next = e;
                                hiTail = e;
                            }
                        } while ((e = next) != null);
                         // 将分组后的链表映射到新桶中
                        if (loTail != null) {
                            loTail.next = null;
                            newTab[j] = loHead;
                        }
                        if (hiTail != null) {
                            hiTail.next = null;
                            newTab[j + oldCap] = hiHead;
                        }
                    }
                }
            }
        }
        return newTab;
    }

这个resize方法大致做了如下的事情:

  1. 计算新桶数组的容量 newCap 和新阈值 newThr。
  2. 根据计算出的 newCap 创建新的桶数组,桶数组 table 也是在这里进行初始化的。
  3. 将键值对节点重新映射到新的桶数组里。如果节点是 TreeNode 类型,则需要拆分红黑树。如果是普通链表节点,则节点按原顺序进行分组。

这边在将链表节点进行rehash用了一个非常好的设计理念,扩容后长度为原hash表的2倍,于是把hash表分为两半,分为低位和高位,如果能把原链表的键值对, 一半放在低位,一半放在高位,而且是通过e.hash & oldCap == 0来判断,这个判断有什么优点呢?

举个例子:n = 16,二进制为10000,第5位为1,e.hash & oldCap 是否等于0就取决于e.hash第5 位是0还是1,这就相当于有50%的概率放在新hash表低位,50%的概率放在新hash表高位。

链表树化treeifyBin

jdk8中会将节点链表在一定的条件下转换成红黑树,主要是因为红黑树的搜索查询性能更好,会将时间复杂度从O(n)变成O(logn),代码如下

/**
 * 将普通节点链表转换成树形节点链表
 */
final void treeifyBin(Node[] tab, int hash) {
    int n, index; Node e;
    // 桶数组容量小于 MIN_TREEIFY_CAPACITY,优先进行扩容而不是树化
    if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
        resize();
    else if ((e = tab[index = (n - 1) & hash]) != null) {
        // hd 为头节点(head),tl 为尾节点(tail)
        TreeNode hd = null, tl = null;
        do {
            // 将普通节点替换成树形节点
            TreeNode p = replacementTreeNode(e, null);
            if (tl == null)
                hd = p;
            else {
                p.prev = tl;
                tl.next = p;
            }
            tl = p;
        } while ((e = e.next) != null);  // 将普通链表转成由树形节点链表
        if ((tab[index] = hd) != null)
            // 将树形链表转换成红黑树
            hd.treeify(tab);
    }
}

根据代码得出,在扩容过程中,树化要满足两个条件:

  1. 链表长度大于等于 8
  2. 桶数组容量大于等于64,当桶数组容量比较小时,键值对节点 hash 的碰撞率可能会比较高,进而导致链表长度较长。这个时候应该优先扩容,而不是立马树化。

get方法

get方法相对来说就简单很多了,源码如下:

public V get(Object key) {
        Node e;
        // 调用getNode方法,hash(key)方法上面讲过,获取key对应的hash值
        return (e = getNode(hash(key), key)) == null ? null : e.value;
    }
final Node getNode(int hash, Object key) {
        Node[] tab; Node first, e; int n; K k;
        // 定位键值对所在桶的位置
        if ((tab = table) != null && (n = tab.length) > 0 &&
            (first = tab[(n - 1) & hash]) != null) {

            //根据hash算法找到对应位置的第一个数据,如果是指定的key,则直接返回
            if (first.hash == hash && // always check first node
                ((k = first.key) == key || (key != null && key.equals(k))))
                return first;

            if ((e = first.next) != null) {
                //如果该节点为红黑树,则通过树进行查找
                if (first instanceof TreeNode)
                    return ((TreeNode)first).getTreeNode(hash, key);
                //如果该节点是链表,则遍历查找到数据
                do {
                    if (e.hash == hash &&
                        ((k = e.key) == key || (key != null && key.equals(k))))
                        return e;
                } while ((e = e.next) != null);
            }
        }
        return null;
    }

大致逻辑如下:

  1. 根据hash值查找到指定位置的数据。
  2. 校验指定位置第一个节点的数据是key是否为传入的key,如果是直接返回第一个节点,否则继续查找第二个节点。
  3. 如果数据是TreeNode(红黑树结构),直接通过红黑树查找节点数据并返回。
  4. 如果是链表结构,循环查找所有节点,返回数据。
  5. 如果没有找到符合要求的节点,返回null。

这里前调用下通过(n - 1)& hash相当于取模运算,即可算出桶的在桶数组中的位置, 这是什么道理呢?

举个例子说明吧,假设 hash = 185,n = 16。计算过程示意图如下:

1001换成10进制就是9, 185%16=5, 这个前提成立时n必须是2的幂次方。

总结

本篇文章大致讲解了HashMap的源码和以及核心机制,其中里面还有很多细节和内容,需要大家花时间去自我学习。

展开阅读全文

页面更新:2024-01-30

标签:阈值   遍历   数组   节点   负载   因子   底层   深度   容量   机制   方法   数据

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top