java容器
1. 概述
容器主要包括 Collection 和 Map 两种,Collection 存储着对象的集合,而 Map 存储着键值对(两个对象)的映射表。
Collection
1. Set(无序的、不可重复的)
- TreeSet(有序,唯一,不能存储null): 基于红黑树(自平衡的排序二叉树)实现,支持有序性操作,例如根据一个范围查找元素的操作。但是查找效率不如 HashSet,HashSet 查找的时间复杂度为 O(1),TreeSet 则为 O(logN)。
- HashSet(无序,唯一,可以存储一个null):基于
HashMap
实现,支持快速查找,底层采用HashMap
来保存元素,但不支持有序性操作。并且失去了元素的插入顺序信息,也就是说使用 Iterator 遍历 HashSet 得到的结果是不确定的。 - LinkedHashSet(可以存储一个null):具有 HashSet 的查找效率,并且内部使用双向链表维护元素的插入顺序。是
HashSet
的子类,并且其内部是通过LinkedHashMap
来实现的
2. List(有序的、可重复的,可以存储多个null值)
- ArrayList:基于动态数组
Object[]
实现,支持随机访问,线程不安全。 - Vector:和 ArrayList 类似
Object[]
实现,但它是线程安全的。 - LinkedList:基于双向链表实现,只能顺序访问,但是可以快速地在链表中间插入和删除元素。不仅如此,LinkedList 还可以用作栈、队列和双向队列。
java.util.Arrays.asList() 可以把数组类型转换为 List 类型。
1 | public static <T> List<T> asList(T... a) |
3. Queue(有序的、可重复的)
- LinkedList:可以用它来实现双向队列。
- PriorityQueue:基于堆结构实现,可以用它来实现优先队列。
Map
- TreeMap:基于红黑树实现。
- HashMap
HashTable- LinkedHashMap:继承自
HashMap
,使用双向链表来维护元素的顺序,顺序为插入顺序或者最近最少使用(LRU)顺序。
HashMap分析
HashMap 的性能表现非常依赖于哈希码的有效性
JDK1.8之前
JDK1.8之前 HashMap 底层是 数组和链表 结合在一起使用也就是链表散列。
HashMap 通过 key 的 hashCode 经过扰动函数处理过后得到 hash 值,然后通过 (n - 1) & hash 判断当前元素存放的位置(这里的 n 指的是数组的长度),如果当前位置存在元素的话,就判断该元素与要存入的元素的 hash 值以及 key 是否相同,如果相同的话,直接覆盖,不相同就通过拉链法解决冲突。链表插入节点时使用头插法插入。扩容则是需要元素个数大于等于阈值且要插入的节点没有空位时才会扩容。JDK1.8之后
JDK1.8 之后在解决哈希冲突时有了较大的变化,当链表长度大于阈值(默认为 8)时,会首先调用 treeifyBin()方法。这个方法会根据 HashMap 数组来决定是否转换为红黑树。只有当数组长度大于或者等于 64 的情况下,才会执行转换红黑树操作,以减少搜索时间。否则,就是只是执行 resize() 方法对数组扩容。使用尾插法进行链表操作。
1 | public class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable { |
loadFactor 加载因子
loadFactor 加载因子是控制数组存放数据的疏密程度,loadFactor 越趋近于 1,那么 数组中存放的数据(entry)也就越多,也就越密,也就是会让链表的长度增加,loadFactor 越小,也就是趋近于 0,数组中存放的数据(entry)也就越少,也就越稀疏。loadFactor 太大导致查找元素效率低,太小导致数组的利用率低,存放的数据会很分散。loadFactor 的默认值为 0.75f 是官方给出的一个比较好的临界值。
给定的默认容量为 16,负载因子为 0.75。Map 在使用过程中不断的往里面存放数据,当数量达到了 16 * 0.75 = 12 就需要将当前 16 的容量进行扩容,而扩容这个过程涉及到 rehash、复制数据等操作,所以非常消耗性能。
threshold 临界值
threshold = capacity * loadFactor,当 Size>=threshold的时候,那么就要考虑对数组的扩增了,也就是说,这个的意思就是 衡量数组是否需要扩增的一个标准。
2. 疑难点
Collection疑难点
Arraylist 与 LinkedList 区别
- 是否保证线程安全:
ArrayList
和LinkedList
都是不保证线程安全 - 底层数据结构:
Arraylist
底层使用的是Object
数组;LinkedList
底层使用的是双向链表数据结构 - 插入和删除是否受元素位置的影响:
- ArrayList 采用数组存储,所以插入和删除元素的时间复杂度受元素位置的影响。 比如:执行add(E e)方法的时候, ArrayList 会默认在将指定的元素追加到此列表的末尾,这种情况时间复杂度就是 O(1)。但是如果要在指定位置 i 插入和删除元素的话(add(int index, E element))时间复杂度就为 O(n-i)。
- LinkedList 采用链表存储,所以对于add(E e)方法的插入,删除元素时间复杂度不受元素位置的影响,近似 O(1),如果是要在指定位置i插入和删除元素的话((add(int index, E element)) 时间复杂度近似为o(n))因为需要先移动到指定位置再插入。
- 是否支持快速随机访问: LinkedList 不支持高效的随机元素访问,而 ArrayList 支持。
- 内存空间占用: ArrayList 的空间浪费主要体现在在 list 列表的结尾会预留一定的容量空间,而 LinkedList 的空间花费则体现在链表的结构上
ArrayList 扩容机制
1. 构造函数
(JDK8)ArrayList 有三种方式来初始化
1 | /** |
以无参数构造方法创建 ArrayList 时,实际上初始化赋值的是一个空数组。当真正对数组进行添加元素操作时,才真正分配容量。即向数组中添加第一个元素时,数组容量扩为 10。
2. 扩容
2.1. add
方法
1 | /** |
add
方法调用了ensureCapacityInternal(size + 1)
2.2. ensureCapacityInternal()
方法
1 | //得到最小扩容量 |
当 要 add 进第 1 个元素时,minCapacity 为 1,在 Math.max()方法比较后,minCapacity 为 10。
否则直接进入ensureExplicitCapacity()
方法
2.3. ensureExplicitCapacity()
方法
1 | //判断是否需要扩容 |
- 当 add 进第 1 个元素到 ArrayList 时,elementData.length 为 0 (因为还是一个空的 list),因为执行了 ensureCapacityInternal() 方法 ,所以 minCapacity 此时为 10。此时,minCapacity - elementData.length > 0成立,所以会进入 grow(minCapacity) 方法。
- 当 add 第 2 个元素时,minCapacity 为 2,此时 elementData.length(容量)在添加第一个元素后扩容成 10 了。此时,minCapacity - elementData.length > 0 不成立,所以不会进入 (执行)grow(minCapacity) 方法。
- 添加第 3、4···到第 10 个元素时,依然不会执行 grow 方法,数组容量都为 10。
- 直到添加第 11 个元素,minCapacity(为 11)比 elementData.length(为 10)要大。进入 grow 方法进行扩容。
2.4. grow()
方法
1 | /** |
int newCapacity = oldCapacity + (oldCapacity >> 1),所以 ArrayList 每次扩容之后容量都会变为原来的 1.5 倍左右
- 当 add 第 1 个元素时,oldCapacity 为 0,经比较后第一个 if 判断成立,newCapacity = minCapacity(为 10)。但是第二个 if 判断不会成立,即 newCapacity 不比 MAX_ARRAY_SIZE 大,则不会进入 hugeCapacity 方法。数组容量为 10,add 方法中 return true,size 增为 1。
- 当 add 第 11 个元素进入 grow 方法时,newCapacity 为 15,比 minCapacity(为 11)大,第一个 if 判断不成立。新容量没有大于数组最大 size,不会进入 hugeCapacity 方法。数组容量扩为 15,add 方法中 return true,size 增为 11。
3. System.arraycopy() 和 Arrays.copyOf()
1 | /** |
Map疑难点
HashMap和HashTable的区别
- 线程是否安全:HashMap 是非线程安全的,Hashtable 是线程安全的,因为 Hashtable 内部的方法基本都经过synchronized 修饰。
- 效率:因为线程安全的问题,HashMap 要比 Hashtable 效率高一点,Hashtable基本被淘汰
- 对 Null key 和 Null value 的支持: HashMap 可以存储 null 的 key 和 value,但 null 作为键只能有一个,null 作为值可以有多个;Hashtable 不允许有 null 键和 null 值,否则会抛出 NullPointerException。
- 初始容量大小和每次扩充容量大小的不同 : ① 创建时如果不指定容量初始值,Hashtable 默认的初始大小为 11,之后每次扩充,容量变为原来的 2n+1。HashMap 默认的初始化大小为 16。之后每次扩充,容量变为原来的 2 倍。② 创建时如果给定了容量初始值,那么 Hashtable 会直接使用你给定的大小,而 HashMap 会将其扩充为 2 的幂次方大小。
- 底层数据结构: JDK1.8 以后的 HashMap 在解决哈希冲突时有了较大的变化,当链表长度大于阈值(默认为 8)(将链表转换成红黑树前会判断,如果当前数组的长度小于 64,那么会选择先进行数组扩容,而不是转换为红黑树)时,将链表转化为红黑树,以减少搜索时间。Hashtable 没有这样的机制。
1 | //带容量与负载因子的构造函数 |
hashCode()
与 equals()
的相关规定:
- 如果两个对象相等,则
hashcode
一定也是相同的 - 两个对象相等,对两个
equals()
方法返回 true - 两个对象有相同的
hashcode
值,它们也不一定是相等的 equals()
方法被覆盖过,则hashCode()
方法也必须被覆盖hashCode()
的默认行为是对堆上的对象产生独特值。如果没有重写hashCode()
,则该 class 的两个对象无论如何都不会相等(即使这两个对象指向相同的数据)。
HashMap 通过 key 的 hashCode 经过扰动函数(hash函数)处理过后得到 hash 值,然后通过 (n - 1) & hash 判断当前元素存放的位置(这里的 n 指的是数组的长度)。使用 hash 方法也就是扰动函数是为了防止一些实现比较差的hashCode()
方法,也就是说使用扰动函数之后可以减少碰撞。
1 | //JDK 1.8 HashMap 的 hash 方法 |
右移16位,正好是hashcode的一半,自己的高半区和低半区异或运算就是为了混合原始哈希码的高位和低位,以此来加大低位的随机性。混合后的低位掺杂了高位的部分特征,这样高位的信息也会变相保留下来。
HashMap 的长度为什么是 2 的幂次方
++为了加快哈希计算以及减少哈希冲突++
加快计算:为了找到 KEY 的位置在哈希表的哪个槽里面,需要计算 hash(KEY) % 数组长度,但是 % 计算比 & 慢很多,所以用 & 代替 %,为了保证 & 的计算结果等于 % 的结果需要把 length 减 1,也就是 hash(KEY) & (length - 1)
因为扩容为 2 的倍数,根据 hash 桶的计算方法,元素哈希值不变而通过 % 计算的方式会因为 length 的变化导致计算出来的 hash 桶的位置不断变化。数据一致在漂移,影响性能!
减少冲突:当length 为偶数时,length-1 为奇数,奇数的二进制最后一位是 1,这样便保证了 hash &(length-1) 的最后一位可能为 0,也可能为 1(这取决于 h 的值),即 & 运算后的结果可能为偶数,也可能为奇数,这样便可以保证散列的均匀性;当length 为奇数的话,很明显 length-1 为偶数,它的最后一位是 0,这样 hash & (length-1) 的最后一位肯定为 0,即只能为偶数,这样任何 hash 值都只会被散列到数组的偶数下标位置上,这便浪费了近一半的空间
因此,length 取 2 的整数次幂,是为了使不同 hash 值发生碰撞的概率较小,这样就能使元素在哈希表中均匀地散列
HashMap使用红黑树原因
为什么不使用二叉排序树
问题主要出现在二叉排序树在添加元素的时候极端情况下会出现线性结构。由于二叉排序树左子树所有节点的值均小于根节点的特点,如果我们添加的元素都比根节点小,会导致左子树线性增长,这样就失去了用树型结构替换链表的初衷,导致查询时间增长。
为什么不使用平衡二叉树
红黑树不追求”完全平衡”,即不像AVL那样要求节点的 |balFact| <= 1,它只要求部分达到平衡,但是提出了为节点增加颜色,红黑是用非严格的平衡来换取增删节点时候旋转次数的降低,任何不平衡都会在三次旋转之内解决,而AVL是严格平衡树,因此在增加或者删除节点的时候,根据不同情况,旋转的次数比红黑树要多。
AVL更平衡,结构上更加直观,时间效能针对读取而言更高;维护稍慢,空间开销较大。
红黑树,读取略逊于AVL,维护强于AVL,空间开销与AVL类似,内容极多时略优于AVL,维护优于AVL。
树化与退化
树化的两个条件:
- 链表长度超过树化阈值8
- 数组容量>=64
出现红黑树的概率极小,正常情况下都是链表,阈值设置为8是为了减小树化的门槛,红黑树的节点占用空间比链表更大。链表过长的首要解决办法是数组扩容,只有数组长度够大才会进行树化操作。
退化的两种情况:
- 在扩容拆分树时,树元素个数<=6会退化成链表
- remove树节点时,若root、root.left、root.right、root.left.left中有一个为null,也会退化成链表
get()
1 | public V get(Object key) { |
put
- 如果定位到的数组位置没有元素 就直接插入。
- 如果定位到的数组位置有元素就和要插入的 key 比较,如果 key 相同就直接覆盖,如果 key 不相同,就判断 p 是否是一个树节点,如果是就调用红黑树插入方法
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value)
,如果不是就遍历链表插入(插入的是链表尾部)。
1 | public V put(K key, V value) { |
resize
resize方法是将散列表进行初始化,或者基于当前容量扩大一倍。扩容会伴随着一次重新 hash 分配,并且会遍历 hash 表中所有的元素,是非常耗时的。
Java8中扩容只需要满足一个条件:当前存放新值(注意不是替换已有元素位置时)的时候已有元素的个数大于等于阈值(已有元素等于阈值,下一个存放后必然触发扩容机制),此刻触发扩容机制,将其容量扩大为2倍。
1 | final Node<K,V>[] resize() { |
ConcurrentHashMap 和 Hashtable 的区别
主要体现在实现线程安全的方式上不同
- JDK1.8 ConcurrentHashMap 采用的数据结构跟 HashMap1.8 的结构一样,数组+链表/红黑二叉树.Hashtable的底层数据结构类似都是采用 数组+链表的形式,数组是 HashMap 的主体,链表则是主要为了解决哈希冲突而存在的
- 在 JDK1.7 的时候,ConcurrentHashMap(分段锁) 对整个桶数组进行了分割分段(Segment),每一把锁只锁容器其中一部分数据,多线程访问容器里不同数据段的数据,就不会存在锁竞争,提高并发访问率。到了 JDK1.8 的时候已经摒弃了 Segment 的概念,而是直接用 Node 数组+链表+红黑树的数据结构来实现,并发控制使用 synchronized 和 CAS 来操作;而Hashtable使用synchronized 来保证线程安全,效率非常低下。
JDK1.8后的ConcurrentHashMap
取消了 Segment 分段锁,采用 CAS 和 synchronized 来保证并发安全。数据结构跟 HashMap1.8 的结构类似,数组+链表/红黑二叉树。Java 8 在链表长度超过一定阈值(8)时将链表(寻址时间复杂度为 O(N))转换为红黑树(寻址时间复杂度为 O(log(N))) synchronized 只锁定当前链表或红黑二叉树的首节点,这样只要 hash 不冲突,就不会产生并发,效率又提升 N 倍。
ConcurrentHashMap和SynchronizedMap的区别
SynchronizedMap 是 Collections 集合类的私有静态内部类,其定义和构造方法如下:
1 | private static class SynchronizedMap<K,V> implements Map<K,V>, Serializable { |
SynchronizedMap 实现线程安全的方法也是比较简单的,所有方法都是先对锁对象 mutex 上锁,然后再直接调用 Map 类型成员变量 m 的相关方法。这样一来,线程在执行方法时,只有先获得了 mutex 的锁才能对 m 进行操作。因此,跟 Hashtable 一样,在同一个时间点,只能有一个线程对 SynchronizedMap 对象进行操作,虽然保证了线程安全,却导致了性能低下。
3. 集合的线程安全
ArrayList线程安全
故障现象:java.util.ConcurrentModificationException
1 | //1 |
CopyOnWriteArrayList
:
写操作在一个复制的数组上进行(容量+1),读操作还是在原始数组中进行,读写分离,互不影响。
写操作需要加锁,防止并发写入时导致写入数据丢失。
写操作结束之后需要把原始数组指向新的复制数组。
HashSet线程安全
1 | //1 |
HashMap线程安全
1 | //1 |
4. 容器操作
集合转数组
1 | //很少使用 |
new String[0]
就是起一个模板的作用,指定了返回数组的类型,0 是为了节省空间,因为它只是为了说明返回的类型。
数组转集合
Arrays.asList()
方法返回的是java.util.Arrays
的一个内部类,这个内部类并没有实现集合的修改方法,修改会抛出异常。List list = new ArrayList<>(Arrays.asList("a", "b", "c"))
Arrays.stream(myArray).collect(Collectors.toList())
集合遍历
- 使用普通 for 循环
- foreach循环里不能进行增加删除操作,Iterator 的 remove/add方法可以安全删除