202003网易面经

1. 一面&＃xff0c;电话&＃xff0c;耗时42分钟

• Flink反压问题&＃xff1f;

• Flink中checkpoint与savepoint的区别&＃xff1f;

• kafka中LogManager模块的实现&＃xff1f;

• Kafka中topic partition的leader选举是怎么做的&＃xff1f;

• BIO、NIO、AIO的区别&＃xff1f;

• Netty中的各个模块组成部分&＃xff1f;为什么boss group只需要设置为1&＃xff1f;

• 为什么不使用JDK自带的NIO&＃xff0c;它有一个什么臭名昭著的bug吗&＃xff1f;
  JDK原生也有一套网络应用程序API&＃xff0c;但存在一系列问题&＃xff1a;
  (1) NIO 的类库和 API 繁杂&＃xff0c;使用麻烦。你需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。
  (2) 需要具备其他的额外技能做铺垫。例如熟悉 Java 多线程编程&＃xff0c;因为 NIO 编程涉及到 Reactor 模式&＃xff0c;你必须对多线程和网路编程非常熟悉&＃xff0c;才能编写出高质量的 NIO 程序。
  (3) 可靠性能力补齐&＃xff0c;开发工作量和难度都非常大。例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等等。
  (4) NIO 编程的特点是功能开发相对容易&＃xff0c;但是可靠性能力补齐工作量和难度都非常大。
  (5) JDK NIO 的 Bug。例如臭名昭著的 Epoll Bug&＃xff0c;它会导致 Selector 空轮询&＃xff0c;最终导致 CPU 100%。
  Netty的特点&＃xff1a;
  (1) 设计优雅&＃xff0c;适用于各种传输类型的统一 API 阻塞和非阻塞 Socket&＃xff1b;基于灵活且可扩展的事件模型&＃xff0c;可以清晰地分离关注点&＃xff1b;高度可定制的线程模型 - 单线程&＃xff0c;一个或多个线程池&＃xff1b;真正的无连接数据报套接字支持&＃xff08;自 3.1 起&＃xff09;。
  (2) 使用方便&＃xff0c;详细记录的 Javadoc&＃xff0c;用户指南和示例&＃xff1b;没有其他依赖项&＃xff0c;JDK 5&＃xff08;Netty 3.x&＃xff09;或 6&＃xff08;Netty 4.x&＃xff09;就足够了。
  (3) 高性能&＃xff0c;吞吐量更高&＃xff0c;延迟更低&＃xff1b;减少资源消耗&＃xff1b;最小化不必要的内存复制。
  (4) 安全&＃xff0c;完整的 SSL/TLS 和 StartTLS 支持。
  (5) 社区活跃&＃xff0c;不断更新&＃xff0c;社区活跃&＃xff0c;版本迭代周期短&＃xff0c;发现的 Bug 可以被及时修复&＃xff0c;同时&＃xff0c;更多的新功能会被加入。

• Netty中的零拷贝是怎么做的&＃xff1f;
  (1) Netty的接收和发送ByteBuffer采用DIRECT BUFFERS&＃xff0c;使用堆外直接内存进行Socket读写&＃xff0c;不需要进行字节缓冲区的二次拷贝。如果使用传统的堆内存&＃xff08;HEAP BUFFERS&＃xff09;进行Socket读写&＃xff0c;JVM会将堆内存Buffer拷贝一份到直接内存中&＃xff0c;然后才写入Socket中。相比于堆外直接内存&＃xff0c;消息在发送过程中多了一次缓冲区的内存拷贝。
  (2) Netty提供了组合Buffer对象&＃xff0c;可以聚合多个ByteBuffer对象&＃xff0c;用户可以像操作一个Buffer那样方便的对组合Buffer进行操作&＃xff0c;避免了传统通过内存拷贝的方式将几个小Buffer合并成一个大的Buffer。
  (3) Netty的文件传输采用了transferTo方法&＃xff0c;它可以直接将文件缓冲区的数据发送到目标Channel&＃xff0c;避免了传统通过循环write方式导致的内存拷贝问题。
  FileChannel.transferTo

• 如果Netty线程的处理是非常耗时的IO&＃xff0c;应该采用什么方案解决&＃xff1f;

• Full GC的场景&＃xff0c;是如何定位问题的&＃xff1f;

• 用过哪些锁&＃xff0c;Synchronized 和 Lock&＃xff0c;底层的实现原理分别是什么&＃xff1f;

• JDK的线程池有用过吗&＃xff1f;分别有哪些&＃xff1f;

• Flink中任务的提交也是用per job吗&＃xff1f;也是基于Flink 1.9版本吗&＃xff1f;

• Flink中的kerberos认证是怎么做的&＃xff0c;HDFS的票据失效问题如何解决&＃xff1f;

• Flink的内存管理是怎么做的&＃xff1f;

• 实时接入写入到HDFS这种目的端&＃xff0c;怎么保证Exactly-Once&＃xff1f;为什么不直接用Flink&＃xff0c;Flink中的端到端Exactly-Once不是可以保证吗&＃xff1f;

• Flink监控的指标有哪些&＃xff1f;为什么不直接用Flink Web UI自带的&＃xff1f;

• MySQL事务隔离的级别&＃xff1f;

• 在线编程题

// Given an array of integers where 1 ≤ a[i] ≤ n (n &＃61; size of array), some elements appear twice and others appear once.// Find all the elements of [1, n] inclusive that do not appear in this array.// Input:
// [4,3,2,7,8,2,3,1]// Output:
// [5,6]
import java.util.HashSet;
public class ShowMeBug {public static void main(String[] args) {int[] nums &＃61; {4,3,2,7,8,2,3,1};findDisappearedNumbers(nums);}public static List<Integer> findDisappearedNumbers(int[] nums) {int max &＃61; nums[0];Set<Integer> noDuplicate &＃61; new HashSet<>();for(int i&＃61;0;i<nums;i&＃43;&＃43;){noDuplicate.put(nums[i]);if(nums[i] >&＃61; max){max &＃61; nums[i];}}for(int i&＃61;1;i<&＃61;max;i&＃43;&＃43;){if(!noDuplicate.contains(i)){System.out.println(i);}}}}
}


2. 二面&＃xff0c;视频&＃xff0c;耗时35分钟

• netty编解码器的原理&＃xff0c;如何避免粘包和拆包&＃xff1f;

• netty网关接收传感器数据&＃xff0c;架构是怎么设计的&＃xff1f;
  一种传感器一种应用协议&＃xff0c;对应netty网关的一个端口&＃xff0c;netty server使用LVS做负载均衡。

• 讲一下netty的原理&＃xff0c;为什么会比较高效&＃xff1f;
  (1) 高性能之处来自于其I/O模型和线程处理模型
  (2) 零拷贝
  (3) 内存池
  (4) 高性能的序列化框架&＃xff0c;protobuf&＃xff0c;也是Thrift的压缩二进制编解码框架
  (5) 灵活的TCP参数配置能力

• HBase不同版本的控制&＃xff0c;比如各自依赖的common-io的版本都不同&＃xff0c;如何解决冲突&＃xff0c;shaded技术&＃xff1f;

• 查询服务有没有出现过异常、抖动等&＃xff1f;网关服务呢&＃xff1f;
  rest服务使用状态码&＃xff0c;尽量不要直接返回500错误&＃xff0c;友好的错误提示。

• 线程池是怎么用的&＃xff1f;参数的含义&＃xff1f;参数配置的经验值&＃xff1f;

• Flink的checkpoint机制&＃xff1f;恢复的流程是怎样的&＃xff1f;描述一个场景&＃xff1f;

• kerberos认证的流程是怎么样的&＃xff1f;klist、kinit、principal等概念&＃xff1f;依赖于哪些组件&＃xff1f;怎么管理keytab文件&＃xff1f;Flink和HBase不是同一个集群的情况&＃xff1f;

• 实时计算项目上的技术上的难点&＃xff1f;

• java的泛型的理解&＃xff1f;
  泛型类型在逻辑上可以看成是多个不同的类型&＃xff0c;实际上都是相同的基本类型。
  泛型的三种使用方式&＃xff1a;泛型类、泛型接口、泛型方法

• 多线程同步的方案&＃xff1f;就是问CountDownLatch、CyclicBarrier等的应用场景&＃xff1f;

• Synchronized 和 Lock 之间的区别&＃xff1f;try和finally里都有return&＃xff0c;到底是return谁的&＃xff1f;

• 了解哪些Map&＃xff1f;什么叫线程安全&＃xff1f;并发写会有什么问题&＃xff1f;

• 在遍历一个ArrayList&＃xff0c;如果此时向其中add一个数据会发生什么&＃xff1f;
  使用iterator迭代器遍历&＃xff0c;否则会出现ConcurrentModificationException

• 知道哪些排序算法&＃xff1f;

• volatile关键字的作用&＃xff1f;什么叫指令重排&＃xff1f;

• 做过哪些JVM参数调优&＃xff1f;

• Calcite 现在支持的sql类型有哪些&＃xff1f;

• MySQL中的索引类型有哪些&＃xff1f;