netty5源码
1. 100万并发连接服务器笔记之java Netty处理1M连接会怎么样
每一种该语言在某些极限情况下的表现一般都不太一样，那么我常用的Java语言，在达到100万个并发连接情况下，会怎么样呢，有些好奇，更有些期盼。
这次使用经常使用的顺手的netty NIO框架（netty-3.6.5.Final），封装的很好，接口很全面，就像它现在的域名 netty.io，专注于网络IO。
整个过程没有什么技术含量，浅显分析过就更显得有些枯燥无聊，准备好，硬着头皮吧。
测试服务器配置
运行在VMWare Workstation 9中，64位Centos 6.2系统，分配14.9G内存左右，4核。
已安装有Java7版本：
java version "1.7.0_21"
Java(TM) SE Runtime Environment (build 1.7.0_21-b11)
Java HotSpot(TM) 64-Bit Server VM (build 23.21-b01, mixed mode)
在/etc/sysctl.conf中添加如下配置：
fs.file-max = 1048576
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_mem = 786432 2097152 3145728
net.ipv4.tcp_rmem = 4096 4096 16777216
net.ipv4.tcp_wmem = 4096 4096 16777216
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
在/etc/security/limits.conf中添加如下配置：
* soft nofile 1048576
* hard nofile 1048576
测试端
测试端无论是配置还是程序和以前一样，翻看前几篇博客就可以看到client5.c的源码，以及相关的配置信息等。
服务器程序
这次也是很简单呐，没有业务功能，客户端HTTP请求，服务端输出chunked编码内容。
入口HttpChunkedServer.java：
唯一的自定义处理器HttpChunkedServerHandler.java:
启动脚本start.sh
达到100万并发连接时的一些信息
每次服务器端达到一百万个并发持久连接之后，然后关掉测试端程序，断开所有的连接，等到服务器端日志输出在线用户为0时，再次重复以上步骤。在这反反复复的情况下，观察内存等信息的一些情况。以某次断开所有测试端为例后，当前系统占用为（设置为list_free_1）:
total used free shared buffers cached
Mem: 15189 7736 7453 0 18 120
-/+ buffers/cache: 7597 7592
Swap: 4095 948 3147
通过top观察，其进程相关信息
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4925 root 20 0 8206m 4.3g 2776 S 0.3 28.8 50:18.66 java
在启动脚本start.sh中，我们设置堆内存为6G。
ps aux|grep java命令获得信息：
root 4925 38.0 28.8 8403444 4484764 ? Sl 15:26 50:18 java -server...HttpChunkedServer 8000
RSS占用内存为4484764K/1024K=4379M
然后再次启动测试端，在服务器接收到online user 1023749时，ps aux|grep java内容为：
root 4925 43.6 28.4 8403444 4422824 ? Sl 15:26 62:53 java -server...
查看当前网络信息统计
ss -s
Total: 1024050 (kernel 1024084)
TCP: 1023769 (estab 1023754, closed 2, orphaned 0, synrecv 0, timewait 0/0), ports 12
Transport Total IP IPv6
* 1024084 - -
RAW 0 0 0
UDP 7 6 1
TCP 1023767 12 1023755
INET 1023774 18 1023756
FRAG 0 0 0
通过top查看一下
top -p 4925
top - 17:51:30 up 3:02, 4 users, load average: 1.03, 1.80, 1.19
Tasks: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie
Cpu0 : 0.9%us, 2.6%sy, 0.0%ni, 52.9%id, 1.0%wa, 13.6%hi, 29.0%si, 0.0%st
Cpu1 : 1.4%us, 4.5%sy, 0.0%ni, 80.1%id, 1.9%wa, 0.0%hi, 12.0%si, 0.0%st
Cpu2 : 1.5%us, 4.4%sy, 0.0%ni, 80.5%id, 4.3%wa, 0.0%hi, 9.3%si, 0.0%st
Cpu3 : 1.9%us, 4.4%sy, 0.0%ni, 84.4%id, 3.2%wa, 0.0%hi, 6.2%si, 0.0%st
Mem: 15554336k total, 15268728k used, 285608k free, 3904k buffers
Swap: 4194296k total, 1082592k used, 3111704k free, 37968k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4925 root 20 0 8206m 4.2g 2220 S 3.3 28.4 62:53.66 java
四核都被占用了，每一个核心不太平均。这是在虚拟机中得到结果，可能真实服务器会更好一些。 因为不是CPU密集型应用，CPU不是问题，无须多加关注。
系统内存状况
free -m
total used free shared buffers cached
Mem: 15189 14926 263 0 5 56
-/+ buffers/cache: 14864 324
Swap: 4095 1057 3038
物理内存已经无法满足要求了，占用了1057M虚拟内存。
查看一下堆内存情况
jmap -heap 4925
Attaching to process ID 4925, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 23.21-b01
using parallel threads in the new generation.
using thread-local object allocation.
Concurrent Mark-Sweep GC
Heap Configuration:
MinHeapFreeRatio = 40
MaxHeapFreeRatio = 70
MaxHeapSize = 6442450944 (6144.0MB)
NewSize = 629145600 (600.0MB)
MaxNewSize = 629145600 (600.0MB)
OldSize = 5439488 (5.1875MB)
NewRatio = 2
SurvivorRatio = 1
PermSize = 52428800 (50.0MB)
MaxPermSize = 52428800 (50.0MB)
G1HeapRegionSize = 0 (0.0MB)
Heap Usage:
New Generation (Eden + 1 Survivor Space):
capacity = 419430400 (400.0MB)
used = 308798864 (294.49354553222656MB)
free = 110631536 (105.50645446777344MB)
73.62338638305664% used
Eden Space:
capacity = 209715200 (200.0MB)
used = 103375232 (98.5863037109375MB)
free = 106339968 (101.4136962890625MB)
49.29315185546875% used
From Space:
capacity = 209715200 (200.0MB)
used = 205423632 (195.90724182128906MB)
free = 4291568 (4.0927581787109375MB)
97.95362091064453% used
To Space:
capacity = 209715200 (200.0MB)
used = 0 (0.0MB)
free = 209715200 (200.0MB)
0.0% used
concurrent mark-sweep generation:
capacity = 5813305344 (5544.0MB)
used = 4213515472 (4018.321487426758MB)
free = 1599789872 (1525.6785125732422MB)
72.48054631000646% used
Perm Generation:
capacity = 52428800 (50.0MB)
used = 5505696 (5.250640869140625MB)
free = 46923104 (44.749359130859375MB)
10.50128173828125% used
1439 interned Strings occupying 110936 bytes.
老生代占用内存为72%，较为合理，毕竟系统已经处理100万个连接。
再次断开所有测试端，看看系统内存（free -m）
total used free shared buffers cached
Mem: 15189 7723 7466 0 13 120
-/+ buffers/cache: 7589 7599
Swap: 4095 950 3145
记为list_free_2。
list_free_1和list_free_2两次都释放后的内存比较结果，系统可用物理已经内存已经降到7589M，先前可是7597M物理内存。
总之，我们的JAVA测试程序在内存占用方面已经，最低需要7589 + 950 = 8.6G内存为最低需求内存吧。
GC日志
我们在启动脚本处设置的一大串参数，到底是否达到目标，还得从gc日志处获得具体效果，推荐使用GCViewer。
GC事件概览：
其它:
总之：
只进行了一次Full GC，代价太高，停顿了12秒。
PartNew成为了停顿大户，导致整个系统停顿了41秒之久，不可接受。
当前JVM调优喜忧参半，还得继续努力等
小结
Java与与Erlang、C相比，比较麻烦的事情，需要在程序一开始就得准备好它的堆栈到底需要多大空间，换个说法就是JVM启动参数设置堆内存大小，设置合适的垃圾回收机制，若以后程序需要更多内存，需停止程序，编辑启动参数，然后再次启动。总之一句话，就是麻烦。单单JVM的调优，就得持续不断的根据检测、信息、日志等进行适当微调。
2. netty与ES比较，哪个源码容易学习
Maven项目的jar包不是应该在Maven的指定的目录吗？ 为什么要做这么多无用的工作，直接用mvn install 把所有的jar包下载完成后，在Eclipse中直接导入一个Maven项目不就可以了
3. Netty5客户端怎么主动给服务端发消息
建议客户端发送心跳包较为合适，原因：
1、若用户较多，服务端发送心跳包易使服务器超负荷。
2、客户端发送请求数据时可视为一次心跳包发送，节约处理速度。
4. NIO+Netty5 求视频教程
推荐学途无忧 夜行侠老师的《NIO+Netty5各种RPC架构实战演练课程》
5. 如何配置方便阅读和记录注释Netty源码文件的IDEA环境
一、找到文件和代码的模板设置 Preferences->Editor->File and Code Templates，然后在Templates这个tab下，选择你需要修改的文件类型的头模板。 二、修改注释 选中上一步的某一个类型以后，将#parse("File Header.java")这一行删除。
6. 为啥netty 5.0 官网没有了
java compiler compliance level：
build path的JDK版本是你开发的时候编译器需要使用到的，例如，如果用的JDK1.4就不能使用泛型。而java compiler compliance level设置的是你写好的JAVA代码按照什么JDK版本级别编译，例如：设置的是1.4，编译出来的class文件可以在1.4以上的JRE上运行，如果用的是5.0级别编译，就不能运行在1.4的环境里面，会提示版本过高。
只要build path的JDK版本高于或等于java compiler compliance level里面的级别都可以
所以，这个netty用了jdk7的语法所以需要jdk7build，但是确是在jdk5级别编译的，所以可以在jre1.5以上运行
7. netty5 为什么公网没有了
修改IP永久生效按以下方法
vi /etc/sysconfig/network-scripts/ifcfg-eth0（eth0，第一块网卡，如果是第二块则为eth1）
按如下修改ip
DEVICE=eth0（如果是第二块刚为eth1）
BOOTPROTO=static
IPADDR=192.168.0.11(改成要设置的IP)
NETMASK=255.255.255.0 (子网掩码)
GATEWAY=192.168.0.1(网关)
ONBOO=yes
然后
service network restart
IP地址生效，重启系统后不变
如果是临时修改IP重启系统后恢复原始IP则用以下命令
ifconfig IP地址 netmask 子网掩码
8. netty5 怎么传输大数据文件
在每次发包的时候，在包 头的位置添加4个字节的标志位，标志包的大小，然后在用ByteToMessageDecoder做分包处理，就OK了
9. 如何使用Netty实现心跳检测
新建Java工程，并导入netty使用的jar包，最好将源码包也放在本工程下，便于了解netty的源码实现。
可以从netty自带的example中复制一个例子过来，在此基础上进行修改。
在此基础上对代码进行改造。打开EchoServer.java，添加空闲检测类。
编写心跳检测处理类。并将此类添加到pinpline的handler里面。
改造完了服务端，需要对客户端内容改造一下。启动客户端后，先发一个“hello”消息，然后等候服务端心跳信息“ping”，收到心跳后，回复心跳响应“ok”。心跳消息可以根据需要进行定义。修改的类为EchoClientHandler。
为方便查看可以将netty的日志打开。
即：将此句p.addLast(new LoggingHandler(LogLevel.INFO));前面的注释去掉，执行测试一下。查看服务端，可以看到心跳包和心跳响应。
将客户端回复心跳的内容删除，再执行查看结果。此时可以看到服务端在30秒内没有收到心跳，认为客户端连接出现问题，将此连接关闭。
10. 如何编译 netty 源码并导入android studio
一、修改Android Studio(以下简称AS)的内存配置
因为在导入源码时需要消耗大量内存，所以先修改IDEA_HOME/bin/studio.vmoptions中-Xms和-Xmx的值。文档中使用的是748m, 可自行修改。
二、配置AS的JDK、SDK
在IDE中添加一个没有classpath的JDK, 这样可以确保使用源码里的库文件
并将其作为要使用的SDK的Java SDK。
三、生成导入AS所需配置文件(*.ipr)
①编译源码(为了确保生成了.java文件，如R.java；如果编译过，则无需再次编译)
②检查out/host/linux-x86/framework/目录下是否有idegen.jar
如果idegen.jar不存在，执行:
mmm development/tools/idegen/
在5.0.1的源码中会生成res.java的文件夹，导致idegen.jar运行时抛FileNotFoundException，这是idegen的代码不够严谨造成的。
我的分享里有修改这个bug的patch，或者直接使用我分享的idegen.jar。
③执行
development/tools/idegen/idegen.sh
等待出现类似下面的结果:
Read excludes: 5ms
Traversed tree: 44078ms
这时会在源码的根目录下生成android.ipr和android.iml两个IntelliJ IDEA(AS是基于IntelliJ IDEA社区版开发的)的配置文件