在tcp_clean_rtx_queue()中，并非对每个ACK都进行时延采样。是否进行时延采样，跟这个ACK是否为
重复的ACK、这个ACK是否确认了重传包，以及是否使用时间戳选项都有关系。
本文主要内容：tcp_clean_rtx_queue()的一些细节，时延采样的条件。
内核版本：3.2.12
Author：zhangskd @ csdn
记分牌
TCP_SKB_CB(skb)->sacked称为skb的记分牌，用于跟踪skb的状态。
以下是skb记分牌可能的取值：
#define TCPCB_SACKED_ACKED 0x01 /* skb被SACKed */ #define TCPCB_SACKED_RETRANS 0x02 /* skb retransmitted */ #define TCPCB_LOST 0x04 /* skb判断为LOST */ #define TCPCB_TAGBITS 0x07 /* All tag bits */ #define TCPCB_EVER_RETRANS 0x80 /* Ever retransmitted frame */ #define TCPCB_RETRANS (TCPCB_SACKED_RETRANS | TCPCB_EVER_RETRANS)
TCPCB_SACKED_RETRANS和TCPCB_EVER_RETRANS有什么区别呢？
当一个skb被重传了，它的记分牌就会添加TCPCB_RETRANS标志。
当重传的skb被sack确认或者ack累积确认时，就会清除TCPCB_SACKED_RETRANS标志，
但是这个时候TCPCB_EVER_RETRANS还保留，表示这个skb曾经被重传过。
TCPCB_EVER_RETRANS在更新RTT中发挥作用，如果skb曾经重传过，那么就不根据它来计算RTT
采样值，更新srtt和rto等。
释放段
从发送队列sk->sk_write_queue上移除skb，并非从物理内存中释放skb。
static inline void tcp_unlink_write_queue(struct sk_buff *skb, struct sock *sk)
{
__skb_unlink(skb, &sk->sk_write_queue);
}
static inline void __skb_unlink(struct sk_buff *skb, struct sk_buff_head *list)
{
struct sk_buff *next, *prev;
list->qlen--; /* 发送队列长度减1 */
next = skb->next;
prev = skb->prev;
skb->next = skb->prev = NULL;
next->prev = prev;
prev->next = next;
}
static inline void sk_wmem_free_skb(struct sock *sk, struct sk_buff *skb)
{
sock_set_flag(sk, SOCK_QUEUE_SHRUNK); /* 设置标志，表示有skb释放了*/
sk->sk_wmem_queue -= skb->truesize; /* 更新发送队列所占内存*/
sk_mem_uncharge(sk, skb->truesize);
__kfree_skb(skb); /* 释放skb占用的内存*/
}
Reno ACK处理
场景：Reno中收到ACK的时候。
这时候会模拟SACK，更新tp->sacked_out和tp->reordering。
/* Account for ACK, ACKing some data in Reno Recovery phase. */
static void tcp_remove_reno_sacks(struct sock *sk, int acked)
{
struct tcp_sock *tp = tcp_sk(sk);
if (acked > 0) {
/* One ACK acked hole. The rest eat duplicate ACKs.
* 收到正常ACK，不在Recovery状态。
* 收到Cummulative ACK，确认完所有的sacked包。
*/
if (acked - 1 >= tp->sacked_out)
tp->sacked_out = 0;
else /* 收到Partial ACK，确认了部分sack包*/
tp->sacked_out -= acked - 1;
}
/* 检查是否有乱序，有的话更新tp->reordering */
tcp_check_reno_reordering(sk, acked);
tcp_verify_left_out(tp);
}
时延采样
（1）什么情况下进行RTT采样？
首先，如果是重复的ACK，即没有使snd_una前进的ACK，那么是不会进入RTT更新路径的：
if (flag & FLAG_ACKED)
{
...
tcp_ack_update_rtt(sk, flag, seq_rtt);
tcp_rearm_rto(sk);
...
}
其次，有确认新数据的情况下：
1. 没有使用时间戳选项（tcp_ack_no_tstamp）
确认的数据段中不能包含重传过的段(FLAG_RETRANS_DATA_ACKED)。
因为我们无法知道是哪个包，原始包还是重传包触发了这个ACK，因此无法确定触发包的
发送时间。
如果此ACK确认了多个段，则使用第一个被确认段的发送时间来计算seq_rtt。
2. 使用时间戳选项（tcp_ack_saw_tstamp）
RTTM rule：A TSecr value received in a segment is used to update the averaged
RTT measurement only if the segment acknowledges some new data, i.e, only if
it advances the left edge of the send window.
此时我们知道这个ACK的触发段的确切发送时间为：tp->rx_opt.rcv_tsecr，所以我们计算得到
的RTT总是正确的，而不用去考虑触发这个ACK的是原始包还是重传包。
（2）icsk_ca_ops->pkts_acked()的调用
如果被此ACK确认的数据段中，含有重传过的数据段，那么就设置FLAG_RETRANS_DATA_ACKED，
ca_ops->pkts_acked(sk, pkts_acked, rtt_us)中的rtt_us = -1。
当有FLAG_ACKED标志(FLAG_DATA_ACKED | FLAG_SYN_ACKED)时调用。
有FLAG_RETRANS_DATA_ACKED设置，表示此ACK确认的是重传的数据包，这个时候rtt_us为-1。
#define FLAG_NOT_DUP (FLAG_DATA | FLAG_WIN_UPDATE | FLAG_ACKED)
Q: 那么，在什么情况下无法观测到正常的RTT呢？
A: 重传数据包的ACK、Dup ACK、Partical ACK、Cumulative ACK。
（3）各个状态下的时延采样
1. Open、CWR
对每个ACK都进行RTT采样。
2. Disorder
dup ACK，不进行RTT采样。
cumulative ACK，进行RTT采样。
3. Recovery
dup ACK，不进行RTT采样。
partical ACK
不启用Timstamp，不进行RTT采样。
启用Timestamp，进行RTT采样。
cumulative ACK
不启用Timstamp，不进行RTT采样。
启用Timestamp，进行RTT采样。
4. Loss
partical ACK
不启用Timstamp，不进行RTT采样。
启用Timestamp，进行RTT采样。
cumulative ACK
不启用Timstamp，不进行RTT采样。
启用Timestamp，进行RTT采样。
（4）重置超时重传定时器
每次更新SRTT和RTO后，都重置超时重传定时器。
/* Restart timer after forward progress on connection.
* RFC2988 recommends to restart timer to now + rto.
*/
static void tcp_rearm_rto(struct sock *sk)
{
const struct tcp_sock *tp = tcp_sk(sk);
if (! tp->packets_out) { /* 如果网络上没有数据，删除超时重传定时器*/
inet_csk_clear_xmit_timer(sk, ICSK_TIME_RETRANS);
} else { /* 重置超时重传定时器*/
inet_csk_reset_ximit_timer(sk, ICSK_TIME_RETRANS, inet_csk(sk)->icsk_rto, TCP_RTO_MAX);
}
}