Giao thức điều khiển truyền vận (TCP), được chuẩn hóa trong RFC 793, yêu cầu quá trình bắt tay 3 bước có trạng thái (three-way handshake) trước khi ứng dụng máy khách và máy chủ trao đổi dữ liệu. Khi máy khách khởi tạo kết nối, nó phát đi một gói tin đồng bộ (SYN). Máy chủ phản hồi bằng một gói tin đồng bộ kèm xác nhận (SYN-ACK), đồng thời phân bổ bộ nhớ nhân hệ điều hành để lưu trữ khối điều khiển truyền vận (Transmission Control Block - TCB). Kết nối duy trì ở trạng thái chờ (SYN-RECEIVED) cho đến khi nhận được gói xác nhận hoàn tất (ACK) từ máy khách.

Thiết kế lưu trạng thái sớm này tạo ra một điểm yếu bất đối xứng nghiêm trọng mang tên tấn công TCP SYN Flood. Bằng cách gửi hàng loạt gói tin SYN giả mạo địa chỉ IP mà không bao giờ gửi phản hồi ACK cuối cùng, kẻ tấn công có thể làm tràn hàng đợi kết nối của máy chủ, khiến người dùng thực tế không thể truy cập dịch vụ.

Để giải quyết vấn đề cạn kiệt tài nguyên bộ nhớ, hạ tầng mạng hiện đại áp dụng các cơ chế xử lý phi trạng thái. Trong khi mạng web truyền thống dựa vào kỹ thuật SYN Cookies theo chuẩn RFC 4987 ở tầng giao vận L4, các giao thức mạng riêng ảo thế hệ mới như WireGuard sử dụng kiến trúc xác thực mã hai tầng (mac1 và mac2) để triệt tiêu các đợt tấn công từ chối dịch vụ (DoS).

Nguyên lý tấn công TCP SYN Flood và hiện tượng nghẽn hàng đợi

Khi nhân hệ điều hành tiếp nhận một gói tin SYN hợp lệ gửi tới một cổng đang lắng nghe, nó đưa yêu cầu kết nối vào một danh sách tạm thời gọi là hàng đợi nửa mở (SYN backlog).

Máy khách (Tấn công)                 Máy chủ (Nạn nhân)
       |                                   |
       |------- SYN (IP Giả A) ----------->| Cấp phát TCB vào hàng đợi SYN
       |------- SYN (IP Giả B) ----------->| Cấp phát TCB vào hàng đợi SYN
       |------- SYN (IP Giả C) ----------->| Cấp phát TCB vào hàng đợi SYN
       |                                   | (Tràn bộ đệm hàng đợi SYN!)
       |                                   | Hủy bỏ các gói SYN mới đến
       |                                   | Người dùng hợp lệ bị chặn

Trong điều kiện mạng thông thường, các mục nửa mở này được lưu giữ vài giây để chờ máy khách phản hồi. Khi xảy ra tấn công SYN Flood:

  1. Giả mạo địa chỉ nguồn (IP Spoofing): Kẻ tấn công tạo ra các khung TCP SYN tần số cao với địa chỉ IP nguồn ngẫu nhiên hoặc không có thật.
  2. Làm cạn kiệt tài nguyên: Do các địa chỉ IP bị giả mạo không bao giờ nhận được hoặc không gửi phản hồi cho gói SYN-ACK, máy chủ phải lưu trữ hàng nghìn cấu trúc TCB treo trong bộ nhớ nhân, chiếm dụng bảng mô tả socket và dung lượng RAM.
  3. Tràn hàng đợi kết nối: Khi dung lượng hàng đợi đạt giới hạn tối đa (xác định bởi tham số listen(backlog) của ứng dụng và tham số sysctl của nhân), hệ điều hành sẽ từ chối mọi yêu cầu kết nối tiếp theo, loại bỏ ngay cả các kết nối từ người dùng thực.
Bước bắt tay TCP Kết nối thông thường Kịch bản bị tấn công SYN Flood
Gói SYN đầu tiên Máy khách gửi số thứ tự ban đầu Kẻ tấn công gửi bão gói tin giả mạo
Phản hồi máy chủ Cấp phát bộ nhớ TCB và gửi SYN-ACK Phân bổ tài nguyên cho địa chỉ ảo
Gói ACK hoàn tất Máy khách hoàn tất bắt tay 3 bước Không có gói ACK trở về, kết nối treo
Tác động nhân OS Chuyển mượt sang trạng thái ESTABLISHED Hàng đợi tràn, từ chối người dùng hợp lệ

Kỹ thuật RFC 4987 SYN Cookies: Bắt tay phi trạng thái

Được quy chuẩn trong RFC 4987, giải pháp SYN Cookies cung cấp cơ chế toán học chuyển đổi quy trình bắt tay TCP từ có trạng thái sang hoàn toàn phi trạng thái trong giai đoạn máy chủ bị quá tải.

Thay vì phân bổ cấu trúc dữ liệu TCB vào bộ nhớ ngay khi nhận gói SYN, máy chủ kích hoạt SYN Cookies sẽ tính toán một số thứ tự khởi tạo đặc biệt (Initial Sequence Number - ISN) mang tính mật mã và gửi đi trong gói SYN-ACK. Máy chủ lập tức xóa bỏ ngữ cảnh kết nối khỏi bộ nhớ.

Cấu trúc nhị phân 32-bit của SYN Cookie mã hóa trực tiếp các thông số kết nối cốt lõi:

 0                   1                   2                   3
 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|  Time (5b)  |  MSS (3b) |           Băm mật mã bí mật (24b)   |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Thành phần của dãy số 32-bit bao gồm:

  • Bộ đếm thời gian (5 bit): Giá trị tăng dần sau mỗi chu kỳ (thường là 64 giây) nhằm ngăn chặn việc phát lại cookie sau khoảng thời gian dài.
  • Chỉ số MSS (3 bit): Đại diện cho một trong 8 giá trị kích thước đoạn tối đa (Maximum Segment Size) tiêu chuẩn, cho phép đàm phán kích thước gói mà không cần lưu trạng thái.
  • Dãy băm bí mật (24 bit): Mã băm mật mã tính toán trên địa chỉ IP nguồn, IP đích, cổng nguồn, cổng đích, bộ đếm thời gian và một khóa bí mật nội bộ chỉ máy chủ nắm giữ.

Khi máy khách hợp lệ phản hồi bằng gói tin ACK cuối cùng, trường acknowledgment của nó sẽ có giá trị đúng bằng số cookie cộng thêm một (cookie + 1). Máy chủ trừ đi một, trích xuất thời gian cùng chỉ số MSS, rồi tính toán lại mã băm với khóa bí mật. Nếu khớp, nhân hệ điều hành xác nhận máy khách đã thực sự nhận được gói SYN-ACK và làm chủ địa chỉ IP kết nối. Chỉ tại thời điểm này, máy chủ mới cấp phát bộ nhớ và thiết lập phiên làm việc chính thức.

Trong khi SYN Cookies giải quyết bài toán cho luồng TCP, mạng riêng ảo (VPN) hoạt động chủ yếu trên nền UDP ở tầng mạng Layer-3. Đường hầm VPN không thể dựa vào số thứ tự TCP hay quy trình bắt tay nhiều bước. Ngoài ra, các cổng VPN đối mặt với nguy cơ kép: cạn kiệt bộ nhớ và cạn kiệt tài nguyên CPU do chi phí tính toán mật mã bất đối xứng (như phép trao đổi khóa Curve25519 Diffie-Hellman).

WireGuard giải quyết bài toán này bằng kiến trúc mã xác thực thông điệp hai tầng (mac1 và mac2).

Thách thức về tải trọng tính toán bất đối xứng

Khi một thiết bị khởi tạo kết nối tới cổng VPN WireGuard, nó gửi gói tin yêu cầu bắt tay (Handshake Initiation). Trong điều kiện bình thường, máy chủ xác minh gói tin và thực hiện trao đổi khóa Curve25519 để tạo khóa phiên.

Tuy nhiên, việc tính toán Curve25519 tốn nhiều tài nguyên xử lý hơn hàng trăm lần so với việc gửi nhận một gói tin UDP thô. Một mạng botnet giả mạo địa chỉ IP có thể liên tục bắn các gói yêu cầu bắt tay rác, làm nghẽn 100% CPU máy chủ và đẩy người dùng hợp lệ vào tình trạng mất kết nối.

Cấu trúc xác thực MAC hai tầng

Gói tin bắt tay WireGuard bổ sung hai trường xác thực 16 byte ở phần đuôi:

+---------------------------------------------------------------+
|                    Nội dung thông điệp bắt tay                |
+---------------------------------------------------------------+
|                       mac1 (16 byte)                          |
+---------------------------------------------------------------+
|                       mac2 (16 byte)                          |
+---------------------------------------------------------------+
  1. Trường mac1 (Tính toàn vẹn và Định danh): Mã xác thực tính toán dựa trên khóa công khai của máy chủ nhận. Nếu trường mac1 không hợp lệ hoặc thiếu, máy chủ lập tức loại bỏ gói tin mà không thực hiện bất kỳ phép toán giải mã nào.
  2. Trường mac2 (Xác thực khả năng nhận gói tin chiều về): Trong điều kiện tải thông thường, trường mac2 được để trống (toàn số 0). Khi lưu lượng kết nối vượt ngưỡng an toàn (phát hiện dấu hiệu tấn công DoS), máy chủ kích hoạt chế độ phòng vệ cookie.

Khi máy chủ bị quá tải, nó tạm ngừng thực hiện các phép toán Curve25519 tốn kém và chuyển sang quy trình cookie gọn nhẹ:

  1. Khởi tạo Cookie: Máy chủ tạo một mã cookie được mã hóa bằng thuật toán ChaCha20-Poly1305, kết hợp địa chỉ IP, cổng của bên gửi và một khóa bí mật máy chủ tự đổi mới sau mỗi 2 phút.
  2. Gửi gói Cookie Reply: Máy chủ gửi cookie này trở lại cho địa chỉ nguồn. Nếu địa chỉ IP bị giả mạo, gói cookie rơi vào hư không hoặc bị máy chủ thật loại bỏ; kẻ tấn công không thể nhận được cookie.
  3. Gửi lại gói tin kèm mac2: Máy khách hợp lệ nhận cookie, lưu vào bộ đệm và lập tức phát lại gói yêu cầu bắt tay với trường mac2 được tính bằng chính mã cookie nhận được.
  4. Kiểm tra tức thì: Máy chủ xác minh mac2 bằng phép băm đối xứng siêu tốc. Nhờ đó, máy chủ có thể sàng lọc hàng triệu gói tin giả mạo mỗi giây trước khi tiêu tốn tài nguyên CPU cho quá trình bắt tay chính thức.

Trong toàn bộ quá trình phòng thủ này, máy chủ WireGuard hoàn toàn phi trạng thái. Không có bảng phiên tạm thời hay hàng đợi nửa mở nào được tạo ra trong bộ nhớ.

Tinh chỉnh nhân Linux: Kích hoạt SYN Cookies và bảo vệ hàng đợi

Đối với người quản trị máy chủ dịch vụ và điểm cuối VPN, việc cấu hình chính xác các tham số hàng đợi trên nhân Linux giúp hệ thống đứng vững trước các đợt bão lưu lượng độc hại.

Kích hoạt và cấu hình SYN Cookies bằng Sysctl

Kiểm tra trạng thái kích hoạt hiện tại trên hệ thống:

# Kiểm tra trạng thái SYN Cookies (1 = đã bật)
sysctl net.ipv4.tcp_syncookies

Để tối ưu hóa năng lực chịu tải và hàng đợi socket, thêm cấu hình sau vào /etc/sysctl.d/99-network-dos-protection.conf:

# Kích hoạt tính năng bảo vệ SYN Cookies
net.ipv4.tcp_syncookies = 1

# Mở rộng kích thước hàng đợi kết nối nửa mở
net.ipv4.tcp_max_syn_backlog = 8192

# Mở rộng giới hạn hàng đợi kết nối cho hàm listen()
net.core.somaxconn = 8192

# Giảm số lần thử lại gói SYN-ACK để giải phóng socket treo nhanh hơn
net.ipv4.tcp_synack_retries = 2

# Tăng dung lượng hàng đợi gói tin card mạng trên mỗi lõi CPU
net.core.netdev_max_backlog = 16384

Kích hoạt các tham số trên nhân ngay lập tức:

sudo sysctl --system

Giám sát trạng thái kết nối và hiện tượng tràn hàng đợi

Theo dõi lưu lượng socket và kiểm tra dấu hiệu tấn công SYN Flood theo thời gian thực:

# Hiển thị thống kê tổng quan số lượng socket TCP
ss -s

# Theo dõi số lượng kết nối bị hủy do đầy hàng đợi listen
netstat -s | grep -i "listen"

Hạ tầng phòng thủ DoS chủ động tại VPNRice

Bảo vệ mạng lưới kết nối trước các đợt tấn công từ chối dịch vụ đòi hỏi khả năng phòng thủ phối hợp ở mọi tầng giao thức. VPNRice ứng dụng các nguyên tắc phòng thủ đa lớp:

  1. Khởi tạo phiên phi trạng thái RiceGuard: Với cơ chế kiểm tra mac1 và mac2 theo chuẩn WireGuard, các nút máy chủ cổng của VPNRice xử lý mượt mà hàng triệu yêu cầu bắt tay giả mạo mà không làm tăng tải CPU hay chiếm dụng bộ nhớ.
  2. Lọc gói tin sớm với eBPF/XDP: Tại lớp biên mạng, VPNRice ứng dụng công nghệ eBPF và trình điều khiển XDP để kiểm tra và loại bỏ các gói tin rác ngay tại tầng phần cứng card mạng, ngăn chặn lưu lượng tấn công đi sâu vào nhân hệ điều hành.
  3. Cách ly hoàn toàn thiết bị người dùng: Dữ liệu di chuyển trong đường hầm RiceGuard được mã hóa Layer-3, giúp máy trạm của bạn hoàn toàn miễn nhiễm với các kỹ thuật tấn công hàng đợi TCP hay giả mạo lưu lượng tại mạng nội bộ.

Nhờ sự kết hợp giữa các thuật toán bắt tay phi trạng thái và năng lực xử lý phân tán, hệ thống mạng VPNRice duy trì tốc độ truyền tải ổn định và độ trễ thấp ngay cả trong các kịch bản mạng biến động phức tạp.