Передача корпоративных данных между континентальными сетями Китая и зарубежными облачными центрами обработки данных сопряжена со специфическими сетевыми сложностями. Сетевые инженеры регулярно сталкиваются с резким падением пропускной способности, непредсказуемыми задержками и потерями пакетов TCP свыше 30% в часы пиковых региональных нагрузок (с 20:00 до 24:00 по пекинскому времени). Эти сбои вызваны не проблемами на последней миле или повреждением подводных кабелей, а структурным разделением магистральных автономных систем, асимметричной маршрутизацией BGP и перегрузкой международных пограничных узлов.
Понимание различий между базовыми магистральными сетями общего пользования и премиальными транзитными каналами необходимо для проектирования устойчивых мультиоблачных платформ. Комбинация выделенного транзита, туннелей Layer 3 VPN и шлюзов BGP Anycast обеспечивает стабильную производительность передачи данных.
+-------------------------------------------------------------------------------+
| АРХИТЕКТУРА ТРАНСГРАНИЧНОГО ТРАНЗИТА И АСИММЕТРИЯ МАРШРУТОВ |
| |
| [Корпоративный клиент в материковом Китае] |
| | |
| +---> Путь A: Стандартный транзит (AS4134 ChinaNet 163) |
| | - Сильная перегрузка шлюзов (Шанхай / Гуанчжоу / Пекин) |
| | - Потери в часы пик: 25% - 40% | Bufferbloat > 400 мс |
| | |
| +---> Путь B: Премиальный транзит (AS4809 CN2 GIA) |
| - Выделенная корпоративная магистраль | Ядро MPLS / SRv6 |
| - Потери в часы пик: < 0.8% | Минимальный стабильный джиттер |
| |
| ================== ЛОВУШКА АСИММЕТРИЧНОЙ МАРШРУТИЗАЦИИ ==================== |
| |
| [Клиент] ===(Исходящий трафик через AS4809 CN2 GIA)===> [Зарубежный сервер] |
| | |
| [Клиент] <===(Обратный трафик сброшен в AS4134)==============+ |
| (Бюджетный провайдер направляет ответ через дешевый транзит) |
| Результат: задержка ACK, сжатие окна TCP, повторные передачи |
+-------------------------------------------------------------------------------+
Архитектура магистральных сетей: AS4134 (ChinaNet) и AS4809 (CN2 GIA)
Оператор связи China Telecom поддерживает две независимые автономные системы с принципиально разными характеристиками надежности и тарифной политикой:
1. Магистраль ChinaNet 163 (AS4134)
AS4134 представляет собой базовую гражданскую инфраструктуру, заложенную в середине 1990-х годов. Являясь фундаментом для сотен миллионов домашних абонентов и малого бизнеса, AS4134 пропускает более 80% всего объема данных China Telecom.
Основное узкое место AS4134 сосредоточено в международных коммутационных центрах в Шанхае, Гуанчжоу и Пекине. Эти узлы соединяют наземные волоконные линии с транстихоокеанскими подводными кабелями (NCP, FASTER, APCN-2). В вечерние часы пик из-за огромного потока мультимедийного трафика буферы интерфейсов переполняются, что приводит к задержкам передачи и сбросу пакетов.
2. Магистраль следующего поколения CN2 (AS4809)
Для корпоративных клиентов и финансового сектора, требующих минимальных задержек, была построена независимая сеть AS4809 (CN2). Она функционирует параллельно с AS4134 на базе технологий MPLS и Segment Routing (SRv6) со строгим резервированием полосы пропускания.
Транзитные услуги CN2 разделены на два уровня:
- CN2 GT (Global Transit): Пакеты передаются по сети CN2 внутри Китая, но перед выходом за границу переводятся на перегруженные шлюзы AS4134.
- CN2 GIA (Global Internet Access): Премиальный уровень, при котором трафик поступает в AS4809 в городе отправления и следует исключительно по магистрали AS4809 через выделенные пограничные узлы до зарубежных точек присутствия (Гонконг, Токио, Сан-Хосе, Франкфурт). CN2 GIA гарантирует симметричную передачу с потерями менее 1%.
Аналогичные выделенные корпоративные магистрали эксплуатируют China Unicom (AS9929 CU Premium наряду с AS4837) и China Mobile (AS58453 CMI).
+-------------------------------------------------------------------------+
| СРАВНЕНИЕ ТРАНЗИТНЫХ КАТЕГОРИЙ СЕТЕЙ |
| |
| Параметр | AS4134 (ChinaNet 163) | AS4809 (CN2 GIA) |
| --------------------+-------------------------+----------------------- |
| Целевая аудитория | Массовый сектор | Корпоративный сегмент |
| Пограничные шлюзы | Перегруженные шлюзы | Выделенные узлы Tier-1 |
| Потери в часы пик | 20% - 40% | < 1.0% |
| Средний джиттер | 80 мс - 250 мс | 2 мс - 8 мс |
| Класс сервиса (QoS) | Best-Effort | Строгий DiffServ / MPLS|
| Стоимость транзита | Базовая стандартная | Высокая корпоративная |
+-------------------------------------------------------------------------+
Причины деградации: переполнение буферов и сброс пакетов
Когда пакеты TCP проходят через перегруженные шлюзы AS4134, стандартные механизмы управления перегрузкой сталкиваются с критическими сбоями.
Алгоритмы Cubic и Reno воспринимают потерю пакетов как сигнал достижения физического предела пропускной способности. При переполнении очереди FIFO маршрутизаторы отбрасывают сегменты, вызывая резкое сокращение окна перегрузки (cwnd) до минимальных значений (1-2 MSS).
Кроме того, чрезмерно большие аппаратные буферы вызывают эффект Bufferbloat. Вместо своевременного сброса пакетов очередь задерживает их на сотни миллисекунд. Время кругового обращения (RTT) скачет с 60 мс до 500 мс, сбивая расчет таймеров повторной передачи (RTO) и вызывая повторную отправку дубликатов.
+-------------------------------------------------------------------------+
| СЖАТИЕ ОКНА TCP ИЗ-ЗА ПЕРЕПОЛНЕНИЯ БУФЕРОВ ОЧЕРЕДИ |
| |
| Размер Cwnd |
| ^ |
| 64 | /\ |
| | / \ <--- Сброс пакетов переполненным буфером AS4134 |
| 32 | / \ |
| | / \ |
| 16 | / \____ |
| | / \ |
| 2 |---/ \-- Коллапс Cwnd (пропускная способность = 0) |
| 0 +----------------------------------------------------------> Время |
+-------------------------------------------------------------------------+
Асимметрия маршрутизации в распределенных системах
Частой ошибкой при проектировании трансграничных соединений является аренда премиального канала CN2 GIA на стороне клиента при использовании бюджетного хостинга за рубежом.
Решения BGP принимаются в одном направлении. Клиент отправляет запрос через качественную сеть AS4809, но обратный маршрут формируется исходящими правилами зарубежного провайдера:
- Прямой путь: Клиент -> Сеть AS4809 -> Узел в Гонконге -> Сервер (чистый трафик, задержка < 30 мс).
- Обратный путь: Сервер -> Дешевый транзит (Cogent / HE) -> Общая точка обмена -> Перегруженный шлюз AS4134 -> Клиент.
Поскольку обратные данные содержат пакеты подтверждения TCP ACK и полезную нагрузку API, они попадают в вечерние заторы AS4134. Это нивелирует все преимущества быстрого прямого канала. Для достижения высокой производительности требуется симметрия маршрута в обоих направлениях.
+-------------------------------------------------------------------------+
| СИММЕТРИЧНАЯ И АСИММЕТРИЧНАЯ МАРШРУТИЗАЦИЯ |
| |
| Асимметричный маршрут (проблемный): |
| Клиент =====(Входящий: AS4809 CN2 GIA)=====> Зарубежный хост |
| Клиент <====(Обратный: AS4134 перегружен)=== Зарубежный хост |
| |
| Симметричный туннель (оптимальный): |
| Клиент =====(Входящий: AS4809 CN2 GIA)=====> Транзитный шлюз |
| Клиент <====(Обратный: AS4809 CN2 GIA)====== Транзитный шлюз |
| || |
| (Магистраль / WireGuard) |
| || |
| v |
| Целевая облачная инфраструктура|
+-------------------------------------------------------------------------+
Архитектурное решение: Layer 3 VPN со шлюзами BGP Anycast
Для поддержания стабильной симметричной передачи развертывается оверлейная сеть Layer 3 VPN в стратегических точках агрегации (Гонконг, Токио, Сингапур).
Архитектура включает:
- Шлюзы Anycast: Точки концентрации трафика с прямым подключением к AS4809 (CN2 GIA) и AS9929 (CU Premium).
- Изолированные туннели Layer 3: Протоколы WireGuard или IPsec (ChaCha20-Poly1305 / AES-256-GCM), инкапсулирующие сетевые пакеты в UDP-датаграммы.
- Симметричная маршрутизация: Использование BGP Community и правил Policy-Based Routing (PBR) для возврата трафика исключительно через ту же премиальную автономную систему.
+-------------------------------------------------------------------------+
| ИНКАПСУЛЯЦИЯ В ТУННЕЛЬ LAYER 3 И ОБРАБОТКА ДАННЫХ |
| |
| [Клиентское приложение] |
| | Формирует сетевой пакет TCP/UDP |
| v |
| [Виртуальный интерфейс: wg0 / tun0] |
| | Назначает внутренний статический IP (например, 10.120.0.2/24) |
| | Инкапсулирует данные в UDP-пакет протокола Noise |
| v |
| [Физический транзит через стык с AS4809] |
| | Передача по выделенному каналу с гарантией качества |
| v |
| [Пограничный маршрутизатор (Гонконг / Токио)] |
| | Проверяет криптографический ключ и выполняет деинкапсуляцию |
| | Направляет сетевой пакет во внутреннюю сеть VPC |
| v |
| [Целевой сервис назначения] |
+-------------------------------------------------------------------------+
Инженерная настройка: динамические политики и симметричный транзит
Для фиксации симметричного маршрута и устранения дрейфа трафика в сети общего пользования применяются системные политики на шлюзах под управлением Linux.
1. Настройка маршрутизации на основе политик (PBR)
Создание изолированной таблицы маршрутизации гарантирует, что ответные пакеты туннеля всегда отправляются через нужный сетевой интерфейс:
# Регистрация идентификатора специальной таблицы
echo "200 cn2gia_transit" | sudo tee -a /etc/iproute2/rt_tables
# Установка шлюза по умолчанию для премиальной таблицы
sudo ip route add default via 203.0.113.1 dev eth1 table cn2gia_transit
# Направление трафика туннельной подсети через заданную таблицу
sudo ip rule add from 10.120.0.0/24 table cn2gia_transit priority 100
sudo ip rule add to 10.120.0.0/24 table cn2gia_transit priority 101
2. Включение алгоритма управления перегрузкой TCP BBR
Для устойчивости к случайным потерям пакетов без падения пропускной способности рекомендуется активировать алгоритм Google BBR:
# Загрузка модуля BBR в ядро Linux
sudo modprobe tcp_bbr
# Фиксация параметров очередей и BBR в sysctl
cat << 'EOF' | sudo tee /etc/sysctl.d/99-network-throughput.conf
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_notsent_lowat = 16384
EOF
sudo sysctl --system
Алгоритм BBR оценивает физическую пропускную способность соединения и минимальное время RTT, сохраняя высокую скорость передачи даже при умеренных колебаниях в пограничных сегментах сети.
3. Коррекция максимального размера сегмента (MSS Clamping)
Поскольку заголовок туннеля уменьшает эффективный MTU (WireGuard добавляет от 32 до 40 байт), пакеты большего размера могут отбрасываться при блокировке служебных сообщений ICMP.
Фиксация размера MSS через iptables обеспечивает автоматическое согласование оптимального размера сегментов при установке TCP-соединений:
# Установка правил фиксации MSS для интерфейса VPN-туннеля
sudo iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -o wg0 -j TCPMSS --clamp-mss-to-pmtu
sudo iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -i wg0 -j TCPMSS --clamp-mss-to-pmtu
Комплексное применение премиальных каналов AS4809 / AS9929, оверлейных туннелей Layer 3 VPN, симметричной маршрутизации и алгоритма BBR позволяет построить отказоустойчивую корпоративную сеть между Китаем и международными облачными платформами.



