Georgia Tech 사례연구
ntop이 조지아 공대의 네트워크 텔레스코프를 가속화한 방법
프로젝트 개요
조지아 공과대학교(Georgia Institute of Technology) 컴퓨팅 대학의 Internet Intelligence Lab에서는 미국 국립과학재단(NSF)의 지원을 받아 혁신적인 연구 인프라인 동적 네트워크 텔레스코프를 구축, 모니터링 및 검증하기 위해 nProbe Cento와 PF_RING ZC를 사용하고 있습니다.
❓네트워크 텔레스코프란?
네트워크 텔레스코프는 대규모의 비활성 IP 주소 집합을 사용하여 원치 않는 인터넷 트래픽(일명 "오염" 또는 "배경 복사")을 관찰하는 시스템입니다. 이를 통해 다음과 같은 다양한 인터넷 현상을 발견할 수 있습니다:
- 🛡️DDoS 공격 탐지 및 분석
- 🔍포트 스캐닝 활동 모니터링
- 🦠신종 악성코드 확산 추적
⚠️기존 방식의 문제점
기존의 정적 네트워크 텔레스코프는 다음과 같은 한계가 있었습니다:
- ❌IPv4 주소 고갈: 단일 대형 서브넷에 속하는 비활성 IP 주소가 필요하여, IPv4 주소가 희소해지면서 네트워크 텔레스코프 구축이 매우 어려워짐
- ❌탐지 회피: 악의적 행위자들이 네트워크 텔레스코프가 사용하는 IP 주소를 감지하고 회피하는 방법을 학습함
✅동적 텔레스코프 솔루션
동적 텔레스코프는 기관 내 여러 서브넷에서 사용되지 않는 IP 주소를 지속적으로 추적하여 텔레스코프에 통합하는 방식으로 이 문제를 해결합니다:
- ✓유연한 IP 관리: 비활성 상태일 때 주소를 포함하고, 다시 사용될 때 텔레스코프에서 제거
- ✓탐지 회피 방지: 사용 중인 주소가 지속적으로 변경되어 다른 당사자가 어떤 주소가 텔레스코프에 사용되는지 발견하기 어려움
⚙️기술 구현
🖥️인프라 구성
- •서버: AMD Genoa 9534 (64코어), 768GB DDR5-4800 메모리
- •네트워크: Mellanox ConnectX-6 NIC (100Gbps 포트 2개)
- •스위치: Intel Tofino 프로그래머블 스위치
- •OS: Ubuntu 24.04.2 LTS (Noble)
📦소프트웨어 스택
파이버 탭을 통해 수신된 모니터링 트래픽에서 샘플링되지 않은 NetFlow 레코드를 얻기 위해 nProbe Cento를 사용합니다. 이 트래픽은 프로그래머블 Intel Tofino 스위치에 의해 수집되고 캡처 서버로 전달됩니다.
nProbe Cento with PF_RING ZC를 100Gbps Flow Exporter로 배포하여 실시간으로 완전한 플로우 레코드를 생성하며, 패킷 손실이 전혀 관찰되지 않습니다.
📊성능 비교
❌이전 솔루션 (YAF with libpfring)
캠퍼스 트래픽 부하(지속적으로 10Gbps 이상)를 따라잡지 못해 심각한 패킷 손실 발생
💡 참고: YAF는 PF_RING ZC 사용이 가능하지만 라이선스가 필요하여, 전체 NetFlow 생성 파이프라인을 nProbe Cento로 대체
✅현재 솔루션 (nProbe Cento with PF_RING ZC)
- ✓100Gbps 트래픽 부하 지원
- ✓패킷 손실 0% - 관찰된 패킷 손실 없음
- ✓실시간 처리 - 완전한 플로우 레코드 실시간 생성
- ✓최적화된 내보내기 - 텍스트 기반 포맷으로 디스크 쓰기 후 오프라인 후처리
🔧최적화 과정
초기 nProbe 구성은 최적화되지 않았으며, ntop 팀과의 협력을 통해 다음 사항들을 개선했습니다:
1️⃣ RSS 스레드 수 조정
인터페이스의 RSS(Receive Side Scaling) 스레드 수 최적화
2️⃣ 코어 어피니티 설정
프로세스를 특정 CPU 코어에 바인딩하여 성능 향상
3️⃣ 내보내기 포맷 변경
문제: IPFIX 포맷으로 내보내기 시도했으나, 레코드 구성의 성능 영향으로 패킷 속도를 따라잡지 못함
해결: Cento의 텍스트 기반 포맷으로 플로우 레코드를 디스크에 쓰고 오프라인 후처리 수행
🎯프로젝트 성과
nProbe Cento with PF_RING ZC를 통해 Georgia Tech는 완전한 플로우 레코드를 실시간으로 생성하며 패킷 손실 없이 동적 네트워크 텔레스코프를 성공적으로 운영하고 있습니다.
🛠️사용된 ntop 제품
nProbe Cento
100Gbps까지 지원하는 고성능 Flow Exporter. 샘플링되지 않은 NetFlow 레코드를 실시간으로 생성하여 완전한 네트워크 가시성 제공
PF_RING ZC
Zero-Copy 패킷 캡처 기술. CPU 오버헤드를 최소화하고 100Gbps 이상의 고속 트래픽을 패킷 손실 없이 처리