시멘틱 통신(Semantic Communication) - 6G를 위한 새로운 통신 패러다임
IEEE Communications Surveys & Tutorials 2023에 게재된 SemCom 종합 서베이 논문을 리뷰하고 핵심 개념을 정리합니다.
이 포스팅은 25년도 광주과학기술원(GIST) 석사과정을 진행하는 제 연구 주제와 관련된 논문 리뷰 및 정리글입니다.
0. 논문 정보
- 제목: Semantic Communications for Future Internet: Fundamentals, Applications, and Challenges
- 저자: Wanting Yang, Hongyang Du 외 7인
- 학술지: IEEE Communications Surveys & Tutorials, Vol. 25, No. 1, 2023
- 기관: Nanyang Technological University(NTU), Singapore University of Technology and Design(SUTD) 등
1. 왜 시멘틱 통신인가?
Shannon의 함정(Shannon’s Trap)
1948년 Shannon이 정보이론(Classical Information Theory, CIT)을 정립한 이래, 통신 공학의 목표는 항상 얼마나 많은 비트를 얼마나 빠르고 정확하게 전달하느냐였다. 1G부터 5G까지의 발전도 이 철학을 따른다. 3G는 2G 대비 1000배의 데이터 전송속도를, 4G는 3G 대비 또 1000배를 달성했다.
Shannon 본인도 이렇게 말했다.
“The semantic aspects of communication should be regarded as irrelevant to the engineering problem.”
그러나 6G 시대가 다가오면서 이 패러다임은 한계에 부딪히기 시작했다. 메타버스, 홀로그래픽 통신, 초지능 IoT처럼 인간 중심적이고 데이터·자원 집약적인 응용 서비스들은 기존의 비트 전송 중심 통신 구조로는 감당하기가 어렵다.
6G가 해결해야 하는 핵심 문제들은 다음과 같다.
- D1) 메타버스 등 신규 서비스로 인한 대용량 무선 데이터 전송 수요
- D2) 협력 로봇, 초지능 IoT 등 수많은 노드가 빠르고 신뢰할 수 있는 정보 교환을 필요로 함
- D3) 실시간 정보 갱신 및 사용자 데이터 분석에 소모되는 네트워크 자원 급증
이에 대한 해답으로 떠오른 것이 바로 시멘틱 통신(Semantic Communication, SemCom)이다.
2. 시멘틱 통신이란?
Weaver는 통신의 레벨을 세 단계로 구분했다.
| 레벨 | 질문 | 설명 |
|---|---|---|
| Level A | 기호를 얼마나 정확하게 전달할 수 있는가? | 기술적 수준 (Shannon의 CIT가 담당) |
| Level B | 전달된 기호가 원하는 의미를 얼마나 정확히 전달하는가? | 시멘틱 수준 |
| Level C | 전달된 의미가 원하는 방식으로 행동에 영향을 미치는가? | 효과성 수준 |
기존 통신은 오로지 Level A만을 다뤘다. SemCom은 여기서 한 발 더 나아가 Level B와 Level C를 통신 시스템 설계에 통합하는 것을 목표로 한다.
쉽게 말해, “무엇을 전달할 것인가”의 의미(Semantics)를 파악하고, 그 의미만 골라서 효율적으로 전달하는 통신이 SemCom이다.
예를 들어, 자율주행 차량이 교차로 영상을 서버로 전송할 때:
- 기존 통신: 영상을 압축해서 전체 전송
- SemCom: ‘보행자 감지됨, 속도 30km/h, 신호 빨간불’ 같은 핵심 정보만 추출해서 전송
전송량이 줄어드니 네트워크 부담도 줄고, 지연도 감소한다.
3. SemCom의 세 가지 유형
이 서베이 논문은 SemCom을 세 가지 범주로 분류한다.
3-1) 시멘틱 지향 통신 (Semantic-Oriented Communication)
전통적인 content-blind 통신과 달리, 전송하는 데이터의 의미를 파악하고 핵심 시멘틱 정보만 추출하여 전송한다. 수신자는 이 정보를 바탕으로 원래 메시지의 의미를 복원한다.
- 입력: 원시 데이터 (이미지, 텍스트, 음성 등)
- 출력: 복원된 의미(Desired Meaning)
- 핵심 기술: 시멘틱 인코더/디코더 (딥러닝 기반)
3-2) 목표 지향 통신 (Goal-Oriented Communication)
시멘틱 지향 통신에서 한 발 더 나아가, 통신의 목적(Goal)을 함께 고려한다. 같은 데이터라도 목적에 따라 필요한 정보가 다르므로, 매 전송마다 목적에 맞는 정보만 선택적으로 추출하여 전송한다.
- 입력: 원시 데이터 + 통신 목표
- 출력: 목표 달성을 위한 직접적인 행동(Action)
- 예시: 자율주행에서 ‘보행자 있음’이라는 정보 → 브레이크 작동 명령으로 직접 연결
3-3) 시멘틱 인지 통신 (Semantic-Aware Communication)
여러 에이전트가 협력하는 태스크 지향 통신(Task-Oriented Communication)에서 SemCom이 담당하는 역할을 정의한다. 두 노드 사이의 명확한 송수신 관계가 없는 분산 환경에서, 에이전트들이 서로의 행동과 환경을 분석하여 시멘틱 정보를 교환하고 협력 성능을 높인다.
- 예시: UAV 군집 비행에서 충돌 회피를 위한 의미 있는 정보 교환
4. 시멘틱 정보 추출 (Semantic Extraction, SE)
SemCom의 핵심은 어떻게 의미 있는 정보를 뽑아낼 것인가이다. 이 논문은 네 가지 SE 방법을 소개한다.
4-1) 딥러닝 기반 SE (DL-Based SE)
Transformer, CNN, LSTM 등의 딥러닝 모델을 활용하여 시멘틱 인코더와 디코더를 구성한다.
- 이미지: ResNet 기반 feature extractor로 분류/인식에 필요한 특징만 추출
- 텍스트: Transformer의 multi-head attention으로 문장의 의미와 문법 구조 파악
- 음성: Wav2Vec, SE-ResNet 등으로 음성 시멘틱 특징 추출
장점: 낮은 SNR 환경에서도 강인한 성능, 아날로그 전송 시 낮은 처리 지연 단점: 이상적인 채널 조건에서는 전통 통신 대비 suboptimal, DL의 불가피한 error floor 존재
4-2) 강화학습 기반 SE (RL-Based SE)
기존 DL의 손실 함수는 미분 가능해야 한다는 제약이 있다. 하지만 BLEU 같은 시멘틱 지표는 미분 불가능하다. 이를 극복하기 위해 강화학습을 활용한다.
디코더의 출력 과정을 MDP(Markov Decision Process)로 모델링하여, 문장 전체의 시멘틱 품질을 보상(Reward)으로 삼아 학습한다. Self-Critical Sequence Training(SCST)을 통해 효율적인 학습이 가능하다.
4-3) 지식 베이스 보조 SE (KB-Assisted SE)
통신 목표(Goal)에 따라 필요한 시멘틱 정보가 달라진다는 점에 착안하여, 사전에 구축된 지식 베이스(Knowledge Base, KB)를 활용해 관련 시멘틱만 선택적으로 추출한다.
- KB에는 각 시멘틱 단위와 태스크 간의 관계 및 중요도 정보를 저장
- 다중 태스크 시나리오에서 효율적인 자원 활용 가능
- 단, KB 구축이 계산 집약적이며 실시간 업데이트가 어려움
4-4) 시멘틱 네이티브 SE (Semantic-Native SE)
앞선 세 방법은 사전에 공유된 데이터나 모델이 필요하다. 반면 시멘틱 네이티브 SE는 에이전트가 서로 상호작용하며 시멘틱과 배경 지식을 함께 학습하는 방식이다. ‘수동 학습’을 ‘능동 학습’으로 전환한다는 개념으로, 인간이 처음 만나는 사람과 대화하며 서로를 이해해가는 과정과 유사하다.
5. 시멘틱 성능 지표
전통 통신은 BER(비트 오류율), SER(심볼 오류율) 같은 지표를 사용한다. SemCom은 여기에 맞지 않는다. 의미가 얼마나 잘 전달되었는지를 새로운 방식으로 평가해야 한다.
5-1) 오류 기반 시멘틱 지표 (Error-Based)
| 지표 | 설명 | 적용 데이터 |
|---|---|---|
| BLEU | n-gram 일치율 기반 유사도 | 텍스트 |
| CIDEr | 여러 참조 문장 대비 유사도 | 텍스트 |
| Sentence Similarity | BERT 기반 코사인 유사도 | 텍스트 |
| PESQ | 인간 청각 모델 기반 음질 평가 | 음성 |
| SDR | 신호 대 왜곡 비율 | 음성 |
| PSNR/SSIM | 영상 품질 지표 | 이미지 |
5-2) AoI 기반 시멘틱 지표 (Age of Information-Based)
통신에서 정보의 신선도(Freshness)가 중요한 경우 사용한다. 위치 추적, 원격 제어 등에서 오래된 정보는 의미가 없거나 오히려 해롭다. AoI는 수신된 정보의 타임스탬프와 현재 시각의 차이로 정의된다.
\[\Delta(t) = t - u(t)\]여기서 $u(t)$는 시각 $t$에 수신된 가장 최신 패킷의 생성 시각이다.
5-3) VoI 기반 시멘틱 지표 (Value of Information-Based)
정보의 태스크 관련성(Relevance)을 측정한다. 온도 이상 감지 시스템에서, 평상시 온도 데이터는 VoI가 낮고 이상 온도 데이터는 VoI가 높다. AoI가 시간 차원의 신선도를 다룬다면, VoI는 내용 차원의 가치를 다룬다.
6. 6G에서의 응용
이 논문은 SemCom이 6G에서 어떻게 활용될 수 있는지 다양한 시나리오를 제시한다.
| 응용 분야 | SemCom의 역할 |
|---|---|
| 지능형 교통 시스템(ITS) | 차량 센서 데이터에서 주행에 필요한 핵심 시멘틱만 추출·전송 |
| 분산 학습(Federated Learning) | 모델 파라미터/그래디언트의 의미 인식 압축으로 통신 오버헤드 절감 |
| UAV 군집 | 충돌 회피를 위한 에이전트 간 시멘틱 정보 교환으로 협력 효율화 |
| 확장 현실(XR)/메타버스 | 사용자 동작 데이터를 시멘틱 추출 후 전송, 대역폭·지연 감소 |
| 홀로그래픽 통신 | 전송-전-이해 패러다임으로 대역폭 절감 및 전송 신뢰성 향상 |
| 협력 로봇 | 로봇 간 시멘틱 기반 정보 교환으로 판단 시간 단축 |
| 초지능 IoT | 의미 있는 데이터만 전송하여 통신 효율 극대화 |
7. 6G SemCom 네트워크 아키텍처
논문은 기존 7계층 OSI 모델을 대체하는 3계층 IE-SC(Intelligent and Efficient Semantic Communication) 아키텍처를 제안한다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
┌─────────────────────────────────────────────────┐
│ 시멘틱 인텔리전스 플레인 (S-IP) │
│ (시멘틱 환경 표현 / 배경 지식 관리 / 의미 결정) │
├───────────────────────┬─────────────────────────┤
│ S-AI Layer │ S-NP Layer │
│ (응용-의도 계층) │ (네트워크-프로토콜 계층) │
│ - 의도 마이닝 │ - SI 연산 │
│ - 의도 분해 │ - 프로토콜 형성 │
│ - 의미 표현 │ - SI 변환 │
├───────────────────────┴─────────────────────────┤
│ S-PB Layer (물리-베어링 계층) │
│ - 시멘틱 인코딩/디코딩 │
│ - 채널 정보 기반 시멘틱 추출 │
│ - 시멘틱 인지 합동 소스-채널 코딩 │
└─────────────────────────────────────────────────┘
기존 OSI 모델이 비트 단위로 통신하는 구조라면, 이 아키텍처는 Seb(Semantic bit) 단위로 통신하는 구조다. 각 계층이 의미 정보를 인식하고 처리함으로써, 사용자의 의도에서 물리적 신호 전송까지 시멘틱 흐름이 일관되게 유지된다.
8. 앞으로의 연구 과제
SemCom의 발전을 위해 남아 있는 주요 과제들은 다음과 같다.
- SE의 해석 가능성(Explainability): 딥러닝 기반 시멘틱 추출 모델의 블랙박스 문제 해결
- SE 정확도와 통신 오버헤드의 트레이드오프: KB 구축·동기화 비용 vs. 통신 효율성 사이의 균형 최적화
- 시멘틱 캐싱(Semantic Caching): 원시 데이터가 아닌 시멘틱 단위로 캐싱하는 새로운 전략 개발
- 암묵적 시멘틱의 추론(Implicit SemCom): 명시적 정보 외에 문맥과 배경에 숨겨진 의미까지 전달하는 기술
- 채널 관리에서의 AI 활용: RMS(Reconfigurable Metasurface) 등을 활용한 AI 기반 채널 환경 제어
- 보안과 성능 트레이드오프: 부분적인 데이터만 전송하는 SemCom의 보안 특성을 활용하면서도 새로운 보안 위협 대응
9. 정리하며
시멘틱 통신은 Shannon 이후 70년 이상 이어져 온 비트 중심 통신 패러다임을 근본적으로 뒤집는 아이디어다. 단순히 ‘빠르게 많이 보내는 것’에서 ‘의미 있는 것만 골라서 보내는 것’으로의 전환이다.
물론 아직 갈 길이 멀다. 이 서베이에서도 인정하듯, 실용적인 시멘틱 지식 베이스 구축, 모델의 해석 가능성 확보, 시멘틱 지표의 표준화 등 아직 해결되지 않은 문제들이 산적해 있다. 하지만 딥러닝과 AI 기술이 빠르게 발전하는 지금, SemCom은 6G의 핵심 패러다임으로 자리잡을 가능성이 충분하다.
앞으로 이 블로그에서는 SemCom의 세부 주제들—특히 시멘틱 인코더 설계, 지식 그래프 활용, 목표 지향 통신—을 하나씩 더 깊이 파고들 예정이다.
참고 문헌
Yang, W., Du, H., Liew, Z. Q., Lim, W. Y. B., Xiong, Z., Niyato, D., Chi, X., Shen, X., & Miao, C. (2023). Semantic Communications for Future Internet: Fundamentals, Applications, and Challenges. IEEE Communications Surveys & Tutorials, 25(1), 213–250.