Wayland vs X11: 리눅스 디스플레이 서버 뭘 써야 할까

X11은 1987년에 처음 등장한 프로토콜이에요. 거의 40년 가까이 리눅스 데스크톱 화면을 그려온 이 오래된 기술이, 최근 몇 년 사이 GNOME과 KDE 모두에서 기본값 자리를 Wayland에 내줬어요. 왜 잘 쓰던 걸 바꾼 걸까요? Wayland와 X11, 도대체 뭐가 그렇게 다른 걸까요?

X11은 왜 그렇게 오래 쓰였을까?

X11(X Window System)은 화면을 그리는 서버와 프로그램을 클라이언트로 분리해, 네트워크 너머의 다른 컴퓨터 화면에서도 프로그램을 실행할 수 있게 설계된 프로토콜이에요. 이 네트워크 투명성 덕분에 1990~2000년대 유닉스 워크스테이션 환경에서 원격으로 그래픽 프로그램을 띄우는 게 자연스러운 일이었고, 그 유연함 때문에 리눅스 데스크톱의 사실상 표준으로 수십 년간 자리 잡았어요. 문제는 구조가 오래된 만큼 화면 합성, 입력 처리, 보안 격리 같은 최신 요구사항을 껴맞추듯 얹어야 했다는 점이에요. 창 하나가 다른 창의 입력을 몰래 가로챌 수 있는 구조적 허점도 X11이 설계될 당시엔 상상하지 못했던 보안 문제였어요.

Wayland는 무엇을 다르게 설계했을까?

Wayland는 화면 합성기(컴포지터)가 곧 디스플레이 서버 역할까지 겸하는 단순한 구조로, 각 프로그램의 창을 격리된 상태로 그려서 다른 창의 입력이나 화면을 몰래 엿볼 수 없게 만들었어요. 프로그램마다 자기 창만 신경 쓰면 되고 나머지 합성·출력은 컴포지터가 전담하기 때문에, X11보다 지연 시간이 짧고 화면 찢김(티어링) 없는 렌더링을 구조적으로 더 쉽게 보장할 수 있어요. 이 보안 격리 구조가 Wayland 설계의 핵심 목표였고, GNOME과 KDE 같은 주요 데스크톱 환경이 차례로 기본값을 바꾼 것도 이 안전성 때문이에요.

왜 전환이 이렇게 오래 걸렸을까?

Wayland 프로젝트는 2008년에 시작됐지만 실제로 데스크톱 기본값이 되기까지 15년 넘게 걸렸어요. 그럴 만도 한 게, X11 시절에 만들어진 화면 녹화, 원격 데스크톱, 전역 단축키 같은 기능들이 Wayland의 격리된 보안 모델과 정면으로 충돌했거든요. 프로그램이 다른 창을 마음대로 들여다볼 수 없다는 원칙 자체가 화면 캡처 기능을 원천적으로 막아버린 셈이었죠. 결국 PipeWire라는 별도 미디어 프레임워크와 xdg-desktop-portal이라는 표준 인터페이스가 자리 잡고 나서야 이 기능들이 하나둘 복구되기 시작했어요. Fedora Workstation이 비교적 이른 시기부터 Wayland를 기본값으로 밀어붙인 것도 이런 생태계 정비에 적극적으로 참여한 결과예요.

지금 실제로 뭐가 남은 문제일까?

체감상 가장 큰 걸림돌은 여전히 그래픽 드라이버예요. 엔비디아는 독점 드라이버 구조 때문에 Wayland 지원이 가장 늦었고, 최근 드라이버 버전에서 크게 개선됐다고는 해도 멀티 모니터 배율이 다른 구성이나 일부 화면 녹화 도구에서 자잘한 문제가 아직 남아 있어요. 게임용 리눅스 배포판을 고려하는 사용자라면 특정 게임의 안티치트 시스템이 XWayland 환경을 아직 완전히 신뢰하지 않는다는 점도 체크해야 해요. 반대로 인텔·AMD 내장/외장 그래픽 조합에서는 이미 X11보다 Wayland 쪽이 더 매끄럽게 동작한다는 평가가 많아요.

지금 뭘 선택해야 할까?

용도에 따라 갈리지만 큰 흐름은 분명해요.

일반 데스크톱 사용자: 대부분의 최신 배포판이 이미 Wayland를 기본값으로 채택했으니 그대로 쓰는 게 가장 안전해요.
엔비디아 그래픽카드 + 멀티 모니터: 화면 배율이나 프레임 드랍 문제가 있다면 로그인 화면에서 X11 세션으로 되돌아가는 것도 여전히 유효한 선택지예요.
원격 데스크톱·화면 공유가 핵심 업무인 환경: PipeWire 기반 도구로 완전히 전환됐는지 먼저 확인한 뒤 도입하는 게 안전해요.
불변 리눅스처럼 최신 스택을 지향하는 배포판: 애초에 Wayland 전용으로 최적화된 경우가 많아 별도 고민 없이 기본값을 쓰면 돼요.

X11이 40년 가까이 버텨온 이유는 그만큼 유연하고 안정적이었기 때문이지만, 지금 시대의 보안·성능 요구사항은 그 유연함을 오히려 발목 잡는 구조로 만들어버렸어요. Wayland로의 전환이 늦어졌던 진짜 이유는 기술이 부족해서가 아니라, X11이 그동안 너무 잘 버텨줬기 때문일지도 몰라요.