출시 이래 최고 성능의 발로란트 서버를 구축할 수 있었던 방법

128틱 서버를 제공하는 것은 발로란트가 출시되기 오래전부터 우선순위였습니다. 개발 팀의 목표는 언제나 128틱 서버를 모두에게 제공해 세계 최고 수준의 경쟁 관련 경험을 선사하는 것입니다. 출시 전에 어떻게 이 목표를 완수했는지에 대한 자세한 내용은 발로란트의 128틱 서버 문서(영문)를 참고해 주세요.

서버 성능을 유지하는 일은 투쟁의 연속입니다. 시간이 지남에 따라 새로운 기능이 출시된다는 것은 저희가 128틱 서버를 운영할 수 있게 성능 관련 예산을 맞추는 일에 조금이라도 경계를 늦추지 않아야 한다는 뜻입니다. 시간이 지날수록 성능 저하를 초래하는 작은 문제와 때때로 발생하는 큰 문제는 즉시 조치해야 하죠.

2022년 8월에 저희 팀은 출시 이후 가장 큰 규모의 성능 저하 문제에 맞닥뜨렸습니다. 이 문제는 기본 플레이어 수인 10명이 넘는 인원이 참가한 게임(사용자 설정 게임 및 e스포츠 경기 등)에 영향을 끼쳤습니다. 문제를 해결하는 데는 엔지니어, 프로듀서, 경영진 그리고 그 해 가장 큰 대회가 열리기 직전에 이스탄불 현장에 있던 e스포츠 팀 같은 많은 분들의 노력이 필요했습니다.

성능 저하 문제를 해결하는 동안 조사에 쏟은 노력은 서버 프레임 시간을 개선할 수 있는 여러 가지 기회를 선사했으며 이는 결과적으로 대규모 성능 향상이 이루어지게 했습니다. 5.07 패치 이후로, 플레이어 여러분은 2020년 6월 발로란트 출시 이후 가장 일관적인 128틱 서버를 경험하고 계십니다.

저는 아론 체니라고 하며 발로란트 성능 팀의 엔지니어입니다. 이 문서에서 다루는 내용은 다음과 같습니다.

• 성능 팀이 성능 저하를 포착하는 방법
• 2022 챔피언스 직전에 발견된 주요 성능 저하 문제
• 성능 팀의 중증도 분류 과정 검토, 성능 팀이 긴급 사안을 처리하는 방법 및 이 사건에서 배운 점

먼저, 성능 저하를 어떻게 포착하는지 설명한 다음 성능 저하의 심각성을 이해하기 위해 필요한 몇 가지 중요한 배경 지식을 알려 드리겠습니다.

성능 저하는 어떻게 포착하나요?

성능 저하는 게임 개발에서 현실적으로 다가오는 문제입니다. 게임은 여러 가지 변화하는 부분으로 이루어진 대단히 복잡한 체계이며, 각 부분이 전체 성능에 영향을 끼칩니다. 시간이 지날수록 기능과 체계가 추가되면 더욱더 복잡하게 됩니다. 따라서 성능 저하가 발생했을 때 정확하게 포착하고 문제의 근본 원인을 밝혀내는 것이 매우 중요합니다.

발로란트에서는 성능 팀이 이 작업을 전담하고 있습니다. 성능 팀은 모니터링과 유지 보수는 물론 여러 종류의 하드웨어로 구성된 클라이언트와 서버의 성능을 개선하는 일을 맡고 있습니다. 몇 가지 도구 및 절차를 통해 성능 저하를 조기에 포착하고 플레이어 여러분에게 발생하기 전에 미리 수정하죠.

서버 성능 목표치

128틱 서버를 유지하려면 각 서버 프레임을 7.8125밀리초 안에 처리해야 합니다. 하지만 그렇게 하면 게임 하나가 CPU 코어 하나를 전부 차지하게 됩니다. 까다로운 128틱 조건과 운영 목표에 맞추기 위해 발로란트의 서버는 3 프레임이 약 7.8밀리초에 처리되게끔 최적화되어 있습니다. 즉, 평균적으로 2.6밀리초보다 짧은 시간 내에 각 서버 프레임을 처리해야 한다는 뜻입니다. 현실적으로, 서버 프레임 시간에 대한 저희의 성능 목표치는 2.34밀리초입니다. 이 성능 목표치로 주요 목적 두 가지를 달성할 수 있습니다.

1. 꼭 필요한 여유 성능을 제공합니다. 성능 목표치에 충분한 여유가 있다면 128틱 아래로 떨어지지 않고 긴 프레임을 처리할 수 있습니다. 이를 통해 여러 가지 상황에서 발로란트 서버를 탄력적으로 운영할 수 있으며, 서버에서 운영 체제와 스케줄링 및 다른 소프트웨어를 실행할 수 있습니다.
2. 발로란트의 경제적 여건에 문제가 생기지 않게 도와줍니다. 서버 기반 구축은 비용이 매우 많이 듭니다. 발로란트의 각 게임이 서로 다른 하드웨어에서 실행된다면 정말 좋겠지만, 이는 지속 가능한 비즈니스 모델이 아닙니다.
   

현재를 가늠하고 미래를 예측하기

성능 팀은 두 가지의 주요 데이터 출처를 이용해 성능 저하를 포착해냅니다.

1. 사전 공개 데이터 – 이 데이터는 내부 플레이 테스트, 자동화된 테스트 및 PBE 테스트 서버를 포함한 여러 가지 출처를 통해 생성되었습니다.
2. 라이브 서버 데이터 - 이 데이터는 세계 각지 라이브 서버 환경에서 플레이어 여러분이 생성한 데이터입니다.

사전 공개 데이터는 공개되지 않은 콘텐츠 및 기능을 분석함으로서 미래를 예측할 수 있게 해줍니다. 이 데이터는 라이브 서버 데이터보다는 양이 적으며 노이즈와 변수 때문에 대부분의 경우 결론을 끌어내기가 굉장히 힘듭니다. 적은 수의 표본으로 경향을 파악하기는 어려우니까요. 최대한 노력을 해도 모든 요소를 철저히 테스트하는 건 불가능하기 때문에 특이한 상황을 테스트하지 못할 수도 있습니다.

반면, 라이브 서버 데이터는 플레이어 여러분이 게임 내에서 보는 것을 정확히 측정해 현재 겪고 계신 경험을 저희가 이해할 수 있게 해줍니다. 라이브 서버 데이터는 수십억 개의 기록을 생성해내기 때문에 내부 데이터보다 훨씬 양이 많으며 분석 과정을 어렵게 합니다. 저희 팀은 이 데이터를 이해하기 위해 데이터를 집계합니다.

전반적으로 사전 공개 데이터는 공개되지 않은 콘텐츠에 대해 사전에 반응할 수 있게 하는 반면 라이브 서버 데이터는 라이브 서버의 상황에 맞추어 반응하게끔 합니다. 두 데이터를 함께 사용하면 대부분의 문제를 포착해낼 수 있습니다.

일반적인 발로란트 게임

대부분의 발로란트 플레이어들은 일반전과 경쟁전으로 게임을 플레이합니다. 두 게임 모드는 정확히 플레이어 10명이 참여하는 동일한 게임 모드입니다. 랭크 점수가 변동된다는 차이점이 있을 뿐이죠. 발로란트를 플레이할 수 있는 다른 방식(복제, 스파이크 돌격, 데스매치 등)이 많이 존재하지만 스파이크 게임 모드(일반전 및 경쟁전)에서 최고의 경험을 할 수 있도록 많은 자원을 투자하고 있습니다.

발로란트의 게임 모드는 대부분 정확히 10명의 플레이어가 플레이하지만, 10명 이상 필요한 특이하거나 중요한 상황도 있습니다.

일반적이지 않은 발로란트 게임

e스포츠 중계 중에는 무려 22개의 클라이언트가 스파이크 게임 모드에 접속할 수 있습니다. 시청 경험을 지원하고자 만들어진 사용자 설정 게임이 이 경우입니다. 이런 게임은 보통 다음과 같이 구성됩니다.

• 플레이어에게 배정된 자리 10개 (팀당 5개)
• 코치에게 배정된 자리 2개 (팀당 1개)
• 중계 팀이 제어하는 관전자에게 배정된 자리 10개. 이 추가 자리는 경기장이나 집에서 응원하는 팬 여러분에게 멋진 시청 경험을 제공합니다!

이 22개 클라이언트 게임은 발로란트의 일반적인 게임과는 상당히 다릅니다. 게임을 화면에 표시할 수 있도록 각 클라이언트가 서버로부터 필요한 정보를 받았는지 확인하기 위해 접속한 각 클라이언트들은 서버의 검증을 거쳐야 합니다. 보통 라이브 서버 환경이라면 여기서 문제가 발생하게 됩니다. 하지만 e스포츠 경기에서는 선수들을 위해 게임플레이 무결성을 유지할 수 있도록 전용 로컬 하드웨어를 사용합니다.

일반적이지 않은 발로란트 게임에서의 성능 목표치

위에서 설명해 드린 성능 목표치가 기억나시나요? 서버 프레임당 2.34밀리초라는 목표치는 정확히 10명의 플레이어가 참여하는 일반적인 발로란트 게임을 가정했습니다. 10명 이상의 플레이어가 접속한 상황에서는 추가 플레이어의 수에 비례해 성능 요구치가 선형적으로 증가할 것이라 예상했습니다.

예를 들어, 22개 클라이언트가 접속했다면 평균 프레임 시간은 대략 2.2배로 증가해 2.34밀리초에서 5.2밀리초로 증가할 것이라 예상했습니다. 이는 여전히 128틱 서버를 유지하기 위한 수치인 7.8밀리초 프레임 시간을 하회합니다.

이 추론은 성능 팀의 일반적이지 않은 발로란트 게임에서의 경험과 발로란트 서버 성능에 관한 높은 이해도를 바탕으로 한 것이며, 일반적인 게임의 성능 데이터를 참고해 일반적이지 않은 게임을 이해하는 알맞은 방법입니다.

하지만 무언가가 바뀐다면 어떻게 될까요? 서버의 성능이 접속한 클라이언트의 수에 비례해 선형적으로 증가하지 않는다면 어떻게 될까요?

성능 저하

2022년 8월로 시간을 되돌려 봅시다. 문제의 전조는 22개 클라이언트의 플레이 테스트 중 나타났습니다. 플레이 테스트에 참여한 플레이어분들이 서버 틱이 요동치며 게임플레이에서 전반적으로 일관성이 떨어지는 것을 발견했으며, 게임의 영상 기록을 통해 무언가 이상하다는 것을 확인했습니다. 그 당시 22개 클라이언트의 플레이 테스트는 보편적이지 않았기 때문에 이를 포착한 것은 정말 운이 좋았습니다. 2022 챔피언스를 위한 팀 정비 및 준비 과정이 한창인 와중, 뛰어난 발로란트 개발자 한 분이 22개 클라이언트 플레이 테스트를 업체에 문의하는 것을 기억해 낸 거죠.

비상사태를 선포할 정도는 아니었지만, 문제를 검증하고 신속히 분류하여 수정하기 위해 바로 작업에 착수했습니다.

문제 검증하기

데이터 하나로는 경향을 파악할 수 없습니다. 문제의 심각성과 규모를 총체적으로 이해하기 위해 라이브 서버 환경에서 게임에 접속된 클라이언트의 수를 10개에서 22개 사이로 조절해가며 데이터를 처리하는 작업을 시작했으며, 이를 통해 알아낸 사실은 충격적이었습니다.

문제의 정확한 원인은 알지 못했지만, 그래프는 접속한 클라이언트의 수와 서버 성능 사이의 깜짝 놀랄만한 상관관계를 보여줬습니다. 바로 성능 저하가 플레이어의 수에 비례해 비선형적으로 일어났다는 것입니다.

이 데이터는 저희 팀이 처리해야 할 중대한 문제가 있다는 것을 입증해주었습니다. 특히 5.04 패치로 플레이할 2022 챔피언스가 임박한 때였으니까요. 저희는 비상사태를 선포하고 곧바로 문제의 중증도를 분류하기 시작했습니다.

(이 차트는 패치당 서버 프레임 시간을 보여줍니다. 각 선은 클라이언트 수를 나타내며 기본적인 10개 클라이언트 게임부터 최대 22개 클라이언트 게임까지 나뉘어져 있습니다. 예상대로라면 성능은 접속한 각 클라이언트에 따라 순차적으로 악화되어야 하지만 5.03 패치의 지표 급등은 성능이 비선형적으로 악화된다는 것을 보여줬습니다.)

성능 저하의 중증도 분류

문제의 중증도를 분류한다는 것은 문제의 근본 원인을 완전히 이해하지 않은 채로 영향을 완화하는 것을 의미합니다. 이 기술은 의료계에서 상황을 분석하고 '추가적인 출혈을 막기 위해' 사용하는 기술이며 라이엇 게임즈에서도 급박한 문제에 빠르게 대응하기 위해 두루 사용하고 있습니다.

문제의 중증도를 분류하기 위해 두 가지 작업이 동시에 이루어졌습니다.

비상대책 마련

먼저, 발로란트 경영진이 이스탄불에 있는 파트너와 함께 비상대책을 마련했습니다. 이는 2022 챔피언스가 시작하기 전에 이 문제를 해결하지 못하면 어떻게 되는지 파악하기 위함이었습니다.

성능 저하 문제가 게임에 접속한 클라이언트 수에 비례한다는 것을 이해했으니, 최고의 e스포츠 시청 경험을 제공하기 위해 최소한으로 필요한 관전자 수가 몇 명인지 특히 관심이 갔습니다. 22개의 클라이언트가 동시에 접속하는 건 논외로 하고... 이론적으로 얼마나 많은 클라이언트가 조건에 맞춰 접속할 수 있을까요? e스포츠 파트너의 도움으로, 클라이언트 15개가 접속했을 때 안정적으로 128틱 서버를 구동하면서 e스포츠 경기에 총 5개의 관전 자리를 배정하여 방송의 질을 확보할 수 있음을 확인했습니다. 이는 기본 서버 프레임 시간 구축에 여유 성능을 확보해 두었기 때문에 가능했습니다.

근본 원인 파악

그 다음, 발로란트 개발자들은 문제를 더 상세히 이해하고 성능 저하의 근본 원인을 찾기 위해 조사를 이어 나갔습니다. 이렇게 큰 문제가 모습을 드러냈을 때는 여러 체계가 연관되어 있을 가능성은 낮습니다.

운이 좋다면 빠르게 문제의 근본 원인을 색출해 2022 챔피언스가 개최되기 전에 문제를 수정한 패치를 배포할 수 있을 거라고 생각했지만 아쉽게도 그렇게 흘러가진 않았습니다.

성능 저하 해결

성능 저하 문제는 2022년 8월 26일에 처음 발견되었으며 일주일 후에 해결되었습니다. 7일 동안 많은 발로란트 엔지니어들이 여러 가지 가능성 있는 해결법을 찾기 위해 매진했으며, 조사 첫날에 성능 저하를 유발하는 기본 코드 부분이 무엇인지 파악했습니다. 바로 리플리케이션(복제 게임 모드가 아닙니다)입니다. 리플리케이션(Replication)은 언리얼 엔진에서 서버 및 클라이언트 간 액터와 컴포넌트의 프로퍼티를 동기화하는 것으로 서버와 클라이언트의 일관성을 보장할 수 있는 방법입니다. 언리얼 엔진의 리플리케이션 체계에 관한 자세한 내용은 여기를 참조해 주세요.

저희의 초기 우선순위는 5.02와 5.03 패치 사이에 바뀐 부분을 분석하여 리플리케이션에 변화가 일어난 증거를 찾는 것이었습니다. 하지만 발로란트의 언리얼 엔진이 4.26으로 막 업그레이드되어 언리얼 엔진의 주요 부분들이 변경되었기 때문에 조사는 난항을 겪었습니다. (발로란트의 언리얼 엔진 업데이트에 관한 자세한 정보를 알고 싶으시다면 발로란트의 기술 리드인 마커스 리드 님의 이 트위터 스레드(영문)를 확인해 보세요.)

리플리케이션을 조사하는 일은 쉽지 않았습니다. 수년에 걸쳐 모범 사례를 정립했기 때문에 이 시스템은 발로란트 엔지니어들의 손이 그리 많이 가는 체계가 아니었습니다. 또한 이 체계는 라이엇 게임즈의 엔지니어들이 구축한 것이 아니었습니다. 저희 요건에 맞추기 위해 기본 엔진을 수정했지만, 리플리케이션에 대한 깊은 전문 지식을 가진 인원은 흔하지 않았습니다.

그런 다음, 5.02와 5.03 패치 사이의 차이를 측정해 게임의 여러 부분을 체계적으로 분류하여 근본 원인의 후보군을 좁혀 나갔습니다. 저희 팀은 언리얼 엔진의 자료 수집 도구와 라이엇 게임즈의 내부 도구를 사용해 두 패치 사이의 성능 특징을 비교했으며 5.02 패치와 비교했을 때 5.03 패치에서 요원과 무기 그리고 스킬이 너무 자주 리플리케이션된다는 결론에 도달했습니다.

이후 다음과 같은 두 가지 방안을 살펴보았습니다.

1. 성능 저하의 원인을 찾아 수정하기 저희가 달성하려고 노력한 최고의 시나리오입니다.
2. 성능 개선을 위한 다른 방법을 찾아보기 프레임 시간 손실을 만회할 수 있을 정도로 충분히 성능을 개선할 수 있는 다른 방법을 찾는다면, 근본적인 문제를 찾아서 고칠 수 없더라도 성능을 다시 관리할 수 있습니다.

여러 엔지니어 팀이 가능성 있는 수정 및 개선 방법을 테스트하기 위해 실마리를 따라 조사했으며 이 과정에서 많은 엔지니어들이 리플리케이션에 익숙해지고 관련 전문 지식을 습득했습니다. 이 당시에 성능을 개선할 수 있는 여러 가지 방법들을 발견했지만 출시하기에는 너무 위험하다고 판단해 향후 작업을 위해 기록으로 남겨 두었습니다.

2022년 9월 2일, 마침내 원인을 발견했습니다. 언리얼 엔진 4.26 업그레이드에 포함된 코드 한 줄이 발로란트에서 자주 일어나는 특정 상황에서 리플리케이션 기능이 너무 자주 작동하게 한 것입니다. 이는 성능 저하로 이어졌으며 서버에 접속한 클라이언트가 많을수록 더 심각해지는 결과를 일으켰습니다. 일반적인 10개 클라이언트 게임에서는 문제가 드러나는 정도였지만, 22개 클라이언트 게임에서는 게임 플레이가 불가능하게 되었습니다.

성능 저하의 원인이 확인되었으므로, 수정하는 일은 위험하지 않았으며 저희는 자신이 넘쳤습니다. 정말 이상적인 상황이었다고 할 수 있겠네요. 바로 축배를 들진 않았지만, 대신 코드를 정말 멋들어지게 변경했습니다.

성능 저하 이후

성능 저하의 원인을 찾아 내 수정한 후, 저희 팀은 포괄적인 테스트를 진행해 성능이 예상과 일치하는지 검증하고 변경으로 인해 발생한 버그가 없는지 확인했습니다.

수정 내역 적용

2022년 9월 2일에 해결 방법을 발견했지만 그룹 스테이지 이후인 2022년 9월 9일 이전까지는 e스포츠 환경에 변경사항을 적용하지 않았습니다. 이는 테스트 및 검증을 위한 추가 시간을 제공해 위험을 줄이고 이스탄불에 있는 분들을 방해하는 것을 최소화하기 위함이었습니다.

수정 내역은 5.05 패치 라이브 환경에 적용되었으며 많은 개선을 이루어냈습니다.

2022 챔피언스 이후

5.05 패치로 일이 끝나지는 않았습니다. 리플리케이션 체계를 조사한 한 주 동안 발견한 수많은 성능 개선 방법은 향후 개발 작업 일정에 포함되었습니다. 당시에는 이 방법들이 문제의 근본 원인을 다루지 않았기 때문에 적용하기가 너무 위험했지만 기존 성능 저하 문제를 해결한 후에 새롭게 얻은 리플리케이션 관련 전문 지식을 십분 활용해 서버 성능을 더 향상할 수 있는 몇몇 분야를 살펴보았습니다.

이 노력으로 전반적으로 엄청난 성능 향상이 이루어졌으며 성능 저하 문제 발생 이전 수치와 비교해 서버 프레임 시간이 전반적으로 15% 줄어들게 되었습니다. 또한 이 변경으로 모든 지역에서의 프레임 시간 차이가 줄어들게 되어 서버 프레임 시간 안정성이 향상되었습니다.

5.07 패치 이후부터 99.3% 이상의 서버 프레임이 발로란트의 까다로운 128틱 조건에 부합하게 되어 플레이어 여러분이 발로란트 출시 이후 가장 안정적이고 일관성 있는 서버에서 게임을 즐기실 수 있게 되었습니다.

(이 차트는 패치당 서버 프레임 시간을 보여줍니다. 각 선은 클라이언트 수를 나타내며 기본적인 10개 클라이언트 게임부터 최대 22개 클라이언트 게임까지 나뉘어져 있습니다. 5.03 및 5.04 패치에서 일어난 중대한 성능 저하 이후 5.05 패치에서 성능 저하를 해결해 수치가 정상적으로 돌아왔습니다. 5.07 패치에서 추가로 대규모 성능 개선이 이루어졌으며 성능 저하 문제 발생 이전 수치와 비교해 서버 성능이 15% 향상되었습니다.)

배운 점

이 긴급한 성능 문제를 해결하는 데는 많은 분의 도움이 필요했습니다. 여러 명의 엔지니어들과 e스포츠 파트너 여러분, 테스트 업체, 프로듀서, 경영진 및 너그럽게 조언을 주고 이끌어주신 다른 부서 분들이 도움을 주셨습니다. 이 사태로 인해 많은 것을 배웠고 여기서 다루고 싶은 작업 절차의 몇 가지 허점도 발견했습니다.

• 일반적이지 않은 게임의 모니터링 – 저희 팀은 10명의 플레이어가 참가하는 일반적인 발로란트 게임 모드에 주의를 대부분 기울입니다. 저희가 가진 데이터는 접속된 플레이어 수에 따른 내역을 보여주지 않았기 때문에 새로운 도표가 만들어지기 전까지 성능 저하의 심각성이 드러나지 않았습니다. 이후 클라이언트가 10개 이상인 일반적이지 않은 발로란트 게임의 성능적 특징을 확인하고 이해하기 위해 여러 가지 새로운 절차를 만들었습니다.
• 일반적이지 않은 게임의 테스트 범위 확장 – 일반적인 10인 스파이크 게임 모드가 여전히 최우선 순위를 차지하겠지만, 22개 클라이언트 게임 환경에서의 서버 성능을 이해하기 위해 신규 작업 절차 및 테스트 과정을 만들 방법을 살피고 있습니다. 22개 클라이언트 게임의 표본 양은 다른 모드에 비하면 너무나도 부족하기 때문에 이 정보를 수집한다는 건 22개 클라이언트 플레이 테스트를 주기적으로 한다는 뜻입니다. 이제 주요 대회 이전이 아닌 패치를 출시할 때마다 22개 클라이언트 게임의 플레이 테스트를 진행할 예정입니다. 좀 더 정교한 다른 테스트 과정도 필요할 것이라 생각합니다.
• 특정 주제 전문가(SME) 육성 장려 – 많은 시간을 투자해야한다고 하더라도 팀에 특정 주제 전문가가 있다면 지식의 공백을 메우고 전반적으로 모든 인원의 수준을 향상할 수 있습니다. 성능 저하 문제를 해결하는 과정에서 몇몇 엔지니어들이 리플리케이션에 관한 전문 지식을 습득했으며 이는 매우 성공적인 자원 투자임이 드러났습니다.
• 대회에 영향을 주는 위험 최소화 – 2022 챔피언스를 신규 패치에서 플레이하는 건 위험을 불러왔습니다. 특히 언리얼 엔진의 신규 버전으로 업데이트를 막 마친 점을 고려했을 때 말이죠. 게임플레이 변경사항(밸런싱, 요원 등)이 주요 대회에서 적용되기를 원하기는 하지만, 향후 대회들은 최신 버전에서 플레이하지 않을 가능성이 매우 높습니다. 꼭 최신 버전으로 플레이해야 한다면 최소한 해당 버전으로 플레이하는 것에 위험 요소가 있는지 재차 확인할 것입니다.

발로란트 플레이어 여러분의 더 나은 경험을 위해 이렇게 게임을 개선해가는 것을 계속해서 기대해 주세요. 128틱 서버에서 게임을 즐기면서, 즐겁게 적을 처치해 보세요!