Percaya proses penyeimbangan: Data dan wawasan

Menggunakan Jett sebagai studi kasus, ikuti tim wawasan kami melakukan pendalaman data untuk bisa melakukan penyeimbangan.
Pengembangan
Coleman “Altombre” Palm, Brian “Riot South Korea” Chang

Hai, aku Brian Chang, analis di tim Wawasan untuk VALORANT. Bersamaku ada Insight Researcher Coleman "Altombre" Palm. Kami akan membahas tentang pendekatan kami terhadap penggunaan data untuk membantu memastikan game tetap seimbang dan menyenangkan bagimu.

Di artikel pertama ini, kami akan terlebih dahulu membahas filosofi umum di balik cara kami menggunakan data untuk membantu pembuatan keputusan atas perubahan pada game. Setelah itu, kami akan menyajikan contoh yang menunjukkan cara data sebelumnya digunakan sebagai bahan pertimbangan dalam pembuatan keputusan atas perubahan pada Agen.

DATA DALAM FILOSOFI KESEIMBANGAN GAME

Tujuan utama tim keseimbangan adalah memastikan bahwa game memberikan pengalaman yang setara bagi tiap pemain. Kalian bisa membaca postingan dari David "MILKCOW" Cole tentang keseimbangan game di VALORANT di sini.

Salah satu peran penting data dalam proses penyeimbangan game adalah membantu para desainer memahami kondisi game. Saat permainan tampak tak ideal, data akan menunjukkannya kepada kami.

Dalam hal ini, data digunakan sebagai alat diagnostik untuk memberi tahu kami bagian mana dari game yang mungkin memerlukan penyesuaian. Data ini bisa jadi berupa telemetri dalam game (misalnya tingkat kemenangan Agen tertentu terlalu tinggi/rendah) atau bisa juga dalam bentuk riset pemain (misalnya, mayoritas pemain menganggap Agen tertentu terlalu sulit untuk dilawan).

Namun, kami berusaha keras untuk tak sepenuhnya mengandalkan data saat mengambil keputusan keseimbangan dalam game, terutama pada tahap awal. VALORANT masih terhitung baru bagi kalian, dan kami sendiri belum sepenuhnya tahu bagaimana yang "seimbang" itu dalam game ini.

Misalnya, kami belum tahu seberapa jauh peta boleh memberikan keuntungan lebih bagi kubu penyerang/pertahanan agar permainan tetap menyenangkan. Selain itu, fakta bahwa kekuatan dan popularitas Agen memengaruhi keseimbangan peta turut memperumit keadaan. Meta yang lebih banyak berisi Sentinel kemungkinan akan menjadi peta yang lebih menguntungkan sisi pertahanan, sedangkan meta yang condong ke Peduel kemungkinan akan membuat peta lebih menguntungkan sisi penyerang (Semuanya menjadi lebih rumit jika kalian mempertimbangkan cara Agen memengaruhi tiap peta). Data bukanlah "segalanya" dalam keseimbangan game, melainkan salah satu dari banyak alat yang bisa kami gunakan untuk memahami kondisi game.

Karenanya, kami terus memantau data dalam game serta masukan langsung darimu melalui survei agar bisa menyempurnakan pemahaman kami tentang bagaimana keterkaitan data dengan kondisi keseimbangan dalam game. Ke depannya, kami berharap pemahaman yang disempurnakan ini akan membantu kami dalam memahami aspek dalam game yang tampak menyimpang dan cara menyesuaikannya.

HAL YANG KAMI LACAK

Saat ini, kami berpatokan pada sejumlah poin data untuk tiap bagian game dalam menilai kekuatan/kondisi berbagai aspek dalam game. Berikut adalah beberapa metrik yang kami lacak, dibagi berdasarkan sistem:

  • Agen: Nilai menang (berdasarkan pangkat, peta), kehadiran (seberapa sering agen dipilih), kurva kemahiran (berapa banyak game yang diperlukan seorang pemain untuk mencapai nilai menang "sebenarnya" dari agen tersebut), luas vs. kedalaman (jangkauan popularitas agen vs. keterikatan pemain dengan agen)
  • Peta: Nilai menang ronde berdasarkan sisi (berdasarkan pangkat), rata-rata hasil ronde berdasarkan peta (jika/saat spike ditempatkan)
  • Senjata: Popularitas senjata berdasarkan ronde, perbandingan senjata (misalnya seberapa baik pengguna Vandal bertarung melawan pengguna Phantom dalam duel)

Hal ini bukan berarti bahwa kami hanya menggunakan metrik di atas untuk menilai kondisi game kami, tetapi kami berharap contoh ini bisa memberi gambaran tentang beberapa hal yang kami lacak.

Keseimbangan Agen: Studi kasus terhadap Sage

Selanjutnya, kami akan memfokuskan pembahasan pada Sage, Agen yang sudah mengalami nerf beberapa kali sejak diluncurkan pada bulan Juni. Apa yang membuat kami terus mengubah Sage, dan bagaimana perubahan tersebut memengaruhi kekuatannya?

AGEN MANA YANG TERLALU KUAT?

Hal pertama yang perlu dijelaskan adalah metrik yang kami gunakan untuk menilai kekuatan Agen. Di League of Legends, metrik utama yang digunakan adalah kehadiran (seberapa sering champion dipilih) dan nilai menang (% permainan dimenangkan per champion). Ini kemudian dibagi lagi menjadi beberapa kelompok keahlian yang berbeda, mulai dari pemain biasa hingga pemain level pro.

Kami langsung menemukan masalah besar saat mencoba menerapkan metrik League untuk keseimbangan di VALORANT. Game kami memiliki sistem mirror match sehingga Agen yang sangat kuat (atau biasanya dipilih di hampir semua pertandingan) mungkin terlihat memiliki nilai menang 50% (karena tiap kali Agen ini menang, dia juga kalah).

Untuk mengatasi masalah ini, kami memutuskan untuk melihat nilai menang non-mirror Agen (yaitu, tingkat kemenangan Agen saat melawan tim musuh yang tak memiliki Agen tersebut). Hal ini membantu kami menghilangkan pertandingan yang "sudah dijamin menang SEKALIGUS kalah", yaitu saat Agen yang sama berada di kedua tim. Ada beberapa potensi risiko untuk solusi ini (beberapa bias pemilihan jadi muncul, yang tak akan kami bahas sekarang), tetapi kami memutuskan bahwa nilai menang non-mirror ini adalah gambaran terbaik bagi kami untuk memahami kekuatan Agen dari perspektif data dalam game.

Berikut adalah tampilan nilai menang non-mirror di patch pertama dalam antrean Kompetitif (di patch 1.02). Perlu diingat bahwa Sage terkena nerf dua kali sebelum patch ini, di Patch Beta Tertutup 0.50 dan patch peluncuran 1.00.

Pada saat yang sama, berikut ini adalah tampilan kehadiran Agen dalam antrean kompetitif. Sebagian dari angka-angka ini berkaitan dengan fakta bahwa Sage adalah satu dari lima agen gratis yang ada saat pemain memasuki VALORANT, tetapi terus menunjukkan tingkat kehadiran yang sangat tinggi.

KENAPA AGEN BISA MENJADI KUAT?

Data dengan jelas menunjukkan bahwa Sage tak bisa disamakan dengan agen lainnya. Jumlah nilai menang yang dihasilkan Sage mendorong diskusi lebih lanjut tentang apa yang harus kami lakukan untuk menyeimbangkannya.

Sejauh ini, data tersebut menunjukkan siapa Agen yang terlalu kuat. Namun, kami ingin lebih memahami alasan Sage bisa menjadi sangat kuat. Ada beberapa poin data yang bisa dipertimbangkan dalam memahami alasannya:

  1. Masukan langsung terkait alasanmu menganggap Sage kuat, baik dalam survei maupun dalam percakapan langsung
  2. Penjabaran kekuatan Agen berdasarkan sisi (untuk memahami seberapa banyak kekuatan Sage terlihat saat menjadi penyerang/pertahanan)
  3. Penjabaran kekuatan Agen berdasarkan pangkat (untuk mengetahui adanya perbedaan di antara kelompok keahlian yang ada)
  4. Data khusus kemampuan (jumlah rata-rata penyembuhan yang dilakukan Sage dalam satu ronde, nilai menang ronde saat Sage menggunakan ultimanya, dibandingkan dengan saat agen-agen lainnya menggunakan ultima mereka, dll.)

Semua poin data ini ditujukan untuk memberikan lebih banyak konteks tentang komponen Sage mana yang kuat atau mungkin terlalu kuat. Bagian tersulit adalah memastikan bahwa kami memberikan nerf kepada Agen tanpa mengorbankan identitasnya sebagai bagian dari VALORANT. Jika kami melakukan nerf untuk tiap kelebihan Agen, kami bisa saja justru menghilangkan hal yang membuat Agen tersebut istimewa. Berbekal data ini, desainer kami mengeksplorasi opsi untuk tak menjadikan Sage sebagai Agen "yang harus dipilih", sekaligus mempertahankan identitasnya sebagai karakter defensif/utilitas pendukung yang unggul.

Perlu diingat bahwa data hanyalah salah satu alat yang bisa digunakan untuk menilai kekuatan Agen. Sebagian besar pemahaman dan penyempurnaan kit Agen lebih dipengaruhi oleh banyaknya pengetahuan dan pengalaman yang dimiliki dan dimanfaatkan oleh desainer. Filosofi desain pada akhirnya menjadi faktor pendorong untuk game kami, dan ribuan data sekalipun tak akan berguna jika kami tak memastikan bahwa prinsip desain utama kami mengutamakan keseimbangan game.

Pada akhirnya, tujuan dari tim keseimbangan adalah menyesuaikan penyembuhan dan pertahanan Sage, tetapi dengan cara yang berbeda. Potensi penyembuhan dirombak secara menyeluruh (cooldown lebih lama, penyembuhan per penggunaan lebih sedikit), sekaligus mengubah kemampuan pertahanan agar memungkinkan lebih banyak serangan balik (Bola Penghalang membutuhkan waktu yang lebih lama untuk bertambah kuat, dan Bola Lambat mengalami pengurangan ukuran).

KEADAAN SAAT INI

Lantas, setelah perubahan dibuat, seperti apakah keadaan saat ini? Berikut adalah statistik dari Sage di antrean kompetitif patch 1.11:

Sage masih cukup kuat, bahkan tak pernah berada di luar urutan tiga besar agen terkuat, di kelompok keahlian mana pun, sejak peluncuran. Kehadirannya juga berada dalam kondisi yang lebih masuk akal (berkisar sekitar 50%). Namun, publik beranggapan bahwa Sage di-nerf terlalu berlebihan; 38% pemain yang disurvei menganggap bahwa Sage saat ini terlalu lemah di patch 1.11.

LANGKAH KE DEPANNYA

Saat ini, menurut data yang ada, kami merasa bahwa Sage ada di kondisi yang relatif baik. Namun, ada sejumlah faktor yang kami perlukan untuk menyempurnakan pemahaman kami ke depannya:

  • Perilisan Agen, peta, dan bagaimana pengaruhnya terhadap kekuatan Agen: Dengan dirilisnya Icebox dan (yang lebih penting) Skye, meta mungkin akan mengalami perubahan agar Sage tak menjadi terlalu lemah. Secara teori, hadirnya Agen lain yang bisa menyembuhkan sekutu mungkin akan memberikan persaingan pilihan yang membuat Sage lebih jarang dipilih (sebagai catatan, kami merasa ini tak akan terjadi, melainkan hanya kemungkinan).
  • Data pemain pro: Satu hal yang masih kami sempurnakan dalam pemahaman kami tentang meta pemain pro, dan bagaimana data dari level tertinggi VALORANT memengaruhi filosofi keseimbangan kami. Jika kami bandingkan data dari pertandingan profesional yang terjadi di seluruh dunia dengan pertandingan level Radiant, masih ada perbedaan besar dalam kehadiran Agen dan nilai menang non-mirror.
  • Persepsi publik: Meski telemetri dalam game menunjukkan bahwa Sage berada dalam posisi yang baik dari segi keseimbangan, hasil survei membuktikan bahwa pemain merasa Sage masih terlalu lemah. Kami perlu melacak perubahan persepsi (jika ada) dari waktu ke waktu, dan menilai langkah apa yang perlu diambil jika persepsi yang ada tetap meragukan kekuatan Sage.

Jika kalian masih bersama kami sampai sejauh ini, terima kasih sudah tetap setia mendengarkan contoh kecil tentang bagaimana data digunakan oleh tim keseimbangan VALORANT. Semoga penjelasan ini memberikan gambaran tentang bagaimana dan mengapa suatu keputusan dibuat (dan mudah-mudahan bisa meyakinkan kalian bahwa Sage masih berguna…).