PS VR2 제작 비하인드 스토리 공개

올해 초에 출시된 PlayStation VR2는 디테일한 비주얼과 몰입감 넘치는 새로운 기능으로 가상 게임 세계를 더욱 현실감 있게 경험할 기회를 제공했습니다. PS VR2는 아주 오랜 긴 개발과정을 거쳐 출시되었는데, 기간동안 다수의 프로토타입을 제작했을 뿐만 아니라 실험적인 방식으로 새로운 기능을 도입했습니다.

PS VR2 제품 담당 책임자 타카하시 야스오(Yasuo Takahashi) 씨를 모시고 혁신적인 PS VR2 헤드셋과 PS VR2 Sense 컨트롤러의 자세한 개발 과정에 관한 이야기를 들어봤습니다. 이번 기사에서는 특히 개발 과정에서 제작된 다양한 유형의 프로토타입을 자세히 살펴볼 수 있었습니다.

Sony Interactive Entertainment, Global Product Strategy & Management Dept. Section
타카하시 야스오(Yasuo Takahashi), #1 수석 제품 담당 책임자

PS VR2 헤드셋 개발 과정에 대하여

PlayStation 블로그(이하 PSB): 구체적으로 언제부터 PS VR2 헤드셋을 개발하기 시작했나요?

타카하시 야스오(이하 YT): 첫 VR 제품인 PlayStation VR가 출시되기 전부터 저희는 R&D 업무의 일환으로 미래 VR 기술에 관한 연구를 진행해 왔습니다. 구체적인 시점이라면 2016년부터 다음 세대는 어떤 모습일지 진지하게 논의하기 시작했습니다. 그리고 제품 출시 일정 및 R&D를 진행하는 과정에서 발견한 다양한 요소들을 검토한 뒤, 2017년부터 본격적으로 다양한 기술을 차용한 프로토타입을 하나씩 제작했습니다. 같은 해 초, 새로운 VR 제품에 어떤 기능을 담을 지, 해당 기능을 구현하기 위해서는 어떤 기술을 개발 및 탐구해야 할지 등에 대한 깊이 있는 논의가 오갔습니다.

PS VR2 헤드셋의 기능과 내부 작동 방식을 깊이 분석한 헤드셋 분해 비디오

PSB: 개발하는 데 가장 오래 걸린 기능이나 디자인 요소가 있나요?

YT: 저희는 제일 처음 콘셉을 계획하는 단계에서부터 기존 PS VR과 비교해 큰 도약을 느낄 수 있는 새로운 기능을 담고자 했습니다. 지능형 시선 트래킹, 헤드셋 피드백, 단일 선으로 연결 등과 같은 기능이 여기에 해당합니다. 또한 이러한 기능을 헤드셋에 포함시키면서 동시에 가볍고 컴팩트한 디자인은 그대로 유지해야 했습니다. 이를 위해 모든 기능을 효율적으로 수행할 시스템을 설계하기 위해 처음부터 기술적인 부분을 꼼꼼하게 챙기면서 긴밀히 작업했습니다. 연구 자체는 빠르게 진행되었지만, 최적화의 경우 프로토타입 제작 후에도 꾸준히 수행했습니다. 여기에 더해 헤드셋을 편하게 착용하면서 잘 고정될 수 있는 방법을 찾는데 많은 시간을 할애했습니다.

PSB: 헤드셋의 첫 프로토타입을 봤습니다. 개발 과정을 거치며 무게가 상당히 줄어든 것 같은데요?

YT: 그렇습니다. 첫 프로토타입은 무게보다는 기능적인 측면을 검토하는 데 집중했습니다. 기존 PS VR에 어떤 새로운 기능을 적용할지를 최우선적으로 고려하고 있었으니까요. 또한 저희는 지능형 트래킹에 최적화된 시스템을 탐구하던 중이었습니다. 첫 아웃사이드 인/시스루(outside-in/see-through) 프로토타입을 활용해 투시 보기 카메라도 함께 테스트할 수 있었습니다. 이런 기능적인 평가를 거친 뒤에는 해당 부품을 실제 시스템에 통합했습니다. ‘트래킹 시스템 연구 프로토타입’은 통합 바로 전에 제작한 프로토타입입니다. 아주 크고 무거웠지만, 평가용으로 큰 역할을 했죠.

아웃사이드 인/시스루(outside-in/see-through) 프로토타입
“PS VR2로 거듭날 최초의 프로토타입으로, 아웃사이드 인 트래킹용 적외선 LED가 내장되어 있으며 헤드셋의 전방 및 중앙부에는 투시 보기 카메라가 달려 있습니다.”

아웃사이드 인(Outside in)프로토타입
“두 번째 프로토타입은 아웃사이드 인/투시 프로토타입과 병행해 제작되었습니다. 이 프로토타입에는 지능형 시선 트래킹 성능을 테스트할 용도로 헤드셋 전방에 다수의 아웃사이드 인 트래킹용 적외선 LED를 탑재했습니다.”

인사이드 아웃(Inside Out) 프로토타입
“네 대의 인사이드 아웃 트래킹용 카메라를 장착한 이 프로토타입은 헤드셋의 새로운 트래킹 성능을 평가할 용도로 제작되었습니다.”

트래킹 카메라 위치 조정(Tracking camera positioning) 프로토타입
“카메라 네 대의 위치와 각도를 고려할 용도로 사용한 프로토타입입니다. 다이얼로 각 카메라의 위치와 각도를 미세하게 조정할 수 있습니다.”

트래킹 시스템(Tracking system) 프로토타입
“헤드셋 전방의 카메라 네 대를 평가 보드에 연결하여 테스트하기 위한 프로토타입입니다. 이 작업은 모든 부품을 통합하는 역할을 하는 단일 칩 시스템(SoC)을 생산하기 전에 이루어졌습니다.“

더불어 헤드셋의 편안함과 착용성 또한 평가했습니다. 예상 무게는 이미 알고 있었으므로 해당 수치를 기반으로 헤드셋을 어떻게 착용할 수 있을지 여러 사양을 고려했습니다. 다양한 기능을 추가했지만, 마지막에는 헤드셋을 착용했을 때 가벼운 느낌이 들도록 재료와 형태 면에서 고민을 많이 했습니다. 각 부품은 이전보다 더욱 가볍게 제작했으며 최대한 심플한 디자인을 택했습니다. 플라스틱 두께는 강도를 유지하면서도 최대한 얇게 했습니다. 무게 절감과 내구성 간의 적절한 균형을 맞추기 위해 기계 엔지니어분들이 열심히 노력해 주셨습니다.

PSB: PS VR2의 시선 트래킹 기능은 정말 놀랍습니다. 이 기능은 어떻게 개발했나요?

YT: 저희는 플레이어 여러분들이 PS VR2를 경험했을 때, 한 세대의 도약이 느껴질 수 있길 바랬습니다. 그래서 지능형 시선 트래킹을 집중적으로 탐구했습니다. 저희는 시선 트래킹 기술이 VR과 궁합이 좋으리라는 점을 알고 있었고, 해당 기술을 제대로 활용하고 싶었습니다. 또한 퀄리티 높은 비주얼을 제공하기 위해 포비티드 렌더링 기술도 살펴보았습니다. 플레이어가 바라보는 지점의 해상도를 최적화하고 주변을 둘러싼 시야의 렌더링 성능을 줄이는 기법이죠.

PSB: 지능형 시선 트래킹을 테스트할 때 어려움이 있었나요?

YT: 저희는 지능형 시선 트래킹이 모든 유형의 플레이어에게 적합하게 만들어야 했습니다. 사람들은 저마다 눈 색깔이 다르며, 안경을 쓰는 사람도 있으니까요. 트래킹 기능이 정확하게 작동할 수 있도록 다양한 사용자와 함께 오랜 시간 동안 테스트와 최적화를 수행했습니다.

PSB: 헤드셋 피드백은 PS VR2에만 있는 고유 기능입니다. 이 기능을 어떻게 처음으로 추가했으며, 개발은 어떻게 진행됐나요?

YT: 기계 설계 엔지니어분들이 DualShock 4 무선 컨트롤러에서 진동 모터를 떼어 PS VR에 부착해 본 것으로 실험이 시작되었습니다. 그러자 정말로 몰입감과 현실감이 향상된다는 사실을 발견했지만, 이 기능을 헤드셋에 실제로 통합하는 일은 상당히 어려웠습니다. 그래서 다음 프로토타입을 만들었습니다. 모터를 탑재한 ‘시선 트래킹 평가 프로토타입 2호’로 모터가 시선 트래킹과 헤드 트래킹에 어떤 영향을 주는지 테스트했죠.

시선 트래킹 평가(Eye tracking evaluatiON) 프로토타입 2호

“지능형 시선 트래킹을 테스트하기 위해 테스터분들께 서로 다른 스크린 여러 개를 보도록 요청했습니다. 단말기의 양 측면부를 열 수 있었으므로 개발자들은 렌즈와 눈 사이의 간격을 직접 보고 확인할 수 있었습니다. 눈으로 확인하지 않으면 단말기를 착용했을 때 렌즈가 올바른 거리에 있는지 알기 어렵기에 이런 과정을 거쳤습니다.”

저희는 PlayStation Studios와 긴밀하게 작업하며 프로토타입에서 얻은 지식을 기반으로 어떤 종류의 헤드셋 피드백이 가장 효과적인지 평가했습니다. 다른 개발자분이 본 개발 과정을 보고 배우거나 참조할 수 있도록 발견한 사항은 디자인 가이드로 엮어 두었습니다.

PSB: 최종 PS VR2 헤드셋 통합을 마무리할 때 PlayStation Studios의 피드백은 어떤 영향을 주었나요?

YT: PlayStation Studios의 피드백을 기반으로 트래킹 카메라의 배치를 조정하며 실제 게임플레이에서 예상되는 손동작의 범위를 확인할 수 있었습니다. PlayStation Studios의 직원분들이 행사에 참여하고자 샌프란시스코에 모였을 때, 저희는 일본에서 프로토타입을 가져와 현장에서 얻은 피드백을 바탕으로 조정을 가했습니다.

스켈레톤 프로토타입 “헤드셋의 내부 구조를 바깥에서 볼 수 있도록 만든 프로토타입입니다.”

PS VR2 Sense 컨트롤러 개발 과정

컨트롤러의 내부 구조를 자세히 알아보려면 PS VR2 Sense 컨트롤러 분해 비디오를 확인하세요.

PSB: 언제부터 PS VR2 Sense 컨트롤러를 개발하기 시작하셨나요?

YT: 헤드셋과 마찬가지로 2016년에 논의를 시작하여 2017년에 프로토타입을 제작했습니다. 인사이드 아웃 방식은 헤드셋과 페어링 되는 트래킹 기술이기에 초기 단계부터 고려했던 사항입니다. 저희가 추가하고자 했던 다른 기능들도 논의했습니다. 컨트롤러에 얼마나 많은 버튼이 있어야 할지, DualSense 무선 컨트롤러의 기능을 어느 정도까지 적용할 수 있는지와 같은 것이었죠.

전기 설계, 기계 설계, R&D 직원분들이 작업에 참여해 주셨습니다. 기계 설계팀은 다양한 형태의 컨트롤러를 개발하고 탐구할 때 꼭 필요한 팀이었습니다.

PSB: 개발하는 데 가장 오래 걸린 기능이나 디자인 측면이 있나요?

YT: PS VR2 Sense 컨트롤러에는 햅틱 피드백 및 적응형 트리거와 같은 DualSense 무선 컨트롤러의 주요 특징을 적용했습니다. 핑거 터치 감지용 센서도 추가했으며, 컨트롤러를 더 쉽고 가볍게 들 수 있도록 제작하는 데 많은 시간을 할애했습니다. 광범위한 사용자 테스트도 거쳤습니다. PlayStation Studios에는 전문 사용자 테스트팀이 있습니다. 저희는 유럽에 있는 팀과 긴밀히 협력하여 최대한 많은 분이 컨트롤러를 테스트해 볼 수 있게 했습니다.

PSB: PS VR2 Sense 컨트롤러의 최종 디자인과 형태는 어떻게 정하셨나요?

YT: 초기 프로토타입에는 PlayStation Move 컨트롤러의 스피어를 활용한 다른 트래킹 방식을 사용했습니다. 적응형 트리거, 햅틱 피드백, 핑거 터치 감지, L1/R1 숄더 버튼 등 다른 기능들도 포함되어 있었죠. 이러한 기능을 프로토타입에 장착하여 어떤 기능이 가장 중요한지 확인하고자 했습니다.

프로토타입 1 “가장 초기의 프로토타입 중 하나입니다. VR 컨트롤러에서 적응형 트리거, 햅틱 피드백, 핑거 터치 감지의 효율성을 테스트하기 위한 프로토타입입니다. 트래킹은 PlayStation Move 모션 컨트롤러 스피어를 통해 이루어졌습니다.”

다음 프로토타입에는 인사이드 아웃 트래킹을 사용했고, 이때 어디에 적외선 LED를 배치해야 하는지 결정한 다음 여러 가지 다른 형태의 컨트롤러를 실험하기 시작했습니다.

프로토타입 2 “이 프로토타입은 트래킹 성능 연구용으로 제작되었습니다. 트래킹용 적외선 LED를 컨트롤러의 상단과 하단에 나눠서 배치했을 때의 성능을 평가하고자 했습니다.”

프로토타입 3 “트래킹 성능 연구용 프로토타입입니다. 이 프로토타입은 적외선 LED를 손 뒤쪽의 링에 배치했을 때의 성능 평가용으로 쓰였습니다.”

다음 프로토타입은 현재 최종 형태에 가까운 모습이지만, 그립의 크기에 차이가 있습니다. 이 형태는 적응형 트리거와 햅틱 피드백, 그리고 빠질 수 없는 배터리 등의 기능을 추가한 결과입니다. 하지만 게임플레이 세션을 장기간 플레이하기에는 너무 컸죠. 따라서 기계 엔지니어와 전기 엔지니어분들이 그립을 더 얇고 들기 편하게 만들고자 노력했습니다.

프로토타입 4 “또 다른 트래킹 성능 연구용 프로토타입입니다. 디자인과 기능을 염두에 두고 적외선 LED를 컨트롤러 주위에 배치했을 때의 성능을 평가하기 위한 용도로 쓰였습니다.”

PSB: 핑거 터치 감지와 같이 완전히 새로운 기능을 추가할 땐 어떤 평가 과정을 거치셨나요?

YT: 적응형 트리거, 햅틱 피드백, 핑거 터치 감지와 VR 경험에 있어 강한 몰입감을 끌어내는 다른 요소들을 적용한 프로토타입을 만들었습니다. 핑거 터치 감지의 경우 버튼 누르기가 필요한 형태를 비롯해 여러 형태를 고려했죠.

프로토타입을 만들 때마다 PlayStation Studios에 피드백을 요청하고, 여기서 얻은 정보를 다음 테스트에 이용했습니다. PlayStation Studios 직원분들께 컨트롤러를 게임에 어떻게 활용하고 싶은지 물어보고, 저희가 원하던 기능 중 어떤 것을 어떻게 포함할지 정했습니다. 예를 들어, 이상적인 버튼의 수에 관해서는 게임 개발자가 가장 좋은 피드백을 제공할 수 있습니다. 따라서 개발 과정에서 이러한 의견을 주의 깊게 들었습니다.

PSB: 최종 컨트롤러 형태는 플레이어가 들었을 때 자연스러운 느낌이 드는 모습이 되었습니다. 이 최종 형태는 어떻게 결정되었고, 그 이유는 무엇인가요?

YT: 저희는 무게와 무게 중심의 균형을 맞추어 긴 게임플레이 세션 동안 컨트롤러를 쉽게 쥐고 들 수 있도록 하는 것을 목표로 삼았습니다. 편안한 핏을 만들기 위해 광범위한 프로토타입 제작과 사용자 테스트를 거쳤습니다. 그저 부품을 한데 모으는 것만으로는 부족했습니다. 내부 구조를 극단적으로 변형해야 했죠. 다음은 최종 제품에 가깝지만, 아직 핏 최적화를 거치지 않은 프로토타입입니다.

프로토타입 5
“모든 최종 기능을 장착하고 특유의 ‘구체’ 형태를 적용한 프로토타입입니다. 이 프로토타입도 트래킹 기능을 평가하는 데 사용했으며, 최종 제품과 가까운 상태였습니다. 그립 디자인과 편의성은 아직 최적화하지 않았습니다.”

PSB: 개발 과정을 보면 적외선 트래킹에 큰 노력을 기울인 것 같습니다. 프로토타입을 만들 때 초기 계획을 극단적으로 바꿔야 했던 적이 있었나요?

YT: 프로젝트를 시작할 때는 인사이드 아웃과 아웃사이드 인 트래킹 중 어느 쪽이 나은지 확신하지 못했습니다. 따라서 두 가능성을 함께 탐구했죠. 저희는 팀을 둘로 나누어 각 프로토타입을 만들었습니다. 그 뒤로는 인사이드 아웃 방식에 집중하기로 하고 트래킹 최적화를 계속했습니다. 헤드셋 트래킹 카메라의 배치를 테스트하고자 만든 프로토타입 덕에 다이얼로 카메라 네 대의 위치와 각도를 미세하게 조정할 수 있게 되었습니다. 해당 프로토타입은 카메라가 감지할 수 있는 범위를 확인하는 데도 쓰였습니다.

PSB: 초기 연구 단계에서 소프트웨어 개발에 참여하신 적이 있나요? 어떤 피드백을 적용하셨나요?

YT: 저희로서는 컨트롤러가 실제 게임에서 어떤 역할을 하고 어떻게 기능할지 완벽하게 떠올릴 수 없었습니다. 따라서 초기 기술 검토 과정에서는 PlayStation Studios의 팀이 제안된 제품 사양에 대한 피드백을 제공해 주셨습니다. 플레이어가 서 있는 상태로 물체를 허리춤에 쥐고 있는 경우를 예로 들어보겠습니다. 이럴 경우 머리는 반드시 앞을 바라보고 있어야 합니다. 따라서 카메라가 헤드셋 아래에 있는 물체를 감지할 수 있게 해야 했습니다. 반면, 등에 멘 활과 화살을 꺼내려 한다면 팔이 카메라 범위를 벗어나게 됩니다. 컨트롤러가 카메라의 범위를 벗어나는 이런 경우에는 피드백을 바탕으로 트래킹을 더 자연스럽게 느껴지도록 조정해야 했습니다.

인체 공학을 최적화하는 동시에 적응형 트리거와 햅틱 피드백을 도입하는 일은 어려웠습니다. 하지만 저희는 소프트웨어 개발팀의 강력한 요구에 따라 이를 극복해야만 했습니다. 적응형 트리거는 손가락 끝 근처에 위치해야 했으며, 햅틱 피드백은 플레이어가 컨트롤러를 쥐는 부분에 적용해야 했죠. 적응형 트리거 모듈은 제법 크기 때문에, 배터리와 함께 이 사항을 고려하면 그립 부분에 수많은 부품이 몰리게 됩니다. 이렇게 되면 인체 공학적으로 봤을 때 이상적이지 않으며 편의성이 희생됩니다. 원래는 DualSense 무선 컨트롤러와 같은 적응형 트리거 부품을 사용하려 했지만, 결국 PS VR2 Sense 컨트롤러 전용 맞춤형 모듈을 만들게 되었습니다.

자막: PS VR2 헤드셋과 PS VR2 Sense 컨트롤러의 모든 프로토타입

PSB: 마지막 질문입니다. PS VR2 헤드셋의 최종 제품을 보면 어떤 점이 가장 자랑스러우신가요?

YT: 많은 게임 개발자분들이 이전 PS VR을 활용해 VR 게임계의 지평을 넓혔다고 평가해 주셨습니다. 그리고 이번 PS VR2는 그 지평을 더욱 광범위하게 넓혔다는 피드백을 많이 주셨습니다. PS VR2는 한쪽 눈마다 2000×2040에 이르는 놀라운 4K HDR 비주얼을 렌더링할 수 있으며, 지능형 시선 트래킹은 효율적인 렌더링 기법으로 고퀄리티의 그래픽을 전달합니다. 컨트롤러, 헤드셋, 편안한 디자인의 결합으로 플레이어는 게임 개발자가 제작한 특별한 VR 세계에 완벽하게 빠져들 수 있습니다. 다양한 VR 게임 포트폴리오는 앞으로도 확장될 것이며, 저희는 플레이어 여러분이 그 모든 작품을 최고 수준으로 즐기시기를 바랍니다.