게임 개발에서 인공지능(AI)을 활용되는 사례

목차

• 렌더링 관련 기술
  • NVIDIA의 DLSS
  • NVIDIA의 GANcraft
• 그래픽스 관련 기술
  • NVIDIA의 Canvas
  • Google의 Chimera

 

렌더링 관련 기술

NVIDIA의 DLSS(Deep Learning Super Sampling)

- 이미지의 해상도를 높이는 연구 분야를 Super resolution이라고 한다.

- 엔비디아의 GPU 제품인 RTX 시리즈부터는 딥러닝을 가속하기 위한 텐서 코어(Tensor core)가 들어가 있는데, 이를 활용하여 속도를 향상된다.

- 아래 그림과 같이 DLSS를 키면 FPS를 향상시키면서도 이미지 품질도 개선하는 효과를 가져왔으며, 4K 환경에서는 게임에 따라 최대 3배까지도 빨라진다. 

NVIDIA DLSS 예시. 더 높은 FPS로 향상된 그래픽 품질을 보여준다.

NVIDIA의 GANcraft

NVIDIA의 GANcraft는 마인크래프트의 블럭으로 된 월드의 레이아웃은 유지하고 사실감을 더해서 실사화하는 기술의 연구 프로젝트입니다.

Imaginaire 라이브러리에서 구현되었다고 한다.

이 라이브러리는 다중 GPU, 다중 노드 및 자동 혼합 정밀도 교육을 지원하여 생성 모델 및 생성적 적대 네트워크 교육에

최적화되어 있고, NVIDIA에서 제작한 10개 이상의 다양한 연구 작업의 구현과 사전 훈련된 모델이 공개되었습니다.

 

Semantically Labeled Block World                                                    Photorealistic Rendering

변환 이미지 예시

GANcraft 시연 영상

GANcraft 아키텍처

Hybird Voxel-conditional Neural Rendering

In GANcraft, we represent the photorealistic scene with a combination of 3D volumetric renderer and 2D image space renderer. We define a voxel-bounded neural radiance field: given a block world, we assign a learnable feature vector to every corner of the blocks, and use trilinear interpolation to define the location code at arbitrary locations within a voxel. A radiance field can then be defined implicitly using an MLP, which takes the location code, semantic label, and a shared style code as input and produces a point feature (similar to radiance) and its volume density. Given camera parameters, we render the radiance field to obtain a 2D feature map, which is converted to an image via a CNN.

 GANcraft 아키텍처

The two-stage architecture significantly improves the image quality while reducing the computation and memory footprint, as the radiance field can be modeled with a simpler MLP, which is the computational bottleneck for implicit volume based methods. The proposed architecture is capable of handling very large worlds. In our experiments, we use voxel grids with a size of 512×512×256, which is equivalent to 65 acres or 32 soccer fields in the real world.

 

---

Neural Sky Dome

Previous voxel-based neural rendering approaches cannot model sky that is infinitely far away. However, sky is an indispensable ingredient for photorealism. In GANcraft, we use an additional MLP to model sky. The MLP converts the camera ray direction to a feature vector which has the same dimension as the point features from the radiance field. This feature vector serves as the totally opaque, final sample on a ray, blending into the pixel feature according to the residual transmittance of the ray.

 

---

Generating Images with Diversified Appearance

The generation process of GANcraft is conditional on a style image. During training, we use the pseudo-ground truth as the style image, which helps explain away the inconsistency between the generated image and its corresponding pseudo-ground truth for the reconstruction loss. During evaluation, we can control the output style by providing GANcraft with different style images. In the example below, we linearly interpolate the style code across 6 different style images.

 

 

 

<관련 기사>

• Unsupervised 3D Neural Rendering of Minecraft Worlds
• GANcraft: Turning Gamers into 3D Artists

 

그래픽스 관련 기술

NVIDIA의 CANVAS (구. GauGAN)

2019년에 NVIDIA는 단순한 스케치를 사실적인 이미지로 변환해주는 GauGAN이라는 AI 기술을 선보인 바 있습니다.

GauGAN을 발전시킨 Drawing 도구로 ’캔버스(CANVAS)’ 라는 공개했습니다. 

NVIDIA Canvas

GauGAN Example

 

<관련 자료>

NVIDIA Canvas Site

GauGAN 웹 데모 버전 

 

Google의 Chimera Painter

Nvidia Canvas는 풍경을 실사화하는 도구라면 Google의 Chimera Painter(키메라 페인터)는 이름처럼 괴물을 실사 이미지화하는 도구입니다. Chimera Painter는 상상하는 몬스터의 각 부위(머리, 눈, 코, 팔, 다리 등)에 해당되는 브러시로 그리기만 하면 현실감 있는 질감을 갖춘 몬스터 이미지를 생성해주는 툴입니다.

Chimera Painter Example : T-WRECK

<관련 자료>

• Using GANs to Create Fantastical Creatures
• Chimera Painter Demo

 

 

( Source : Nvidia Canvas )

 

 

<참고자료>

CloudInsight - AI가 게임 개발을 도울 수 있을까