VHAL_

** 해당 시리즈는 타블로그의 글을 참고하여 공부용으로 기록해놓은 글입니다 **

Human Vision

• Image Formation in the Eye 

  

 Lights

1. Human Vision

• Light Source (광원)
• 오브젝트로 향하는 광원 (Decay - 광원에서 멀어질수록 어두워짐)
• 오브젝트에 도착한 빛
  • Absorption (흡수)
  • Reflection(표면에서 반사) / Scarttering(내부로 흡수했다가 나옴)
• 오브젝트에서 눈으로 가는 빛 (No decay - 공기 저항 무시, 각 시세포가 받는 E는 일정)
• 눈에 도착한 빛 (Sensing Energy)

2. Light

• 특정 유형의 전자파인 Visible Spectrum(가시광선)만 사람 눈에 감지된다.

◾Color

• 다양한 wavelength(파장)의 light wave(광파) 혼합된 것이며 그 혼합물에 대한 사람의 반응, 느낌

◾ Achromatic light (무채색)

• 파장을 무시하는 빛으로 색은 없고 intensity(밝기)만 존재
  (aka. monochromatic, gray level, Luminace(휘도), birightness)
  
  

Image Acquisition

1. Sensor Element

• 빛 E가 들어오면 전류가 흐른다. (빛 신호 -> 전기 신호) 

  

  
  
  

1-1. Single Element Sensing

• sensor 하나가 좌우로 이동하고, 필름은 회전한다.
• 센서를 천천히 움직이면 해상도가 올라간다. (픽셀 개수가 정해지지 않음)
• ex) 잉크프린터, 필름 고해상도 현상 

  

1-2. Sensor Strip Sensing

• Sensor strip (여러개의 sensor)

  

• Sensor strip이 좌우로 이동한다.
• Sensor strip의 센서 개수가 해상도를 결정한다. (움직이는 방향의 해상도는 속도로 조절 가능)
• ex) 스캐너

  

1-3. Sensor Ring Sensing

• 동그란 모양의 Sensor Ring 사이로 3D오브젝트가 통과되며 이미지를 인식한다.
• 속도가 빠르다.
• ex) X-ray, CT

  

1-4. 2D Image Array Sensing

• 2D Sensor Array(센서가 이차원 배열로 존재)

  

• 렌즈(카메라) 필요
• 한 순간의 데이터를 저장할 수 있다. (snapshot)
• ex) CCD array

  

  
  
  

2. Image Formation Model

• 이미지가 디지털로 바뀌는 방법
• Image의 밝기: f(x, y)
  (밝기의 범위는 한계가 없다. 0 < f(x, y) < ∞)
• Formation model
  • Illumination (광원에서 나온 빛) : i(x, y)
  • Reflectance (반사율) : r(x, y)
  • 반사율 예시

    

• 광원에서 나온 빛과 반사율을 곱해 이미지의 밝기를 구한다.

  

  

3. Intensity Range (밝기의 범위)

• 한 픽셀의 값

  

• 이론에 따르면 밝기의 범위는 한계가 없어 0 < f(x, y) < ∞ 이지만, 센서가 받아낼 수 있는 최소, 최대가 정해져있다.

  

• 그래서 Intensity Range(Gray scale)는 보통 0에서 L-1까지의 값을 가진다.

  

  
  
  

Sampling and Quantization

1. Digitization

• 이미지를 디지털(정수 형태)로 바꾸는 과정

◾Sampling

• 연속적의 데이터를 다 알 수 없어서 이미지의 특정 공간만 Sampling해서 전체를 알기
• x, y방향으로 이미지를 작은 픽셀로 쪼개기
• 픽셀값으로 이미지를 나타냄 (각 픽셀마다 색, 밝기 등)

◾ Quantization (양자화)

• Sampling 값을 디지털화(정수화) 한다.
• 이미지의 경우 0-255 범위에 픽셀 정도가 저장된다. (사람이 구분할 수 있는 정도의 기준)
  

  

  

❗ Sampling과 Quantization 둘 다 무조건 많이 하는게 좋지만, 시간과 같은 자원의 한계가 있다.

2. Sampling

• 정수의 값을 갖는 몇개의 점xi yi에 대한 함수값

  

• 이차원 배열 / 행렬 형태

  

3. Quantization (양자화)

• [0~최대 밝기]의 범위를 정수로 쪼갬

  

• b와 k는 비례
• 수준이 높아질수록 자원이 많이 들고, 낮아지면 밝기 구분이 어려워짐

4. Saturation (색의 포화도)

• RGB가 전부 255를 넘은 Saturation 상태에서 다시 밝기를 낮추면 색이 복구되지 않고 회색이 나온다.

  

◾Clipping

• 모니터마다 가장 밝은 부분255의 밝기가 다 다르다.
• 카메라에서 밝기가 전체적으로 어두워지는 것은 기존의 255 밝기보다 낮은 밝기를 255로 Quantization하기 때문

5. Resolution (해상도)

1. spatial resolution (공간해상도)

• 이미지 구성에 사용되는 픽셀 수 (구별가능한 최소 단위)
• Dots per inch (DPI): 기준 크기에 단위(픽셀)가 몇개 들어가는지

  

2. Intensity resolution

• Intensity LevelL의 구별 가능한 최소 변화
• 각 픽셀이 가질 수 있는 값의 개수
• 8비트(가장 많이 사용), 12비트, 16비트 등
• Intensity level에 따른 이미지

  

◾Isopreference Curves

• ResolutionN이 높으면 Intensity Levelk이 낮아도 괜찮고, Resolution이 낮으면 Intensity Level이 높아지는 것이 좋다.
• 얼굴 이미지는 낮은 디테일, 군중 이미지는 높은 디테일을 가진다.

  

6. Image Interpolation

◾Interpolation

• 알고 있는 데이터로 모르는 부분을 추정한다. (ex-내적)

• 픽셀 사이의 값을 추정하여 더 높은 해상도를 만든다.

  

1. Nearest neighbor Interpolation

• 근처에 알고 있는 픽셀값으로 보간
• 경계선이 깨지며 해상도 낮아짐
  

  

  

2. Bilinear Interpolation

• 근처에 알고 있는 4개의 픽셀값을 적당히 섞은 새로운 값으로 보간

  

  

  

3. Bicubic Interpolation

• 근처의 16개의 픽셀값으로 3차 곡선을 만들어서 새로운 값으로 보간

  

  

✔️ 왼쪽부터 Nearest neighbor, Bilinear, Bicubic

🔵 Basic Relationship between Pixels

1. Neighborhood

• (x, y) 좌표를 가지는 픽셀p의 이웃

1. 4-neighborhood

2. 4 diagonal neighborhood

3. 8-neighborhood

2. Adjacency

• 픽셀 간 인접관계를 나타내기위한 Intensity valuse V

1. 4-adjacency

• 픽셀 q가 p의 4이웃이고, 두 픽셀 모두 V의 값을 가짐

  

2. 8-adjacency

• 픽셀 q가 p의 8이웃이고, 두 픽셀 모두 V의 값을 가짐

  

3. M-adjacency

• 두 픽셀 모두 V의 값을 가지는데,
  • 픽셀 q가 p의 4이웃 이거나
  • 픽셀 q가 p의 D이웃 이고 p의 4이웃과 qD이웃의 교집합에 V값을 가지는 픽셀이 없는 경우

    

3. Path (or Curve)

• adjacency한 애들 따라가서 다른 픽셀로 가는 길 (n - path의 길이)

  

• closed path - 시작해서 제자리로 돌아오는 path

  

• 두 픽셀사이 path가 있다 -> 두 픽셀이 connected
  

  

4. Region

• Path로 연결된 픽셀 덩어리 (connected set)

  

5. Boundary

• Region의 한 픽셀의 이웃 중, Region에 포함되지 않는 픽셀들
  (Region 픽셀 이웃의 여집합complement에 포함되는 픽셀)

  

6. Distance Measure (두 픽셀 사이 거리)

◾ Metric

• 거리를 재는 방법이 Metric하다는 것은
  1. 거리가 양수
  2. p -> q, q -> p 거리가 동일
  3. p -> q + q -> p ≥ p -> z
     

     

1. 직선거리

2. x축의 거리차 + y축의 거리차

• 4neighbor을 통해서만 측정하는 거리

  

3. x축 차이, y축 차이의 최대값

• 8neighbor을 통해서만 측정하는 거리

  

  
  

  

  
  
  

🟣 Mathematical Tools Basic

1. Array Operation

• 이미지끼리 곱할 때에는 아래 방법을 주로 사용 (기존의 행렬 곱셈이 아님)

  

2. Linear vs Nonlinear Operation

◾Operation

• f이미지를 넣어서 g이미지가 나오는 영상처리 함수H

  

1. Linear Operation

• H함수를 한 번에 적용한 것과 두 번에 나눠서 적용한 것의 결과값이 같으면 Linear
• 1번 적용한 것이 더 효율적

  

2. Nonlinear example

• Linear하지 않고 함수의 결과값이 다른 경우
  

  

3. Arithmetic Operation (산수 연산)

1. Addition

• 이미지를 픽셀별로 더하기
• [0, L-1]+[0, L-1]=[0, 2L-2] -> 범위가 달라진다.
• 보통 원본이미지f + Noiseη를 이미지라고 함

  

  

2. Subtraction

• 이미지를 픽셀별로 빼기
• [0, L-1]+[0, L-1]=[-L+1, L-1] -> 음수가 등장할 수 있음

  

  

3. Multiplication

• 이미지를 픽셀별로 곱하기 (행렬 곱하기 X)

  

  

4. Division

• 이미지를 픽셀별로 나누기

  

  

4. Logical Operation

5. Pixel-wise Logical Operation (픽셀 단위 논리연산)

1. Complement (여집합)

• 가장 큰 것K에서 뺀 것

  

2. Union (합집합)

• 두 이미지의 최대값을 취함
• ex) max(검정0, 회색160) -> 회색이 합집합

  

3. others

인프런에 나온 자주 사용하는 단축키 !

• Alt + Enter 인터페이스 메소드 auto implement
• Ctrl + Alt + V auto return
• Ctrl + Alt + M 감싼 부분 auto 메소드화
• Ctrl + Shift + T 새로운 텍스트 auto 생성
• Ctrl + Enter Getter Setter

General - 일반적인 단축키

WindowMac설명

Debugging - 디버깅 관련

WindowMac설명

Search / Replace - 검색 및 대체

WindowMac설명

Editing - 편집기(IDE)

WindowMac설명

1. Image

• 특정 시간, 특정 방향의 빛의 Snapshot (시각적 자극을 비슷하게 나타냄)
• 사진이나 2차원 그림처럼 시각적 자극을 속이기 위해 만든 인공물
• Distributed amplitude of colors
  
  
• 2D function
  • 시각적 자극의 강도(intensity / amplitude)를 나타내는 함수f(x, y)
  • (x, y)는 2D 위치

2. Digital Image

• 이미지가 디지털 형태로 저장됨 (digital form / binary form)
• Digitization (이미지를 디지털로 바꾸는 방법)1. Raster(Bitmapped) Image
  • Finite set of digital values (Picture elements / pixels)
  • JPEG, PNG, GIF …
  2. Vector Image
  • 2D 평면에 어떻게 그림을 그릴 것인지에 대한 방법이 저장 (lines, polygons, circles, curves…)
  • Vecotor font, SVG, AI …
    
    
• 디지털 이미지의 장단점
  • 장점
    1. Easy reproduction (그리기 쉬움)
    2. Fine detail (정보 디테일 많음)
    3. Easy to access a part
    4. Easy to modify globally (전체 수정 쉬움)
  • 단점
    1. Large data
    2. Limited resolution (Bad for scaling)
    3. Hard to modify locally

3. Digital Image Processing

• 사람이 해석할 수 있도록 이미지 정보를 개선
• 저장, 전송, 자율 시스템 인식을 위한 표현
  
  
• Fundamental Levels (Low level - 영처 / Mid, High level - 컴비) 

  

  
  
  
• Key Stages in DIP

1. Image Acputstion (이미지 입력) 

   

2. Image Enhancement (이미지 향상) - 저화질을 고화질로

   

3. Image Restoration (이미지 복원)

   

4. Morphological Precessing

   

5. Segmentation (영상 분할) - 이미지 내에 있는 객체들을 의미있는 단위로 분할

   

6. Object Recognition (객체 인식)

   

7. Representation & Description

   

Oculus Software 다운로드

1. 오큘러스 계정 생성 : https://secure.oculus.com/my/profile/
2. Quest 2 PC/Android/IOS app 설치 : https://www.meta.com/kr/ko/quest/setup/

Oculus에서 개발자 모드 설정

• https://developer.oculus.com/documentation/native/android/mobile-device-setup/

PC와 Oculus Quest2 연결

• Oculus 앱 > Devices > Add Headset > Oculus Quest2
• USB 케이블로 연결
  • “Allow USB debugging” > OK
  • “Allow access to Data”  > Deny
  • “Enable Oculus Link” > Enable
• Oculus 앱 > Settings > General> OpenXR Runtime > click Set Oculus as active
• Oculus 앱 > Settings > General > Enable Unknown Sources
• •Oculus 앱 > Library > Updates > download any updates

소지한 컴퓨터의 GPU 성능 확인

• https://www.meta.com/ko-kr/help/quest/articles/headsets-and-accessories/oculus-link/requirements-quest-link/

컴퓨터 그래픽 설정 변경

• 윈도우 키  > 그래픽 설정 > “데스크톱 앱"
  • c:\Program Files\Oculus\Support\oculus-runtime\ 을 선택하고
  • OVRRedir.exe
  • OVRServiceLauncher.exe
  • OVRServer_x64.exe
  • 위의 세 가지를 모두 '고성능'으로 저장

Unity에서 프로젝트 생성 후 셋업

• 3D (URP)로 프로젝트 생성
• (Oculus XR Plugin, XR Pluggin Management, XR Interection Toolkit) 설치
• Project Settings > Player > Active Input Handling>  “Both”
• Project Settings  > XR Plugin Management > pc와 Android에서 Oculus 선택
• Project Settings > Preset Manager 에서 Right와 Left로 XRI Default Left/Right Controller 추가
• 하이어라키에 XR Origin (VR) 생성

디지털 라이트의 분류

---

Directional Light ( 디렉셔널 라이트 )

• 직진성을 가진 조명
• 라이트의 강도와 컬러, 방향 정보만 지닌 가장 가벼운 라이트
• 태양이나 그림자를 표현할 때 주로 사용

Point Light ( 포인트 라이트 )

• 점(point) 모양의 광원
• 사방으로 뻗어나감
• Directional llight보다 무겁기 때문에 성능을 유의하며 작업해야 함.

Spot Light ( 스팟 라이트 )

• 특정한 부분을 강조하거나 표현하는 스팟 라이트
• 성능 유의하며 작업해야 함.

디지털 라이트 원리

---

노멀 벡터와 라이트 벡터가 서로 마주 보고 있을 때 가장 밝고, 두 벡터의 각도가 벌어지면 점점 어두워진다.

노멀 벡터가 면에 있으면 부드러운 라이팅을 구현할 수 없으므로 최근에는 노멀 벡터가 버텍스에 존재한다.
다만, 각진 형태(Hard Edge)를 표현하기 위해서는 아래와 같이 한 버텍스에 노멀이 3개 혹은 모양에 따라 4개가 있어야 한다.

즉, 노멀 벡터와 라이트 벡터와의 각도가 빛의 밝기를 조절하며, 노멀 벡터는 버텍스에 있다

벡터 연산을 통한 디지털 라이트 연산

---

벡터의 내적: 두 벡터의 각도의 차이를 숫자로 표현한 것

• Dot 연산
• Cos 그래프

노멀 벡터와 라이트 벡터가 마주볼 때 가장 밝은 상태인데, 내적 연산을 도입해본다면 두 벡터 사이의 각도는 180도이므로 -1이 된다.

따라서 연산하기 전에 조명 벡터의 방향을 반대로 해주어야 가장 밝을 때 연산이 이루어진다.

• Sphere가 Directional Light를 받을 때 각 Vertex의 위치별 내적값
  

  

Unity 내장 라이팅 구조

---

지금까지 학습하였던 Standard Shader는 PBS(Physically Based Shader)인 물리 기반 쉐이더 라이트이기 때문에 모바일과 같은 저 사양 기기에서 구동하기에는 다소 무겁다.

따라서 PBS보다 상대적으로 품질은 떨어질 수 있지만 가벼운 다른 라이팅 구조들을 함께 살펴보겠다.

Standard ( 스탠다드 )

• PBS
• diffuse와 specular가 에너지 보존 법칙에 의해 보완관계를 지님
• SurfaceOuputStandard / SurfaceOutputStandardSpecular 구조체
• Specular의 칼라가 메탈릭 속성에 따라 자동적으로 결정됨

Lambert ( 램버트 )

• Specular 공식 X
• 빛에 의한 밝고 어두움만이 구현된 가벼운 라이트 구조
• StandardOutput 구조체

Blinn Phong ( 블린 퐁 )

• Lambert 공식에 가벼운 Specular 공식인 Blinn Phong 공식이 더해진 라이트 구조
• SurfaceOutput 구조체 사용

• SurfaceOutput 구조체
  • Specular : Specular의 넓이. 얼마나 많은 하이라이트가 나오는가. 수치가 높을수록 하이라이트가 작아짐.
  • Gloss : Specular의 강도
    

    

• SurfaceOutputStandard / SurfaceOutputStandard
  

  

Lambert 라이팅

---

라이팅 함수 이름 / 구조체 변경

Specular는 구현할 수 없기 때문에 Specular와 Gloss는 사용할 수 없음.

Blinn Phong 라이팅

---

라이팅 함수 이름 / 구조체 변경

주의할 점은, _SpecColor는 코드 내에서 받으면 안되는 예약어라는 것이다.
Gloss는 0~1 사이의 값을 넣어야 하며 0에 가까울 수록 둔탁하고 1에 가까울 수록 매끄러운 재질을 나타낸다.

Standard Shader

---

Standard Shader

• 유니티의 대표적인 물리 기반 쉐이더
• 기존 쉐이더와는 다르게, 주변 환경에 따른 재질 변화를 물리 법칙에 기반하여 실시간으로 재질을 구현해주는 사실적인 쉐이더 표현 기법
• Albedo, Normal, Emission, Metallic, Smoothness, Occlusion, Alpha 등 다양한 물리 기반 쉐이더의 요소들이 SurfaceOutputStandard 구조체에 정의되어 있음.

Metallic과 Smoothness

---

Metallic과 Smoothness 추가

• Smoothness
  • 재질이 미끄러운지 거친지 결정
  • 0이면 완벽히 거칠어서 난반사만 일어나며 1이면 완벽히 매끄러워서 정반사만 일어난다.
    유니티에서 Standard Shader라는 물리 기반 렌더링의 기본 개념은 에너지 보존 법칙으로 나가는 빛의 양은 들어온 빛의 양을 넘을 수 없다이기 때문에 정반사가 높아질수록 난반사의 비율은 줄어든다. (반대도 해당)

Normal map

---

Normal map (노멀맵)

• 텍스쳐를 이용하여 실제 디테일이 없는 부분들 디테일이 있는 것처럼 보이게 만들기 위한 눈속임 맵
• 벡터 데이터들로 이루어진 텍스쳐 파일
• 일반적인 게임용 텍스쳐 포맷인 DXT1 혹은 DXT5이 아닌 DXTnm이라는 파일 포맷 (일반적인 텍스쳐 압축에 의한 노멀맵 품질 저하를 막기 위해 만든 AG 파일 포맷임)

노멀맵은 ZBrush나 Mudbox 같은 Sculpting 툴을 이용하거나 3D 프로그램에서 하이 폴리곤 모델링을 한 후에 RTT를 이용하여 추출하는 등 다양한 방식으로 추출할 수 있다.

• Unity에서 Normal map 추출하는 방법
  • Inspector에서 Texture type을 Normalmap 으로 변경 (외부 툴에서 추출되어 이미 파랗게 된 노멀맵이라면 해당 단계까지만 진행)
  • Create from Grayscale을 선택하고 Bumpiness나 Filtering 조절
  • Apply

코드 변경을 통한 노멀맵 적용

Occlusion (오클루젼)

---

Occlusion이란?

• Ambient Occlusion : Ambient Color (환경광)이 닿지 못하는 부분
• 구석진 부분의 추가적인 음영 표현

Occlusion 기능을 사용하는 법은 일반적인 텍스쳐를 받는 방법과 동일하나, 주의해야 할 점은 반드시 _MainTex와 같은 UV를 사용해야 정상적으로 작동한다는 것이다.

응용

---

위에서 4가지 텍스쳐를 멀티텍스쳐링 해서 제작한 plane에 노멀맵을 적용해보기 위해 스크립트에 노멀맵을 추가하였더니 아래와 같이 쉐이더가 적용되지 않고 오류가 발생했다.

해당 오류는 쉐이더 2.0의 한계를 벗어나는 텍스쳐 인터폴레이션으로 인해 발생한 현상이다. 따라서 #pragma target 3.0 을 추가하여 해결하면 된다.

Plane에 NormalMap 적용

빛의 각도를 조정하지 않고도 NormalMap을 보이게 하려면?
Inspector로 Smoothness와 Metallic을 조절하면 된다.

• Smoothness 조절을 통해 땅 젖은 느낌 적용

코드를 다양하게 변경하여 텍스쳐의 질감을 마음대로 조절할 수 있다.
현재 사용한 코드는 다음과 같다.

o.Normal = UnpackNormal(tex2D(_BumpMap, IN.uv_BumpMap));

지금까지 한 것 정리

• 텍스쳐나 색상, 값들은 Properties에 넣은 후 서로 연산/처리하는 과정
• 버텍스의 UV 값을 엔진에 직접 요청하여 사용하는 과정
  (Position, Texcoord(UV), Normal, Tangent들은 버텍스 안에 내장되어 있는 대표적인 정보들임)

Vertex Color 활용

---

• Vertex Color 적용
  • 3D DCC(Digital Contents Creation) - ex. 3ds Max
  • 엔진 자체의 툴
    
    

Package Manager 내의 Polybrush를 standard 버전으로 임포트하였다.

Polybrush Window를 꺼내어 Plane에 버텍스 컬러를 페인팅하였지만 기본 쉐이더는 버텍스 컬러를 출력하지 않기 때문에 일반적으로는 버텍스 컬러가 보이지 않는다.

코드 수정을 통한 버텍스 컬러 출력

---

아래와 같이 텍스쳐와 곱하는 등 다양한 방식으로 출력 컬러를 변경해볼 수도 있다.

마스킹 기능

---

• Vertex Color는 일반적인 텍스쳐가 갖고 있는 UV와는 별개
• Vertex Color는 일반적인 컬러와 동일하게 RGBA로 구성되어 있음.

Vertex Color를 마스킹으로 이용하여 멀티 텍스쳐링 기능 제작

멀티 텍스쳐 기능을 활용하기 위하여 여러 장의 텍스쳐를 받아올 수 있도록 코드를 변경하였다.
현재 Plane 오브젝트에는 Vertex Color가 칠해져 있는 상태이다.

R 채널만 출력

o.Albedo = IN.color.r;

lerp 함수 활용 (1)

o.Albedo = lerp(c.rgb, d.rgb, IN.color.r);

lerp 함수 활용 (2)

o.Albedo = lerp(c.rgb, d.rgb, IN.color.r);
o.Albedo = lerp(o.Albedo, e.rgb, IN.color.g);
o.Albedo = lerp(o.Albedo, f.rgb, IN.color.b);