요즘 한참 madVR을 공부중인데 엔비디아에서 RTX VSR(Video Super Resolution)란걸 꺼내들었다.
당연히 Ai를 이용한 챗GPT가 판을치는 상황인데
* 하위버전으로 보기엔 그렇지만 그림 그리는 Ai는 당연지사고 이걸 이용한 동영상은 불가능하랴...
* 자율주행 테슬라가 판독을 위한 카메라를 줄이고 그사이를 Ai를 이용한 보간작업으로 메꾸겠다고 나온 상황인데...
그 Ai의 중심에 있는 GPU - 엔비디아에서 관련 상품을 안 내놓을 이유가 없었던 터라...
우선 관심이 있는 분야라 엔비디아 홈페이지에서 RTX VSR(Video Super Resolution) 뉴스를 찾아보았다.
https://blogs.nvidia.co.kr/2023/03/02/rtx-video-super-resolution/
완벽한 픽셀: RTX VSR(Video Super Resolution)을 지포스 RTX 40 및 30 시리즈 GPU에서 사용해보세요.
AI 기반 업스케일링 기능은 구글 크롬과 마이크로소프트 엣지 브라우저에서 스트리밍 영상 콘텐츠를 향상시킵니다.
오늘 날 인터넷 대역폭의 거의 80%는 스트리밍 영상인데요, 그 중 90%의 콘텐츠가 1080p 이하로 스트리밍되며, 여기에는 트위치, 유튜브, 넷플릭스, 디즈니 플러스, 홀루 등과 같은 인기 플랫폼들도 포함됩니다.
하지만 만약 시청자가 1080p 이상의 디스플레이를 사용하는 경우(대부분의 PC 사용자가 그렇듯이) 브라우저는 디스플레이의 해상도에 맞게 동영상 크기를 조정하게 됩니다. 대부분의 브라우저는 기본 업스케일링 기술을 사용하므로 최종적으로 출력되는 이미지가 부드럽거나 흐릿해집니다.
RTX VSR을 사용하면 지포스 RTX 40 및 30 시리즈 GPU 사용자는 AI를 활용하여 저해상도 콘텐츠를 디스플레이 해상도에 맞게 최대 4K로 업스케일링할 수 있습니다. AI는 뭉툭한 압축 아티팩트를 제거하고 영상의 선명도를 향상시킵니다.
AI 업스케일링의 진화
1. AI 업스케일링은 저해상도 이미지를 딥러닝 모델을 통해 고해상도 버전으로 예측하여 저해상도 미디어를 고해상도로 변환하는 프로세스입니다.
2. 이러한 예측을 정확하게 수행하려면 뉴럴 네트워크의 모델을 다양한 해상도의 수많은 이미지로 학습시켜야 합니다.
 |
| 4K 디스플레이는 저해상도 이미지를 화면에 맞게 늘려야 하므로 영상이 흐릿해질 수 있습니다. AI를 사용하여 스트리밍 비디오를 업스케일링하면 저해상도 이미지가 타의 추종을 불허하는 선명도를 갖출 수 있습니다. |
3. 그러면 배포된 AI 모델이 저해상도 비디오를 촬영하여 기존 스케일러로는 재현할 수 없더라도 놀라운 선명도와 향상된 디테일을 생성할 수 있습니다.
4. 가장자리는 더 선명하게, 머리카락은 더 풍성하게, 풍경은 놀라울 정도로 선명하게 표현됩니다.
5. 사실 2019년에는 이 기술의 초기 버전이 쉴드 TV와 함께 출시되었습니다.
6. 이 기술은 대부분 480p에서 1080p에 이르는 TV용 스트리밍 콘텐츠의 화질을 개선하고 10피트 시청 환경에 최적화한 획기적인 기술이었습니다.
7. PC 시청자는 일반적으로 TV 시청자보다 디스플레이에 훨씬 더 가까이 앉아 있기 때문에 업스케일링을 위해 더 높은 수준의 처리와 개선이 필요합니다.
8. 이제 사용자들은 지포스 RTX 40 및 30 시리즈 GPU를 통해 텐서(Tensor) 코어가 탑재된 매우 강력한 AI 프로세서를 갖게 되었으며, RTX VSR을 통해 차세대 AI 업스케일링을 구현할 수 있게 되었습니다.
RTX VSR 작동 방식
1. RTX VSR은 엣지 감지 및 피처 선명화를 넘어 스트리밍된 비디오 콘텐츠의 품질을 획기적으로 개선하는 AI 픽셀 처리의 혁신입니다.
2. 고르지 못한 압축 아티팩트는 스트리밍 영상의 고질적인 문제입니다.
2.1 서버, 클라이언트 또는 콘텐츠 자체에 결함이 있든, 기존 업스케일링으로 문제가 증폭되어 스트리밍 콘텐츠를 시청하는 사람들에게 좋지 않은 시각적 경험을 남기는 경우가 많습니다.
 |
| 바이큐빅 업스케일링 RTX VSR |
3. RTX VSR은 비디오 압축으로 인해 발생하는 아티팩트(예: 뭉개짐, 가장자리 주변의 울림 아티팩트, 고주파 디테일의 워시아웃, 평평한 영역의 밴딩)를 줄이거나 제거하면서 텍스처 손실을 줄입니다.
3.1 또한 가장자리와 디테일을 선명하게 처리합니다.
4. 이 기술은 업스케일링과 압축 아티팩트 감소를 한 번에 수행하는 딥러닝 네트워크를 사용합니다.
4.1 이 네트워크는 저해상도 비디오 프레임을 분석하여 목표 해상도의 잔여 이미지를 예측합니다.
4.2 그런 다음 이 잔여 이미지를 기존 업스케일링 이미지 위에 겹쳐서 아티팩트 오류를 수정하고 가장자리를 선명하게 처리하여 출력 해상도와 일치시킵니다.
5. 딥러닝 네트워크는 다양한 압축 수준을 가진 광범위한 콘텐츠에 대해 학습됩니다.
5.1 압축되지 않은 이미지에는 없는 저해상도 또는 저품질 비디오에 존재하는 압축 아티팩트 유형을 학습하여 네트워크 학습을 위한 참고 자료로 활용합니다.
5.2 생성된 모델이 거의 모든 실제 세계 및 게임 콘텐츠에서 효과적인지 확인하기 위해 광범위한 시각적 평가가 사용됩니다.
이제 시작해보기
1. RTX VSR은 지포스 RTX 40 또는 30 시리즈 GPU가 필요하며 구글 크롬과 마이크로소프트 엣지에서 스트리밍되는 거의 모든 콘텐츠에서 작동합니다.
2. 또한 이 기능을 사용하려면 현재 사용 가능한 최신 지포스 게임 레디 드라이버 또는 3월에 출시되는 다음 엔비디아 스튜디오 드라이버로 업데이트해야 합니다.
3. 크롬(버전 110.0.5481.105 이상)과 Edge(버전 110.0.1587.56)는 모두 RTX VSR을 지원하도록 최근 업데이트되었습니다.
4. 이 기능을 사용하려면 엔비디아 제어판을 실행하고 ‘비디오 이미지 설정 조정’을 엽니다.
4.1 “RTX 비디오 향상” 아래의 초고해상도 확인란을 선택하고 GPU 성능에 가장 적은 영향을 미치는 것부터 가장 높은 수준의 업스케일링 개선까지 1에서 4까지 품질을 선택할 수 있습니다.
다른 설정 구성을 포함한 자세한 내용은 이 엔비디아 기술 자료 문서에서 확인할 수 있습니다.
------------------------------------------------------------
hmm... 그러니깐 요지는
1. 지포스 RTX 40 및 30 시리즈 GPU에서만 사용가능
2. 스트리밍 영상 콘텐츠 향상
이란 이야기.
*** 그럼 30/40시리즈 없고 4K 동영상 파일에만 관심이 있는 나는... 헐...
하지만 30/40시리즈야 지인에게 빌려 보면 되고, 설마 업스케일링이 스트리밍에만 되겠어? 편법이 있겠지...
설명에는 새로운 렌더러 옵션이 생긴것과 마찬가지 인데....
4번 4.1 항목처럼 만 하면 바로 된다고?????
우선 인터넷을 뒤져보면 탁월하다는 감상평 부터 난 별로 모르겠다까지 다양하고
저용량 파일로 실험해봤다는 얘기도 있고...
이 불로그에서 가장 크게 주목하는 궁금증은
지금 사용하고(작성하고) 있는 madVR처럼 4K영상에도 도움이 될런지...가 관건이다.
물론 엔비디아 소개글에서 밝혔듯이
RTX VSR을 사용하면 지포스 RTX 40 및 30 시리즈 GPU 사용자는 AI를 활용하여 저해상도 콘텐츠를 디스플레이 해상도에 맞게 최대 4K로 업스케일링할 수 있습니다.
4K 영상에는 그닥 도움이 안될 수도 있겠지만
우선 몇가지 난관부터 헤쳐놓고 효과를 체험한 후 정리해 보도록 하겠다.
~~~~~ 계속