Upload
amazon-web-services-korea
View
318
Download
1
Embed Size (px)
Citation preview
AWS 클라우드 렌더링을 위한 아키텍처및 사용 사례
박철수 |%솔루션즈 아키텍트
아마존 웹 서비스
목차
• 클라우드 렌더링 개요• AWS상에서의 렌더링 아키텍처• AWS상에서의 렌더링 사용 사례
클라우드 렌더링 개요
렌더링이란?
• 컴퓨터를 이용하여 생성된 시각 특수 효과를 말하며,영화, 텔레비전 및 광고 등에 점점 확대되어 적용
• 현재 비주얼 이펙트 및 애니메이션 분야 뿐만 아니라드라마나 PC, 모바일 및 콘솔 게임 등에서도 렌더링을사용해 생성된 영상을 포함
렌더링 워크플로우
실제 샷
텍스처 합성 빛/그림자 최종 렌더
텍스처 이미지 스크립트 렌더링된 프레임
또는
완전한창작 모델링
영화 한 편 ' “평균”• 110 분
• 6,600 초
• 158,400 프레임 (24 프레임/초)
• 8,847,360 픽셀/프레임 (4K영상기준)
• 10~100 시간/프레임
• 테스트 렌더링, 결과물 성공, 스테레오,
해상도 등에 따라 곱의로 가중
• > 1,584,000 렌더링 시간
영화 제작의 과제
13 12 11 10 9 8 7 6 5 4 3 2 1 0
렌더
링시
간
개봉 날짜까지 기간
온-프레미스 용량
클라우드에서의 렌더링
클라우드를 통해 빠르게 확장하고보다 빠르게 결과를 얻을 수 있는용량을 제공 받음
프로젝트 초기 온-보딩 작품
AWS에서 렌더링을 사용하는 고객
VFX 및 애니메이션1
3 마케팅
5 제조
방송2
4 테마파크
6 게임
7 생명 공학 8 공학 및 건축
대형 VFX%및 특수 애니메이션 스튜디오(전세계 15개)
중형 VFX%및 부티크 포스트(전세계 250개+)
소형 VFX,프로슈머및 개별 사
용자(전세계
10,000개+)
라이선스 볼륨
티어/1
티어/2
티어/3
매우 큰 렌더팜대부분 리눅스 사용1,000~10,000 노드
큰 렌더팜리눅스와 윈도우100~500 노드
소~중규모 렌더팜주로 윈도우, 경우에 따라 OSX4
10~500 노드
개인 렌더팜주로 윈도우최대 35 노드
렌더링 규모에 따른 스튜디오 분류
두 고객의 이야기티어 1 (대형 VFX/애니메이션 스튜디오) 티어 2 및 티어 3%(중형에서 소형)
온-프레미스 하드웨어 상당한 투자 없거나 매우 적은 투자
라이선스 무제한 제한적
프로젝트 구조 내부 고객 및 내부 프로젝트 다른 스튜디오에서 기반한 프로젝트
예산 제약 시간 및 리소스 시간 및 리소스
컴퓨트 요구 사항 매우 높은 확장 높은 확장
인프라 효율성 렌더링 워크로드에 최적화된 온-프레미스 인프라
없거나 매우 적음
클라우드 모델 대부분 하이브리드 대부분 올-인
보안 높은 자산 가치로 인해 필수 고객에 의해 위임
두 고객 모두 같은 것을 요청하고…수 천개의 코어를 온'디멘드로 스핀'업 할 수 있는 능력
어떤 선행 투자없이…4그리고 가장 최신의 구성 활용…
프로젝트 기반의 “일회성”%인프라유연한 라이선스 /4유틸리티 /4시간제…
두 고객 모두 같은 것을 말하며…
=<%$0.01코어/시간 당
필요할 때마다 수 천개의 코어접근
선행 투자 없는 인프라
보다 쉬운 협업
SW%제공업체의 생태계렌더링 하기 위해 대용량 메모리 구성 접근
프로젝트 기반 “일회성”4인프라
실전에 투입되었을 때… !
어디서나 접근 가능한공유 파일시스템 지연 시간 대용량 데이터 셋 많은 인스턴스
{데이터/콘텐트}
AWS 상에서의 렌더링 아키텍처
렌더링 구성 요소 – 워크플로우
공유 스토리지소스 및 레더링 파일
렌더팜
파이프라인 매니저
3D 제작자 / 그래픽 아티스트
렌더링 구성 요소 – 고려 사항
공유 스토리지
렌더팜
파이프라인 매니저
3D 제작자
소스 및 렌더링 파일
매우 낮은 지연시간높은 인터렉티브정확한 색 표현데스크톱 앱
GPU 요구원격 접속대부분 리눅스높은 사양의 CPU/메모리
렌더팜에 작업 분배고가용성 / 라이센싱
CPU/메모리 비율스토리지 접근비용 최적화라이센싱가상화
평균 렌더 시간전형적인 렌더 노드:8-16 물리 CORE8GB - 10GB RAM/CORE1 또는 2 전용 SSD1Gbps 네트워크
큰 소스/이미지 파일 (순차)소규모 / 수 백만개의 스크립트 파일 (랜덤)NFS/CIFS 인터페이스 요구분산 작업에서 데이터/콘텐트 이동스토리지 용량동시 스토리지 접근 (렌더/모델러)
렌더링 구성 요소 – 제품
공유 스토리지
렌더팜
파이프라인 매니저
3D 제작자
소스 및 렌더링 파일
클라우드 렌더링 아키텍처 (올'인)
공유 스토리지
렌더팜
온!프레미스 스토리지
파이프라인 및 라이선스매니저
3D$제작자
원격앱 가상화
AWS%Direct%Connect
모델링 더미 클라이언트
스토리지캐시
Amazon4S3
EC2 인스턴스에서 운영되는 Avere
확장성 있는 EC2%렌더팜
G2%인스턴스에서 운영되는 Appstream또는 Teradici
EC2 인스턴스에서 운영되는 파이프라인 매니저
G2
EC2%스팟
EFS
데이터적재작업자
EC2%스팟
Render$Farm
클라우드 렌더링 아키텍처 (하이브리드)
공유 스토리지
렌더팜
온!프레미스 스토리지AWS%Direct%Connect
스토리지캐시
Amazon4S3
EC2 인스턴스에서 운영되는 Avere
확장성 있는 EC2%렌더팜
EFS
데이터적재작업자
EC2%스팟
온!프레미스 렌더팜온!프레미스 렌더팜의 확장으로클라우드 렌더팜 활용
파이프라인 및 라이선스매니저(클라우드 렌더팜도관리)
AWS Direct Connect
• 온-프레미스에서 AWS로 전용 네트워크 연결• 네트워크 대역폭 및 처리량 보장
• 일관된 네트워크 경험 제공• 프라이빗 연결로 규제 충족 및 안정성 확보• 실시간 데이터 피드 및 하이브리드 환경에 최적
Amazon%Simple%Storage%Service%(S3)
• Amazon S3: 소스를 위한 진정한 단일 저장소–내구성, 비용 효율성 그리고 빠른 속도–확장성이 뛰어난 프론트-엔드
– 멀티-파트 업로드 (병렬 쓰기)– RANGE GET (병렬 읽기)– S3 전송 가속 기능
• 하이브리드 모델에서 온-프레미스 스토리지와Amazon S3를 함께 사용하자
Amazon%Elastic%File%System%
• 페타/바이트 확장을 지원하는 파일 시스템• 스토리지 용량에 따라 처리량은 선형적으로 확장• 각 가용영역에 걸쳐동일 지연 사양• 수천의 동시 NFS4연결• 큰 I/O4크기에 잘동작• 프로비저닝 크기가 아니라 실제 사용한 용량만 지불• 다중/복제 내구성를 가진 관리형 서비스
Amazon%EFS
어디서나 접근 가능한 공유 파일시스템
주기적으로 Amazon%S3%버킷에 저장
자동화된 배포 및 확장
인텔 Lustre FS%(AWS%마켓플레이스)
Lustre 스토리지 노드
Lustre 메타 데이터 노드
더 높은 성능을 추가하기 위해 수평 확장
더 많은 스토리지 공간을 추가하기 위해 수평
확장
렌더링/모델링 노드콘텐트가 포함된Amazon%S3%버킷
론치 시에 메타 데이터노드에 정보 제공
각 처리 노드상에의Lustre 클라이언트
AWS%CloudFormation콘텐트가 포함된 Amazon%S3%버킷
Avere vFXT (AWS%마켓플레이스)
Amazon%EC2%인스턴스
•EC2 스팟
매우 저렴한 가격으로 확장
스팟을 활용은 약간의 노력이 필요
• 상태없고,4분산처리하며,4확장성있는 애플리케이션 구축• 워크로드에 가장 적합한 인스턴스 유형 선택• 가용영역 및 리전에 대한 가격 피드 데이터 입수• 스팟풀 가격과 변동성을 기반으로 론치할 것인가에 대해서 실시간결정• 갑작스러운종료 관리• 가용영역을 걸처 스팟 가격 및 인스턴스 유형 모니터링 및 관리• 스팟에 대한 용량 공간 관리
스팟집합 (Spot%Fleet)
• 스팟 인스턴스를 관리할 수 있는 모든 코드를 작성하는 대신,4단순히지정:• 대상 용량 – 렌더팜 내에 원하는 EC24인스턴스 수• 최대 입찰 가격 –지불 할 수 있는 최대 입찰 가격• 론치 스팩 – 인스턴스 종류 수,4AMI4ID,4VPC,4서브넷,4가용영역 등• IAM%집합 역할 – IAM4역할(role)의 이름 (이 역할은 사용자 대신 EC24인
스턴스를 종료할 수 있도록권한이 포함하고 있어야 함)
3D%제작자 및 그래픽 아티스트
Amazon Workspaces
• VNC나 RDP를 능가하는 성능• 가장 저렴한 옵션 (월 가격) • 데이터 외부 전송 없음• 아주 쉬운 설정• 대체적으로 생산성 있는 도구
Amazon Appstream• VNC나 RDP를 능가하는 성능• GPU (G2) 인스턴스에서 구동• 듀얼 채널 – 16 비트 오디오• 자동 확장 및 권한 부여 서비스
Octane Cloud Workstation • AWS 마켓플레이스• 720p60
Teradici PCoIP• GPU 버전• PCoIP 소프트웨어 클라이언트 및 하드웨어 씬-클라이언트• 위의 모든 것보다 가장 원활한 사용자 경험 제공
*서울 리전 출시 전
클라우드 렌더링 아키텍처 (‘일회성’%인프라)
공유 스토리지
렌더팜
온!프레미스 스토리지
파이프라인 및 라이선스매니저
3D$제작자
원격앱 가상화
AWS%Direct%Connect
모델링 더미 클라이언트
스토리지캐시
Amazon%S3
EC2 인스턴스에서 운영되는 Avere
확장성 있는 EC2%렌더팜
G2%인스턴스에서 운영되는 Appstream또는 Teradici
EC2 인스턴스에서 운영되는 파이프라인 매니저
G2
EFS
데이터적재작업자
프로젝트 기반으로 생성및 제거
EC2%스팟
AWS%CloudFormation
특정 프로젝트를 위한 모든 인프라 자원과 함께 CloudFormation
스택론치
적절하게 스택을 자동 확장
AMI
CloudFormation템플릿
CloudFormation템플릿 종료
‘일회성�인프라 관리
AWS 상에서의 렌더링 사례
Rendering%in%the%Cloud
State%of%the%Union
• AWS4클라우드 규모는 “대용량”임• 클라우드에서 온/디멘드 10/100/1,000/10,0004코어 확장• “대용량”4렌더팜 (실제 예):4
55,000%cores• re:Invent 2015에서:4
EC2%스팟 마켓을 통해~40,000%cores%
매우 저렴한 가격으로 확장
State%of%the%Union
• 데이터와 콘텐트를 위한 진정한 단일 소스 저장소 S3• AWS 마켓플레이스나 SaaS
• Aspera, Signiant, File Catalyst, Expedatition• S3 멀티-파트 업로드• AWS import/export Snowball
• 공유 파일 시스템에 직접 접근• EFS 처리량은 선형적으로 확장• Lustre는 S3 버킷으로부터 데이터 공급 받을 수 있음• Avere는 S3나 온-프레미스 NAS 앞단에 배치 가능
• + Direct Connect
렌더팜에 데이터 공급
EFSS3Multipart
AWS%Snowball
State%of%the%Union
글러벌 렌더링• NVIDIA GPU 기반의 EC2 인스턴스• Nice DCV • Teradici PCoIP• Frame, Otoy• 윈도우와 리눅스 (VNC+VirtualGL)
3D 제작자
모델링 더미 클라이언트
G2인스턴스에서 운영되는원격 애플리케이션
G2그래픽 아티스트를 클라우드로 이동
Walt%Disney%애니메이션 스튜디오
• 대용량 확장 테스트 : • 배포 ~40K cores • 시간 20 분• 활용 스팟 집합• 온-프레미스 데이터를 사용한 하이브리드 렌더링 환경(Avere vFXT)• EFS
• 온-프레미스 환경 보다 빠름
Walt%Disney%렌더팜
렌더팜Avere FXT 클러스터
WDAS 데이터 센터
렌더팜
Avere FXT 클러스터
스토리지
원격 데이터 센터
렌더팜Avere FXT 클러스터
원격 데이터 센터
아티스트
이중화 10Gb
온"프레미스
샌프란시스코
로스앤젤레스
버뱅크
Walt%Disney%렌더팜
가상 사설 클라우드
Avere vFXT
오레곤
스팟 인스턴스EFS
렌더팜Avere FXT 클러스터
WDAS 데이터 센터
렌더팜
Avere FXT 클러스터
스토리지
원격 데이터 센터
렌더팜Avere FXT 클러스터
원격 데이터 센터
샌프란시스코
로스앤젤레스
버뱅크
아티스트
이중화 10Gb
클라우드
• ‘인사이드 아웃’, ‘굿 다이노’ 및
‘도리를 찾아서’ 등에서 활용
• 노드당 내부 비용면에서 스팟 인
스턴스 가격 경쟁력
• 캘리포니아 리전(us-west-1)에 있
는 r3.4xlarge의 5,000 core 이용
Pixar & AWS
국내 AWS 렌더팜 PoC 사례(‘일회성’ 인프라)
CloudFormation (‘일회성’ 인프라)
JSON 형태 파일
파라미터 정의
리소스 생성
액션 구성
프레임워크
스택 생성
스택 갱신
에러 감지 및 롤백
구성된 AWS 리소스
종합적인 서비스 지원
서비스 이벤트 인식
사용자 정의
템플릿 CloudFormation 스택
소프트웨어 구성 요소
공유 스토리지 및 리포지토리
파이프라인 매니저(RMS)
렌더팜 컴퓨팅 자원
• Thinkbox Deadline7 리포지토리
• 윈도우 공유 폴더• MS 윈도우 서버
2008 R2
• Thinkbox Deadline7 클라이언트
• MS 윈도우 서버2008 R2
• Chaos Group V-Ray• Adobe Maya 2016• Thinkbox Deadline7
클라이언트• MS 윈도우 서버
2008 R2
EC2인스턴스
EC2인스턴스
EC2인스턴스
Why AWS 렌더링?
•탄력적으로 컴퓨팅 ’코어’%확장•낮은 비용•일회성 인프라•파트너 생태계
감사합니다