AI로 영상 만들 때, 처음 욕심은 AI 영상 생성 모델(Kling, Seedance, Veo 등)을 이용하여 만들려고 했습니다.
그런데 생각보다 프롬프트나 원하는 연출을 구성하기가 어렵더라고요. 만약 내가 정말로 시네마틱 영상물 혹은 여러 인물들의 다이나믹한 연출이 필요한게 아니라면 오히려 비용적인 부분이나 시간 대비 결과물이 아쉬운 경우가 많았습니다.
Images + Vrew
그래서 욕심을 조금 줄여서 AI영상 자체를 만들기 보다 AI로 이미지와 TTS를 만들고 합치는게 저의 원하는 생성물에 훨씬 가까웠습니다. 초기에는 OpenAI Platform에서 이미지를 프롬프트마다 생성하고, Vrew로 이미지 마다 대본에 대한 TTS 및 화면 전환을 구성했습니다. 그러니 훨씬 생산물의 퀄리티가 좋아졌습니다. 물론 이미지의 인물이 움직이거나 하는 연출은 없었지만 이미지의 무빙이나 전환 효과만으로도 이미지를 보는 지루함은 줄어들었습니다.
AI 자동화 파이프라인 구성
그런데 막상 한 번 생성물을 만들고나니 한땀한땀 손으로 생성하고 수정하는 수고로움이 많았습니다. 그래서 이것도 자동화해보자 하고 아예 AI에게 맞기는 방향으로 파이프라인을 다시 구성했습니다.
일단 Hermes Agent를 사용해서 파이프라인과 스킬을 구성했습니다. 그리고 OpenAI Platform에서 API를 사용하는 대신 원래 사용하는 chatGPT 구독을 사용해서 codex로 Provider를 설정했습니다. 그리고 TTS는 클로바더빙, 일레븐랩스, 타입캐스트를 고민했는데 API로 쉽게 사용할 수 있는 타입캐스트를 우선 선정했습니다. 월 무료 사용량도 나쁘지 않았고요. 마지막으로 영상을 만드는 도구는 Remotion을 사용했는데 만약 나중에 OpenDesign과의 연계를 생각하면 HyperFrames도 나쁘지 않을 것 같습니다.
영상물의 전개를 주면 AI가 아래의 순서대로 영상이 만들어 갑니다.
- 전개 내용을 바탕으로 대본을 생성한다.
- 대본에 따라 등장인물에 대한 캐릭터 시트를 생성한다.(이 부분은 사람의 검토가 필요하다)
- 대본과 등장인물 캐릭터 시트를 참고하여 각 장면을 생성한다.(이 부분은 사람의 검토이 필요하다)
- 대본을 참고하여 타입캐스트로 TTS를 생성한다.
- Remotion으로 대본대로 각 장면과 TTS를 조합하고 각 장면마다 이미지 무빙이나 장면 전환을 적용한다.
- Remotion으로 렌더링한다.
Hermes Agent가 이 파이프라인으로 스킬을 자체적으로 구성하고 특히 중간중간 대화하면서 요청한 내용들을 바탕으로 스킬을 개선해 가기 때문에 반복할수록 결과물의 일관성이 좋아졌습니다.
이후로 Threads나 다양한 스킬과 프롬프트를 참고해 보니 점차적으로 개선할 여지가 많이 보입니다. 차츰 개선되면 개선한 후기도 한번 올려보도록 하겠습니다.