AI로 영상을 만들어 보면 짧은 문장 하나만 입력해도 영상이 만들어지는 것이 신기하게 느껴집니다. 그런데 막상 결과를 보면 사람의 손이나 얼굴이 이상하게 나오거나, 물건의 모양이 장면마다 달라지는 경우가 있습니다. 영상 생성 AI가 부족해서만 생기는 문제는 아닙니다. AI가 영상을 만드는 방식을 알면 이런 현상이 생기는 이유도 조금 쉽게 이해할 수 있습니다.
AI는 문장을 읽고 실제 촬영하는 것이 아닙니다
영상 생성 AI는 사용자가 입력한 문장이나 이미지를 바탕으로 새로운 영상을 만들어냅니다.
예를 들어 "공원에서 강아지가 천천히 달리는 장면"이라고 입력하면 AI는 강아지, 공원, 달리는 움직임이라는 정보를 바탕으로 영상의 여러 장면을 만들어냅니다.
사람이 카메라를 들고 실제 강아지를 촬영하는 것과는 방식이 다릅니다.
사람이 촬영할 때는 눈앞에 있는 하나의 강아지를 계속 찍기 때문에 강아지의 얼굴이나 몸의 형태가 갑자기 바뀌지 않습니다. 반면 영상 생성 AI는 입력된 내용을 바탕으로 장면을 만들어내기 때문에 영상의 모든 순간을 실제 물체처럼 그대로 유지하지 못할 수 있습니다.
특히 영상은 사진 한 장과 다릅니다.
한 장의 이미지를 만드는 것이라면 한 화면 안에서 물체의 모양을 자연스럽게 만드는 데 집중하면 됩니다. 하지만 영상은 시간이 지나면서 화면이 계속 바뀝니다. 앞 장면에 있던 사람이 다음 장면에서도 같은 사람처럼 보여야 하고, 손이나 옷의 모양도 움직임에 맞게 이어져야 합니다.
이 과정이 생각보다 어렵습니다.
그래서 영상 중간에 사람의 얼굴이 조금 달라지거나 손가락의 모양이 이상해지고, 들고 있던 물건의 형태가 바뀌는 현상이 나타날 수 있습니다.
영상 생성 AI가 아무렇게나 영상을 만드는 것은 아닙니다. 입력된 텍스트나 이미지의 정보를 바탕으로 결과를 만들어내지만, 아직 실제 세계의 물체를 사람처럼 완벽하게 이해하고 움직임까지 그대로 재현하는 것은 아닙니다.
사람이나 물건이 장면마다 달라지는 이유
AI 영상에서 가장 눈에 띄는 문제 중 하나는 같은 대상이 장면마다 달라지는 것입니다.
예를 들어 빨간 가방을 들고 걷는 사람을 영상으로 만들었다고 해보겠습니다.
첫 장면에서는 가방이 빨간색이고 어깨에 걸려 있는데 다음 장면에서는 가방의 모양이 달라지거나 위치가 바뀔 수 있습니다.
사람도 마찬가지입니다.
긴 머리를 가진 사람이 걷는 장면을 만들었는데 중간에 머리 길이가 달라지거나 옷의 형태가 바뀌는 경우가 있습니다.
이런 문제는 영상이 여러 장면으로 이어지는 과정에서 같은 대상을 계속 유지해야 하기 때문에 생깁니다.
사람이 영상을 편집할 때는 같은 사람이 찍힌 여러 장면을 선택해서 이어 붙일 수 있습니다. 하지만 생성 AI는 입력된 조건에 맞춰 새로운 화면을 만들어내기 때문에 장면이 바뀌어도 대상의 모든 특징이 똑같이 유지된다고 보장할 수 없습니다.
특히 다음과 같은 조건에서는 문제가 더 눈에 띌 수 있습니다.
사람이 여러 명 등장하는 장면
손으로 작은 물건을 잡거나 사용하는 장면
빠르게 움직이는 장면
거울이나 유리처럼 반사가 있는 장면
배경과 인물이 복잡하게 섞여 있는 장면
화면에 글자가 많이 들어가는 장면
이런 장면은 영상 안에서 계속 변하는 요소가 많기 때문에 AI가 일관된 결과를 만들기 더 어려울 수 있습니다.
글자가 이상하게 만들어지는 것도 비슷한 이유로 볼 수 있습니다.
AI 영상 안에 간판이나 책 표지처럼 글자가 들어가도록 요청하면 글자의 모양이 흐트러지거나 존재하지 않는 글자가 만들어지는 경우가 있습니다. 글자는 단순한 그림과 달리 정확한 순서와 모양을 유지해야 하기 때문입니다.
그래서 영상 안에 정확한 문구가 꼭 필요하다면 AI가 글자까지 만들어주기를 기대하기보다 영상을 만든 후 편집 프로그램에서 직접 글자를 넣는 방법이 더 안정적일 수 있습니다.
원하는 장면에 가까운 영상을 만들려면 조건을 단순하게 정리해보세요
AI 영상 결과가 마음에 들지 않을 때 무조건 더 긴 문장을 입력한다고 좋은 결과가 나오는 것은 아닙니다.
오히려 핵심 장면을 분명하게 전달하는 것이 중요합니다.
예를 들어 "예쁜 카페에서 분위기 있게 커피를 마시는 젊은 여성이 있는 감성적이고 아름다운 영상"처럼 추상적인 표현을 많이 넣는 것보다 어떤 장소에서 누가 무엇을 하고 있는지 구체적으로 적는 편이 이해하기 쉽습니다.
"창가가 있는 밝은 카페에서 여성이 테이블 위의 커피잔을 천천히 들어 마신다. 카메라는 사람의 상반신을 정면에서 촬영하고 천천히 가까워진다."
이처럼 장면, 인물의 행동, 카메라 움직임을 나누어 설명하면 원하는 영상의 방향을 정하기가 조금 더 쉬워집니다.
처음부터 너무 많은 움직임을 넣지 않는 것도 방법입니다.
사람이 뛰면서 손을 흔들고 뒤에서는 자동차가 지나가고 비가 내리는 장면처럼 움직이는 요소가 많아지면 결과를 확인해야 할 부분도 많아집니다.
처음에는 비교적 단순한 장면을 만들어 보고 필요한 움직임을 하나씩 추가하는 편이 결과를 확인하기 쉽습니다.
이미지를 먼저 준비할 수 있는 AI 영상 도구라면 원하는 인물이나 제품의 기준 이미지를 사용하는 방법도 있습니다. 텍스트만 입력하는 것보다 시작점을 명확하게 정할 수 있기 때문입니다.
다만 기준 이미지를 사용한다고 해서 영상 전체에서 대상이 완벽하게 똑같이 유지되는 것은 아닙니다. 영상의 길이나 움직임, 사용하는 모델과 설정에 따라 결과가 달라질 수 있습니다.
무엇보다 중요한 것은 AI가 만들어준 첫 번째 결과를 완성본이라고 생각하지 않는 것입니다.
영상 생성에서는 같은 조건으로 여러 결과를 만들어 보고 그중에서 괜찮은 장면을 선택하거나, 문제가 있는 부분의 조건을 바꿔 다시 생성하는 방식이 흔히 사용됩니다.
결과를 확인할 때는 영상 전체를 한 번 보는 것뿐만 아니라 사람의 얼굴과 손, 물건의 형태, 장면이 바뀌는 부분, 화면 속 글자를 따로 살펴보는 것이 좋습니다.
AI 영상은 짧은 시간 안에 새로운 장면을 만들어낼 수 있다는 장점이 있습니다. 하지만 실제 촬영처럼 하나의 공간과 대상을 그대로 기록하는 방식은 아닙니다.
그래서 AI로 영상을 만들 때는 "한 번 입력하면 완벽한 영상이 나온다"고 기대하기보다 원하는 장면을 구체적으로 설명하고, 결과를 확인하면서 조금씩 수정하는 과정이 필요합니다.
특히 사람의 손이나 얼굴, 작은 물건, 글자처럼 세부적인 부분은 완성된 영상을 사용하기 전에 한 번 더 확인하는 것이 좋습니다.
AI 영상은 촬영을 완전히 대신하는 도구라기보다, 머릿속으로 생각한 장면을 빠르게 시각화하고 여러 가지 결과를 만들어볼 수 있는 도구라고 생각하면 활용하기 편합니다.