Generally AI – 시즌 2, 에피소드 1: 생성형 AI와 창의성
- Aisha Washington
- 3시간 전
- 6분 분량
Generally AI의 두 번째 시즌은 이제 연구실을 훨씬 넘어선 질문으로 시작한다. 소프트웨어가 거의 즉시 책, 노래, 샘플, 에세이, 이미지를 만들어 낼 수 있게 되면 창의성에는 어떤 일이 일어날까? 진행자들은 실용적인 실험, 기술적 평가 방법, 그리고 이미 온라인에서 관심을 놓고 경쟁하는 합성 미디어 사례를 통해 이 주제에 접근한다.
그들의 대화는 동시에 펼쳐지는 두 가지 서로 다른 이야기를 드러낸다. 생성형 AI는 시장을 일회성 소재로 넘쳐나게 할 수 있지만, 예술가들에게는 이례적으로 유연한 원재료의 원천을 제공할 수도 있다. 이 차이를 이해하려면 기계가 그럴듯한 무언가를 생성할 수 있는지만 볼 것이 아니라, 그 결과물이 유용한지, 제어 가능한지, 독창적인지, 그리고 인간 관객의 시간을 들일 가치가 있는지를 물어야 한다.
AI 생성 도서와 풍요의 경제학
에피소드는 온라인에서 판매되는 도서에 관한 네덜란드 조사로 시작한다. 조사된 약 323,000개의 제목 가운데 약 2%가 AI로 생성된 것으로 보였다. 추정 비율은 급격히 상승했다. ChatGPT가 등장하기 전 약 0.1%에서 2024년 4월에는 4.2%로 늘었다.
이 수치는 원고를 만드는 데 더 이상 수개월의 작업이 필요하지 않을 때 출판이 얼마나 빠르게 변하는지를 보여 준다. 진행자들은 Amazon이 저자 한 명당 하루 세 권으로 정한 출간 제한을 언급한다. 이 제한은 산업 규모의 업로드를 억제할 수 있지만, 일반적인 글쓰기 기준으로는 여전히 엄청난 생산 속도다.
품질 역시 또 다른 우려다. AI 도서로 의심받는 책들 중 다수는 별점 두 개 이하를 받았다. 특히 많은 것을 보여 주는 한 실수에서는, 한 고객이 의도된 본문 대신 AI 지시문이 들어 있는 책을 받았다고 전해진다. 이는 누군가 최종 텍스트조차 검토하지 않고 자료를 출판했다는 증거다.
문제는 단지 평범한 책이 늘어난다는 데 있지 않다. 값싼 합성 제목들은 검색 결과를 어지럽히고 신뢰할 만한 작업을 찾기 어렵게 만들 수 있다. 에피소드 후반부에서 진행자들은 네덜란드 서점 사이트에서 오펜하이머 전기를 검색했을 때, 영화와 관련된 호평받은 전기인 American Prometheus가 눈에 띄게 표시되는 대신 AI가 만든 대안을 마주했다고 설명한다. 그들은 건강, 자기계발, 경영, 개인 발전이 AI 생성 출판물을 끌어들이는 범주에 포함된다는 점을 특히 우려한다. 이런 분야의 오류는 영감 없는 소설보다 더 큰 해를 끼칠 수 있다.
참신한 노래에서 끝없이 이어지는 합성 음악의 흐름으로
AI 음악은 팟캐스트 첫 시즌 이후 상당히 발전했다. 진행자들은 Suno를 논의하며, 거의 모든 프롬프트를 바탕으로 귀에 쏙 들어오고 세련된 노래를 생성한다는 아이디어를 가지고 놀아 본다. 고양이를 주제로 한 트랙은 이 기술의 즉각적인 매력을 보여 준다. 경쾌하고 기억에 남으며, 어떻게 조립되었는지 몰라도 쉽게 즐길 수 있다.
이러한 접근성은 극단적인 생산량도 가능하게 한다. 에피소드는 한 제작자가 하루 만에 Spotify에 고양이 테마 앨범 여러 장을 발매한 사례를 언급한다. 이런 관행이 일반화된다면 스트리밍 서비스 역시 결국 도서 플랫폼이 도입한 것과 비슷한 업로드 제한을 필요로 할 수 있다.
한 진행자는 생성된 노래를 일반적인 스트리밍 음악의 대체재로 다루는 실험을 한다. 처음에는 재미있지만, 끊임없는 팝 감각은 곧 피로하게 느껴진다. 이는 초기의 놀라움이 가리는 한계를 가리킨다. 음악은 능숙하게 들릴 수 있어도 폭, 절제, 오래 지속되는 예술적 정체성이 부족할 수 있다.
이 구분은 중요하다. 기분 좋은 노래를 만들어 낼 수 있는 생성기가 사람들이 다시 찾을 작품 세계를 만드는 것은 아니다. 참신함은 한 번 관심을 얻지만, 의미 있는 변화와 예술적 의도는 그 관심을 지속시킨다.
AI는 완성품이 아니라 창작 재료로서 가장 잘 작동한다
에피소드는 자동적인 노래 제작에서 뮤지션이 능동적으로 조작할 수 있는 도구로 관심을 옮기며 더 낙관적으로 변한다. 진행자들은 AI가 생성한 음악 요소를 라이브 루프와 연주에 섞은 Google 시연을 논의한다. 여기서 기계는 자율적인 작곡가라기보다 확장 가능한 악기로 기능한다.
이 협업 모델은 더 강력한 창작 가능성을 제안한다. 뮤지션은 낯선 질감을 생성하고, 그중 일부를 분리하고, 리듬을 바꾸고, 기존 루프와 결합한 뒤, 원래 시스템이 예상할 수 없었던 무언가로 변형할 수 있다. 인간은 선택, 구조, 취향, 방향에 대한 책임을 계속 맡는다.
AI 샘플 생성기는 이 워크플로를 ملم확하게 만든다. 에피소드에서 논의된 한 서비스는 펑키한 멜로디, 피아노 프레이즈, 특정한 현악 질감 같은 설명을 바탕으로 짧은 오디오 클립을 만든다. 이렇게 만들어진 2~4초 길이의 사운드는 샘플러에 불러와 비트로 재배열할 수 있다.
진행자들은 이 과정을 무한히 많은 레코드 상자를 뒤지는 일에 비유한다. 하지만 전통적인 크레이트 디깅과 달리, 소스 자료는 발견하는 것이 아니라 요청할 수 있다. Teenage Engineering PO-33 샘플러는 완벽하지 않은 생성 클립이 어떻게 더 큰 작곡의 재료가 될 수 있는지를 직접적으로 보여 준다.
이는 AI 보조 창의성에 대한 더 생산적인 정의다. 완성된 결과물을 위해 버튼을 누르는 것이 아니라, 인간의 판단에 활용할 수 있는 재료의 공간을 넓히기 위해 생성을 사용하는 것이다.
오디오 생성이 여전히 정밀한 지시를 거부하는 이유
샘플 실험은 기술의 약점도 드러낸다. 결과물은 일관되지 않으며, 사용할 수 있는 사운드를 만들기 위해서는 여러 번 시도해야 할 수 있다. 클립은 너무 일찍 시작될 수 있고, 어색한 빌드업을 동반할 수 있으며, 요청한 것보다 더 많은 움직임을 담을 수 있다.
진행자들은 하나의 깨끗한 소리를 요청하는 어려움을 설명한다. 예를 들어 오리 울음소리 한 번을 위한 프롬프트는 여러 번의 꽥꽥거림이나 시끄러운 연속음을 만들어 낼 수 있다. 모델은 침묵의 음악적 가치를 존중하기보다, 주어진 길이를 채우려는 듯 보인다.
일부 아티팩트는 모델의 출력을 오디오 파형으로 변환하는 과정에서 발생할 수 있다. 토큰 기반 생성과 디코딩은 잡음을 유입하거나 충실도를 낮출 수 있다. 그러나 더 큰 장애물은 상호작용이다. 인간 협업자는 “베이스를 더 어둡게 해 줘”, “그 음을 더 길게 유지해 줘”, “타격음 전에 여백을 더 남겨 줘” 같은 요청을 이해할 수 있다. 현재 도구들은 이러한 반복적이고 음악적으로 이해력 있는 피드백을 일관되게 지원하지 못한다.
진행자들은 드럼이나 현악기로 베이스 라인을 반주할 수 있는 시스템, 어쩌면 이펙트 페달 안에 들어갈 수 있는 시스템을 상상한다. 이러한 도구는 뮤지션이 고립된 텍스트 프롬프트를 반복해서 제출하는 대신 반응하는 기계와 즉흥 연주할 수 있게 해 줄 것이다. 에피소드는 이 실시간 파트너십이 신뢰할 수 있는 제품이라기보다 여전히 열망에 더 가깝다고 시사한다.
텍스트-투-샘플 도구와 저작권 문제
에피소드에서 논의된 또 다른 텍스트-투-샘플 애플리케이션은 독립 실행형 프로그램이나 플러그인으로 작동할 수 있으며, 생성된 클립을 가상 악기와 드럼 키트로 드래그할 수 있게 한다. 로컬에서 실행되는 버전은 음악 생성 모델을 MacBook에 다운로드하며, 허용적인 라이선스의 모델이 여러 다양한 제작 도구 안의 구성 요소가 될 수 있음을 보여 준다.
생성된 샘플은 기존 노래에서 녹음을 추출하는 일의 대안이 될 수도 있다. 전통적인 샘플링은 복잡한 권리 정산을 요구할 수 있으며, 특히 빌려온 조각에 크게 의존하는 뮤지션에게 그렇다. Beastie Boys의 Paul’s Boutique 같은 앨범은 샘플링이 얼마나 창의적으로 강력할 수 있는지를 보여 주는 동시에, 라이선스 환경이 매우 달랐던 시대를 떠올리게 한다.
합성 샘플이 모든 법적 또는 윤리적 문제를 자동으로 없애 주는 것은 아니다. 그럼에도 새로운 소스 오디오를 생성하면 알아볼 수 있는 저작권 보호 녹음에 대한 의존을 줄이고, 샘플 기반 예술가들에게 재구성할 더 많은 재료를 제공할 수 있다.
정답이 하나가 아닌 창의성 측정하기
이 에피소드의 두 번째 주요 주제는 평가입니다. 전통적인 분류기는 알려진 레이블을 기준으로 시험할 수 있고, 회귀 모델은 예상되는 수치와 비교할 수 있습니다. 그러나 창의적인 생성에는 이처럼 명확한 목표가 거의 없습니다. 주어진 프롬프트에 대해 보편적으로 정답인 노래, 에세이 또는 이미지는 존재하지 않습니다.
언어 모델 학습은 여전히 측정 가능한 신호를 제공합니다. 다음 토큰 예측은 손실값을 생성하며, 스케일링 법칙은 예상 성능을 모델 크기, 학습 데이터 및 연산량과 연관 짓습니다. 하지만 낮은 손실값은 어디까지나 대리 지표일 뿐입니다. 사용자가 궁극적으로 중요하게 여기는 것은 모델이 질문에 답하고, 지시를 따르며, 정확하게 요약하거나, 가치 있는 무언가를 만들어 내는지입니다.
MMLU와 같은 벤치마크는 확인 가능한 답이 있는 질문을 통해 지식을 시험하며, 공개 리더보드는 여러 작업에 걸쳐 모델을 비교합니다. 이러한 방법은 성공 여부를 객관적으로 점수화할 수 있을 때 가장 잘 작동합니다. 개방형 글쓰기에는 그만큼 결정적이지 않습니다.
텍스트 지표는 부분적인 해결책을 제공합니다. BLEU와 ROUGE는 겹치는 단어나 단어열을 통해 생성된 텍스트와 참조 텍스트를 비교하며, 정밀도와 재현율의 서로 다른 측면을 강조합니다. 반면 BERT 기반 평가는 의미론적 표현을 비교하므로, 서로 다른 언어로 표현된 유사한 의미를 인식할 수 있습니다. 그럼에도 참조 텍스트와의 유사성이 반드시 품질이나 창의성을 뜻하지는 않습니다.
이미지 생성도 같은 딜레마에 직면합니다. 프레셰 인셉션 거리(Fréchet Inception Distance)는 생성 이미지와 참조 이미지 집합의 통계적 표현을 비교합니다. CLIP 기반 평가는 이미지가 프롬프트와 부합하는지를 추정합니다. 둘 다 유용하지만, 어느 쪽도 시각적 일관성, 독창성 또는 인간의 선호를 완전히 포착하지는 못합니다. 심사자로 사용되는 모델 역시 자체적인 약점을 물려받습니다. 예를 들어 객체 수를 정확히 세는 데 어려움을 겪을 수 있습니다.
인간의 선호, 모델 순위, 그리고 RLHF
객관적 평가가 한계에 이르면 진행자들은 다시 인간의 판단으로 돌아갑니다. 사람들은 두 결과물을 나란히 비교하고 더 나은 것을 선택할 수 있습니다. 이는 에피소드에서 말하는 “검안사” 접근법입니다. 절대적인 품질 점수가 존재하지 않더라도, 반복 비교를 통해 Elo 방식의 순위를 만들 수 있습니다.
같은 원리는 인간 피드백을 통한 강화 학습도 뒷받침합니다. 평가자들은 하나의 프롬프트에 대한 여러 응답의 순위를 매기고, 이를 통해 언어 모델을 더 도움이 되고 사용자 의도에 더 잘 부합하도록 만드는 데 사용할 수 있는 선호 데이터가 만들어집니다.
연구자들은 한 모델이 다른 모델을 평가하게 하여 인간 검토 비용을 줄일 수도 있습니다. 그러나 이는 순환적인 문제를 낳습니다. 기계 심사자는 편향을 재현하거나, 오류를 간과하거나, 시험 대상 모델과 동일한 피상적 특성에 보상을 줄 수 있습니다. 자동화된 평가는 감독을 확장할 수 있지만, 인간의 기준이 불필요해지는 것은 아닙니다.
진행자들의 실용적인 결론은 AI가 사람들이 의도한 일을 이루도록 도울 때 성공한다는 것입니다. 따라서 창의적 시스템의 최종 시험은 단지 기술적으로 그럴듯한지가 아닙니다. 사람들이 그 결과를 가치 있다고 여기는지입니다.
생성형 AI를 위한 영리한 한스의 경고
동물 지능에 관한 마무리 논의는 적절한 경고를 제공합니다. 한때 산술을 할 수 있다고 여겨졌던 말 영리한 한스는, 결국 주변 사람들의 미묘한 신호에 반응하고 있었음이 밝혀졌습니다. 관찰자들은 다른 메커니즘으로 만들어진 행동에 고도의 추론 능력을 부여했습니다.
생성형 AI도 비슷한 해석상의 위험을 불러옵니다. 유창한 언어 또는 매력적인 미디어는 사람들이 시스템에 의도와 이해를 투사하게 만들 수 있습니다. 때로 가장 창의적인 행위는 모호한 결과물에 의미를 부여하는 인간 관찰자에게서 일어납니다.
그렇다고 이 기술이 쓸모없다는 뜻은 아닙니다. 이는 그 가치가 어디에 있는지를 분명히 합니다. 생성형 시스템은 놀라운 양의 자료를 만들어 낼 수 있지만, 어떤 조각이 주목받을 가치가 있는지, 어떻게 발전시켜야 하는지, 그리고 궁극적으로 무엇을 의미하는지는 여전히 사람이 결정합니다. 이 에피소드가 보여주듯, 풍부함은 쉽지만 판단은 여전히 희소한 창의적 자원입니다.
