Supertone предвидит изменения, новые возможности в музыкальном бизнесе со звуками от ИИ
Генеральный директор Supertone Ли Кё Гу (справа) и главный операционный директор Чхве Хи Ду позируют для фото в коворкинге в Pangyo 2nd Techno Valley в провинции Кёнги, 29 марта (фото Пак Хён Ку / The Korea Herald)
В феврале Hybe, новое название лейбла мегахитной K-pop группы BTS - Big Hit Entertainment - инвестировал 4 миллиарда вон (3,6 миллиона долларов) в звуковую компанию Supertone, занимающуюся искусственным интеллектом. Инвестиции, которые стали одним из первых важных шагов, предпринятых компанией K-pop с момента публичного размещения ее акций в октябре 2020 года, пролили свет на новые возможности, которые открыл ИИ.
Технология Supertone предназначена для создания гиперреалистичного голоса, способного петь. Проще говоря, система Supertone клонирует и синтезирует звуки. Их система может выучить голос человека - причем они делают это быстрее, чем любая другая существующая система – и, более того, синтезировать то, чему она научилась, для создания совершенно нового звука, который почти неотличим от реальных голосов.
В последнее время стартап с искусственным интеллектом кардинально изменил правила игры в индустрии развлечений, особенно со вспышкой COVID-19. Когда в прошлом году их новаторская технология была обнародована, компании со всего мира бросились вести переговоры о партнерстве, и Hybe был среди них.
«Оффлайн музыкальный бизнес столкнулся с большой проблемой из-за COVID-19, и все концерты и живые выступления были перенесены в онлайн. Но в этом процессе люди осознали, что в онлайн-среде разрыв между «реальным» и «почти реальным» почти несущественен, открывая новые возможности для бизнеса », - сказал соучредитель Supertone и главный операционный директор Чхве Хи Ду в интервью Korea Herald в конце марта.
Интервью, на котором также присутствовал генеральный директор Supertone Ли Кё Гу, состоялось в Pangyo 2nd Techno Valley, государственном стартап-комплексе в Пангё, провинция Кёнги, где базируется Supertone.
Голос искусственного интеллекта передает эмоции
Технология синтеза голоса может быть не чем-то новым, поскольку голос ИИ становится центром нового бизнеса в индустрии развлечений.
В прошлом году компания K-pop S.M. Entertainment объединились с SK Telecom для запуска динамиков с искусственным интеллектом, на которых звучат голоса участников K-pop групп Red Velvet и NCT. В феврале игровая компания NCSoft запустила услугу виртуальных звонков на платформе своего фан-сообщества Universe, с помощью которой фанаты могут общаться с голосами искусственного интеллекта своих любимых кумиров.
Но Supertone поднял это на другой уровень. Чхве подчеркнул, что ключевым моментом в технологии синтеза певческого голоса Supertone является иллюстрация эмоций. По словам Чхве, они преодолели предел «зловещей долины», что означает падение положительных эмоций при виде объекта или робота, чья похожесть на людей превышает определенный уровень.
Музыкальная актриса Ок Джу Хен поет вместе с системой искусственного интеллекта Supertone, которая может воспроизводить голос покойного певца Ким Кван Сока в «Соревновании века: ИИ против человека» (SBS)
В феврале компания также попала в заголовки газет за то, что вернула голос покойного южнокорейского певца Ким Кван Сока во время телепрограммы. Во время шоу программная система Supertone также обучился голосу актрисы мюзиклов Ок Джу Хён на месте и воспроизвела ее голос, не копируя, а напевая самостоятельно с имитацией голоса.
Новые возможности в виртуальных развлечениях
В индустрии K-pop наблюдается всплеск инноваций в сфере иммерсивного опыта фанатов, особенно с тех пор, как началась пандемия. S.M. и JYP быстро объединились для запуска серии виртуальных концертов «Beyond Live» через потоковую платформу Naver V Live, в то время как Hybe в прошлом году яростно расширил свое мобильное фан-сообщество Weverse. Ранее в этом году Hybe интегрировал V Live в Weverse, положив начало «зонтичному сообществу» фанатов K-pop. Встречи фанатов также были перенесены в онлайн, что побудило платформу аватаров Naver Zepeto выиграть инвестиции от Hybe и YG Entertainment.
«Барьеры, существовавшие в традиционной индустрии развлечений, быстро разрушаются. Компании, которые раньше предоставляли только платформы, создают собственный контент, вступая в конкуренцию. Поэтому насколько реалистично и плавно такой контент может быть реализован с помощью визуальных и аудиотехнологий в виртуальной среде, сейчас как никогда важно», - сказал Чхве.
«Одна из возможностей - индивидуальные концерты для фанатов. В то время как трехмерный звук и динамические экраны - это несколько технологий, которые в настоящее время используются для виртуальных прямых трансляций концертов, наша технология позволит создавать более персонализированный контент через мобильную платформу, - сказал соучредитель и генеральный директор Supertone Ли Кё Гу.
Например, эта технология позволит аудитории слышать, как артист выкрикивает их имена во время виртуальных концертов, возможно, напевая для них «С Днем Рождения», в то время как зарубежные фанаты смогут слушать точную песню K-pop голосом оригинального исполнителя, но на их языке.
Технология Supertone также соответствует новой тенденции «цифровых артистов», которые существуют только в виртуальном пространстве. Развлекательные и игровые компании, включая основных партнеров Supertone, представили таких виртуальных исполнителей, в том числе виртуальных аидолов K/DA (Riot Games) и Aespa (S.M. Entertainment) – женская группа, состоящая из реальных и виртуальных участников.
aespa (S.M. Entertainment)
«Несмотря на то, что сейчас за этими персонажами поют настоящие певцы, с помощью нашей системы мы можем создать совершенно новый голос, который соответствует внешнему виду этих виртуальных персонажей, путем смешивания голосов нескольких артистов», - пояснил Ли.
Более того, ожидается, что голоса ИИ не только расширят возможности, но и избавят компании и артистов от рисков, которым они подвергаются. В связи с постоянно растущей популярностью исполнителей K-pop, риск неожиданных происшествий для них огромен. Синтезированный голос, хотя он не сможет стать полной заменой, может быть эффективным решением перед лицом такого риска.
Творческий интеллект для музыкантов
Supertone - это дочерний стартап, основанный членами исследовательской группы по музыке и аудио Школы конвергенции науки и технологий Сеульского национального университета. Под руководством профессора Ли Кё Гу, который посвятил все свое время машинному обучению для аудио-ИИ, они основали Supertone в прошлом году с целью коммерциализации технологий исследовательской группы.
Несмотря на то, что компания получила признание за партнерство с Hybe, технология Supertone, тем не менее, предназначена для индивидуальных артистов, несомненно, поскольку все члены стартапа, состоящего из 11 человек, сами являются заядлыми музыкантами.
«Мы все люди, которые любят музыку, и основная цель заключалась в том, чтобы предоставить решение, которое артисты могли бы использовать в своем творчестве. В Южной Корее с середины 2000-х годов предпринимались попытки изобрести «вокалоиды» - цифровые певцы - и связанные с ними технологии, но по-прежнему большая часть оборудования, используемого в студиях, - это иностранные бренды », - сказал Ли.
Хотя некоторые певцы выразили опасения, что они могут потерять свое место из-за голосов ИИ, Supertone уже участвует в проектах не только с продюсерами, но и с певцами, которые хотят расширить свои возможности с помощью этого инструмента. Например, популярный южнокорейский певец и автор песен, известный своим уникальным голосом, который также активно занимается музыкой с другими артистами, предложил сделать женский вариант своего голоса.
«В основном мы стремимся создать новый бизнес с изначально существующими голосами или совершенно новым голосом. Поэтому основное внимание уделяется не конкуренции с существующими артистами и лейблами, а сотрудничеству с ними», - сказал Чхве.
Компания также осознает потенциальную опасность воспроизведения человеческих голосов, сказал Чхве.
«Нашим первоначальным намерением было сделать программу для индивидуальных музыкантов, но мы потом поняли, что она слишком уязвима для использования в незаконных действиях. Поэтому мы, естественно, стали искать сотрудничества с компаниями, которые могут контролировать их использование. Сначала мы стучались в двери небольших лейблов, а потом к нам обратился BigHit».
Для правомерного использования своей технологии Supertone установил собственный набор этических норм, с которым можно ознакомиться на их веб-сайте.
«Мы представляемся компанией, которая производит инструменты. Наше программное обеспечение - инструмент для артистов. Например, синтезатор - это инструмент, который просто издает электронные звуковые сигналы. Музыканты играли на этой машине в соответствии со своими собственными целями, и это привело к созданию звуков, которые можно было включить в музыку. Артисты - это люди, которые могут творчески использовать инструменты для создания музыки, и мы надеемся, что технология Supertone может быть использована для максимизации их собственного творчества», - сказал Чхве.
Автор Чхве Джи Вон (jwc@heraldcorp.com)
Comments