Нейросеть для монтажа видео: что она реально режет, а что маркетинг

Про монтаж нейросетями пишут либо «профессия умерла», либо «это всё пустышка». Обе крайности неверны, и обе мешают понять простую вещь: монтаж состоит из десятка разных задач, и машина забрала не все, а примерно две трети, причём самые скучные.

Ниже разбор по задачам: что уже отдаётся автоматике полностью, что нельзя отдавать ни при каких условиях и как выглядит рабочий порядок, когда одно с другим соединяется. Мы монтируем каждый день, так что пишем со стороны монтажного стола, а не со стороны пресс-релиза.

Что нейросети в монтаже уже делают хорошо

Монтаж по расшифровке

Самая недооценённая вещь и самая полезная. Программа расшифровывает речь в текст, вы удаляете лишние абзацы в тексте, а на таймлайне пропадают соответствующие куски видео. Час интервью превращается в черновую сборку за то время, что вы его перечитываете. Для говорящих голов, подкастов и интервью это экономит не проценты, а часы.

Вычистить паузы и слова-паразиты

Автоматическое удаление молчания, вдохов, «эээ» и повторов. На часовой записи это сотни микроправок, которые руками делаются полдня, а автоматом за минуту. Смотреть результат всё равно надо: машина иногда режет дыхание, нужное по смыслу, и речь начинает звучать как автоответчик.

Кадрирование под вертикаль

Программа находит в кадре человека и держит его в центре при переводе из горизонтали в вертикаль. На одном говорящем работает отлично. На диалоге двух людей начинает метаться между ними, и это надо либо править руками, либо переключать на статичное кадрирование.

Субтитры

Распознавание речи дошло до уровня, когда субтитры к чистой записи получаются почти готовыми. Почти: имена, названия брендов и профессиональные термины машина слышит по-своему, поэтому вычитка обязательна. Ролик с ошибкой в имени клиента стоит дороже, чем сэкономленные полчаса.

Нарезка длинного на короткие

Из часового видео сервис достаёт куски, которые считает самодостаточными, и собирает из них вертикальные ролики с субтитрами. Как черновик это работает: вы получаете двадцать заготовок и выбираете три. Как готовый продукт почти никогда: машина выбирает по формальным признакам, а не по тому, что цепляет.

Звук

Шумоподавление, снятие эха из комнаты, разделение голоса и музыки на отдельные дорожки. Здесь автоматика обошла ручную работу настолько, что спорить не о чем: то, что раньше требовало отдельного специалиста, делается в один клик и лучше.

Цвет

Подгонка кадров друг под друга, когда снимали на разные камеры или в разном свете. Автоматика даёт приличную базу за секунды. Финальный характер картинки, ради которого всё и делается, всё равно ставится руками.

Чего они не делают

Всё перечисленное выше объединяет одно: это операции над материалом, а не решения о нём. Как только требуется решение, автоматика останавливается.

• Ритм. Почему этот кадр держим четыре секунды, а следующий полторы. Ритм это то, из-за чего ролик смотрят до конца, и он не выводится из содержимого кадра.
• Выбор дубля. Из пяти технически одинаковых дублей нужен тот, где человек живой. Машина возьмёт тот, где меньше пауз.
• Смысл. Что вообще должно остаться в ролике, а что вырезать целиком, зависит от того, зачем он снят и кому показывается. Этого в материале нет.
• Музыка под смысл. Подобрать трек по темпу автоматика умеет, попасть в настроение сцены нет.
• Когда нарушить правило. Оставить неудобную паузу, потому что она работает. Формальные правила монтажа машина соблюдает лучше человека, и именно поэтому получается ровно и мёртво.

Простое правило: машине отдаём то, где есть правильный ответ. Себе оставляем то, где ответ зависит от замысла.

Как это выглядит в реальном проекте

Порядок, к которому мы пришли на говорящих головах и интервью. Он же примерно работает на любом материале с речью.

1. Расшифровка всего материала в текст.
2. Черновая сборка прямо в тексте: убрать лишние темы, переставить блоки местами. На выходе таймлайн, который уже имеет форму.
3. Автоматическая чистка пауз и повторов, потом обязательный просмотр с руками на клавиатуре: часть вернуть, часть дорезать.
4. Ручной проход по ритму. Самая долгая и самая ценная часть, никакой автоматики.
5. Цвет и звук: автоматическая база, потом ручная доводка.
6. Вертикальные версии и субтитры автоматом, с вычиткой текста.

Честная арифметика: рутина сокращается в разы, а пункт четыре остаётся ровно таким же по времени, как был. Поэтому обещание «ролик за пять минут» верно только для той части работы, которая и раньше была механической. Подробнее о том, как устроено производство ролика целиком, у нас есть пошаговый гайд.

Где автоматика портит материал

Четыре ошибки, которые видно в чужих роликах чаще всего.

• Нарезка коротких без правки. Двадцать роликов, выложенных как есть, выглядят одинаково, потому что собраны по одному шаблону. Зритель это чувствует за две секунды.
• Субтитры без вычитки. Имена, названия и термины машина услышит по-своему, и текст на экране будет спорить с речью.
• Автокадрирование в диалоге. Кадр прыгает между собеседниками и вызывает физическое раздражение, хотя формально всё правильно.
• Автоматическое «улучшение» резкости и цвета до предела. Именно от этого картинка выглядит дёшево, хотя снята нормально.

Что брать под свою задачу

Говорящие головы, интервью, подкасты

Главное здесь монтаж по расшифровке и чистка пауз. Всё остальное второстепенно. Если инструмент этого не умеет, он вам не подходит, каким бы умным ни был в остальном.

Короткие из длинного

Нужен сервис нарезки, но относиться к нему как к генератору заготовок. Разумный расчёт: из двадцати предложенных кусков в дело идут два-три, и оба вы дорабатываете руками.

Поток однотипных роликов

Здесь выигрывает не отдельный умный инструмент, а собранный процесс: шаблон проекта, автоматическая подстановка материала, единые титры. Это уже не про монтаж, а про автоматизацию, и делается она под конкретный поток. Если у вас именно такой случай, расскажите про задачу, это ровно то, чем мы занимаемся.

Ролики с генеративными кадрами

Отдельная история: сначала кадры, потом сборка. Про выбор моделей для самих кадров у нас есть обзор, а если вы только начинаете, стоит идти с азов.

Частые вопросы

Может ли нейросеть смонтировать ролик полностью сама?

Собрать черновик из вашего материала может, и на говорящих головах он получится осмысленным. Готовым продуктом он не будет: не хватит ритма и выбора дублей. Для внутреннего видео черновика иногда достаточно, для публичного нет.

Нужен ли профессиональный монтажёр, если есть такие инструменты?

Нужен, но его работа сместилась. Раньше значительная часть времени уходила на механику, сейчас она уходит на решения. Монтажёр, который умеет только резать по кнопкам, действительно проигрывает автоматике. Монтажёр, который держит ритм и смысл, стал заметно быстрее.

Заменят ли субтитры от нейросети ручные?

Почти. На чистой записи распознавание сильное, и править приходится единицы слов. Проблемы начинаются на именах, названиях, терминах и на нескольких говорящих одновременно. Вычитка перед публикацией обязательна всегда.

Что делать, если сервис не открывается или не принимает карту?

Это отдельная и очень частая проблема, у нас про неё есть подробный разбор по сервисам. Короткий ответ: у большинства задач монтажа есть решение, которое работает локально на вашем компьютере, и в этом случае вопрос оплаты снимается.

С чего начать, если я вообще не монтировал?

Не с инструментов, а с одного короткого ролика от начала до конца, пусть плохого. После него станет понятно, какая именно часть работы вас тормозит, и вот её и стоит автоматизировать. Если хочется сразу с сопровождением, посмотрите наше обучение, а как выбирать курс вообще, мы разобрали отдельно.