Как работать с сегментацией видео на основе ИИ в VSDC

Зачем нужна сегментация видео?

Сегментация видео на основе искусственного интеллекта — это инновационный способ управления объектами, в ходе которого происходит разделение изображения на видео на более мелкие сегменты или кадры для извлечения отдельных визуальных элементов. В видеоредакторе VSDC этот бесплатный инструмент работает на основе ИИ-моделей: ИИ позволяет точно определить границы одного или нескольких объектов и захватывать как статичные, так и движущиеся элементы. Таким образом, можно вырезать объект и вставить его в другое видео, наложить цветокоррекцию, нарисовать вокруг предмета контур, создавать маски или использовать другие возможности редактирования для создания уникальных визуальных эффектов.

Сегодня мы расскажем вам, как работать с этим продвинутым инструментом в VSDC, и разберем несколько примеров. Не забудьте скачать последнюю версию видеоредактора и внимательно следуйте нашей инструкции далее.

Скачать VSDC Video Editor

Добавление сегментации

1. Для начала работы с инструментом сегментации добавьте нужный вам медиафайл на сцену. Кликните по добавленному объекту на таймлайне и добавьте сегментацию одним из следующих способов:
   • Щелкните правой кнопкой мыши по медиафайлу и выберите Видео эффекты >> Специальные эффекты >> Сегментация;
   • Перейдите на вкладку Редактор, перейдите в раздел Видео эффекты >> Специальные эффекты >> Сегментация.
2. Далее появится окно Параметров позиции объекта. Отрегулируйте эти параметры (при необходимости) и нажмите OK.
3. Перейдите в окно Свойств для работы с параметрами, которые будут подробно описаны ниже.

Параметры сегментации

В окне Свойств находятся три основные группы параметров:

1. Общие параметры: позволяют задать имя добавленного объекта, время появления, длительность его отображения и привязку к родительскому объекту. Это базовые настройки, которые можно применить к любому объекту или эффекту.
2. Параметры корректировки цветов: не работают для инструмента сегментации.
3. Параметры сегментации: позволяют настроить особые параметры сегментации. Именно с ними мы и будем работать далее в этой статье.

Начало работы с сегментацией

1. Если вы первый раз работаете с инструментом сегментации, в разделе Параметры сегментации будут доступны только две опции: Скачать модель данных и Импортировать модель данных. Выберите опцию Скачать модель данных, чтобы перейти на веб-страницу, где вы можете выбрать одну из 4 ИИ-моделей:
   • FB-SAM: базовая модель с высокой точностью распознавания статичных объектов на изображениях и видео. Более требовательна к памяти компьютера по сравнению с другими, вследствие чего может замедлять работу.
   • SAM-HQ: усовершенствованная модель, обеспечивающая точное распознавание мелких элементов и и более аккуратную работу с движущимися объектами. Требует достаточного объема памяти.
   • EdgeSAM: улучшенная модель с меньшими требованиями к оперативной памяти и более высокой производительностью идеально подходит для обработки длинных видеофайлов на маломощных ПК. Обеспечивает высокую точность сегментации для большинства проектов.
   • MobileSAM: еще одна усовершенствованная модель, отличающаяся высокой производительностью и невысокими требованиями к памяти ПК — отличная альтернатива EdgeSAM.
2. После загрузки нужной ИИ модели импортируйте ее в программу с помощью кнопки Импортировать модель данных. После этого меню параметров сегментации изменит свой вид, и первой опцией в списке станет Модель. Здесь можно выбирать уже существующие и загружать новые ИИ-модели ИИ, нажимая на значки справа.
3. Теперь давайте выберем Режим обработки, который определяет, будут ли использоваться ресурсы видеокарты (Аппаратная обработка) или ресурсы компьютера (Программная обработка) при работе с инструментом сегментации. Для оптимальной производительности рекомендуем выбрать режим аппаратный режим, чтобы снизить нагрузку на ваш ПК. Чтобы узнать больше об аппаратном ускорении, советуем посмотреть наш видеогайд с разбором возможных ошибок.

Чтобы продолжить работу с параметрами, далее необходимо задать область сегментации. Это можно сделать следующим образом:

Добавление области сегментации

1. Нажмите на кнопку Добавить область в окне Свойств и выберите опцию Включить область, чтобы выделить на сцене область, содержащую объект сегментации.
2. Далее в окне предпросмотра появится прямоугольник, определяющий область сегментации. При необходимости измените размер этой области, потянув за маркеры по краям, или переместите, зажав при этом клавишу мышки. При необходимости повторите эти шаги, чтобы создать несколько областей сегментации.

   

3. Если добавленная область содержит в себе область, которую следует исключить, снова нажмите кнопку Добавить область в окне Свойств и выберите Исключить область. Расположите новую область над объектом, чтобы удалить его.
   ПРИМЕЧАНИЕ: область исключения всегда должна находиться внутри области включения и быть меньше ее по размеру..

Добавить область >> Включить область Добавить область >> Исключить область

Корректировка результатов сегментации

• Режим вывода: определяет, каким образом будут отображаться результаты сегментации:
  Композитный режим: скрывает все, что находится за сегментированным объектом, не меняя при этом сам объект. В нем также доступна опция Инвертировать маску, которая отображает фон, при этом делая сегментированный объект невидимым.
  Альфа-канал: выделяет сегментированный объект белым цветом, при этом все области за пределами объекта становятся черными. Здесь также доступна опция Инвертировать маску, которая меняет этот эффект на противоположный, раскрашивая объект в черный цвет, а область вокруг — в белый. Цвета маски можно настроить с помощью опций Цвет маски и Цвет фона.
  

  

  

• Выровнять по соотношению: находится внутри параметра Модель и осуществляет более точную настройку контура сегментированных объектов.

  

  

  Как видно из приведенного выше примера, если для параметра Выровнять по соотношению установлено значение Да, программа намного точнее определяет контур самого объекта в области сегментации. Если результат не изменился или ухудшился, установите значение Нет и воспользуйтесь описанными ниже инструментами для уточнения контура сегментированного объекта.
• Стиль контура: настройка контура сегментации. Доступны следующие опции:
  Не задан: контур не отображается

  

  

  Контур и объект (доступно при Режим вывода = Композитный): отображается результат сегментации и его контур.
  Только контур: отображается только контур.

  

  

  Наложение контура - (доступно при Режим вывода = Композитный): контур сегментации на исходном объекте будет отображаться в окне предпросмотра.

  

• Режим смешивания (доступно при Стиль контура = Наложение контура, Контур и объект): открывает различные стили отображения контуров, например, Destination over, который настраивает контур по краю объекта сегментации, не заходя на сам объект; Source atop, контур накладывается непосредственно на сегментированный объект, Darken, который накладывает контур по краю объекта и создает ещё один менее заметный контур внутри, и другие. Протестируйте все варианты, чтобы найти тот, который впишется в ваш проект.
  Destination over

  

  Source atop and Darken:

  

• Цвет (доступно при Стиль контура = Наложение контура, Контур и объект): задает цвет контура для всех областей сегментации на сцене. Включает следующие параметры:

  RGB-значение: помогает определить цветовой код или изменить его.
  Непрозрачность: регулирует прозрачность контура. При значении 255 контур остается четким, а при 0 — полностью прозрачным. Здесь также можно задать Начальное/конечное значение прозрачности контура в начале/конце отображения.

  

• Толщина (доступно при Стиль контура = Наложение контура, Контур и объект, Только контур): задает толщину контура (рассчитывается в % от размера редактируемого объекта, диапазон от 0% до 10%). Здесь же можно задать Начальное/конечное значение толщины контура в начале/конце отображения.

  

• Залить фон (доступно при Стиль контура = Наложение контура, Только контур): заливка области внутри контура тем же цветом.

  

• Контуры областей: настраивает толщину контура отдельно для каждой области. При значении Да, в настройках отдельных областей появится дополнительный параметр Толщина контура.

  

  ПРИМЕЧАНИЕ: если вы ранее настраивали толщину контура с помощью параметра Толщина, описанного выше, то при изменении настроек отдельных областей значения будут удвоены. Поэтому рекомендуется установить его на значение 0.

  

• Показать все контуры: позволяет рисовать контуры для всех найденных областей, или только для одной самой большой области. Для использования этого параметра рекомендуется переключиться на Альфа-канал для более точной сегментации.
  При значении параметра Показать все контуры = Да программа выделяет все найденные в процессе сегментации маленькие точки исходного редактируемого объекта в области сегментации. Вы можете их исключить из сегментации, например, путем добавления точек, уточняющих данную область сегментации (об этом далее в разделе «Настройки точек областей сегментации»).

  

• Постобработка: осуществляет настройку контура сегментации во всех областях. При значении Да доступны следующие инструменты: Медианный фильтр: сглаживает контур, удаляя шум. Здесь также можно задать Начальное/конечное значение для контурного фильтра в начале/конце отображения. Чем выше значение этого параметра, тем более плавным будет контур.

  

  Фильтр MinMax: регулирует размер области сегментации в пикселях. Положительные значения увеличивают область вокруг сегментируемого объекта, а отрицательные — уменьшают. Начальное/конечное значение для контура можно также настроить в начале и в конце отображения.

  

  Фильтр размытия (доступно при Стиль контура = Не задан/контур и объект): размывает края сегментированной области. Здесь также можно задать Начальное/конечное значение для фильтра размытия в начале/конце отображения. Чем выше значение этого параметра, тем шире контур размытия.

  

  Уровень размытия контура (доступно при Стиль контура = Контур и объект): размывает только контур сегментированной области, не затрагивая сам результат сегментации. Начальное/конечное значение можно также отрегулировать в начале и в конце отображения.

  

Настройка областей сегментации

В этом разделе мы расскажем об инструментах, с помощью которых можно осуществить настройку каждой отдельной области сегментации. Основная опция — Область, которая позволяет изменять сразу несколько параметров сегментации:

• Цвет: при нажатии на квадратный цветной значок можно задать значение цвета для определенного региона сегментации - выбранный цвет отображается в центре редактируемой области сегментации.

  

• Передвинуть запись вверх/вниз: с помощью двух стрелок (вверх и вниз), можно регулировать последовательность сегментации, перемещая соответствующую область.

  

• Исключить/Включить область: с помощью значка с двумя квадратами можно переключаться между режимами Исключить область и Включить область для каждого элемента сегментации.

  

• Удалить запись: нажав на значок с крестиком, вы можете удалить ненужную область сегментации.

  

В поле Область также доступны дополнительные опции:

• Активировать: включает или выключает ту или иную область сегментации.
• Толщина контура (доступно при Контуры областей = Да): настраивает толщину контура для выбранной области. Если развернуть скрытое меню, можно отдельно изменить начальное и конечное значения.
• Постобработка: уточняет контур результата сегментации определенной области. Опции включают Медианный фильтр, Фильтр MinMax и Фильтр размытия, а также два дополнительных параметра:
  Уровень размытия контура : применяет эффект размытия к контуру с возможностью установки Начального и конечного значений.
  Порог: устанавливает пороговое значение для пикселей в определенной области сегментации. Если в выбранном регионе значение пикселя меньше этого порога, программа "исключает" этот пиксель из результата сегментации конкретной области.
  

  Доступны следующие режимы:

  • Не задан: параметр Порог отключен.
  • Значение: устанавливает значение Порога и при необходимости его Начальное/конечное значение.
  • Диапазон: данный режим настройки на основе параметра Начальное значение для ограничения каждого пикселя в сегментированном объекте, что влияет на эффективность обнаружения объекта. Чем меньше начальное значение, тем лучше обнаруживается объект, так как оно указывает на его цветовое значение. Параметр Значение дельты сглаживает переходы между пикселями в случае резкого ограничения, заданного начальным значением.
• Тип координат:
  • Относительные координаты: определяет, как задаются координаты для конкретной области сегментации:
    • Правая / Левая: задает вертикальные стороны в процентном значении от длины объекта.
    • Нижняя / Верхняя: задает горизонтальные стороны в процентах от значения ширины объекта.
      Здесь же можно задать Начальное/конечное значение в начале/конце отображения.
  • Полное изображение: применяет сегментацию ко всему объекту без корректировки координат, используя точки, добавленные с помощью кнопки Добавить точку, для поиска объектов для сегментации. Процесс работы с точками в этом режиме идентичен описанному ниже, при этом поиск объектов будет выполняться вокруг точки включения, а с помощью точки исключения можно "отрезать" ненужные/неправильные области.

Настройки точек областей сегментации

Для уточнения областей сегментации можно также использовать точки. Чтобы начать работу с ними, перейдите к области сегментации в окне Свойств, которую необходимо настроить, и нажмите кнопку Добавить точку. В меню выберите одну из опций:

Включить точку: область вокруг добавленной точки будет включена в результат сегментации текущей области.
Исключить точку: редактор вырежет область вокруг добавленной точки (включая ее) из сегментации.

В появившемся меню вы увидите поле Точка с уже знакомыми функциями, с помощью которых можно настроить ее цвет, изменить режим или просто удалить. Если развернуть меню у поля Точка, станут доступны следующие опции:

• Активировать: позволяет включить (= Да) или отключить (= Нет) определенную точку.
• Тип координат:

  Относительные координаты: ручная настройка координат для конкретной точки по осям X и Y, где Начальное/конечное значения X / Y - это значение координат в начале/конце отображения.
  Точка отслеживания: сегментирует движущийся объект в видеоролике. Ниже мы рассмотрим эту опцию подробнее:

Использование точек отслеживания в сегментации

1. Первое, что необходимо сделать, — это скрыть Сегментацию на таймлайне с помощью значка в виде глаза, расположенного слева от объекта. Таким образом, сам объект будет отображаться без изменений.
2. Выберите опцию Добавить точку отслеживания, которая располагается в вертикальном меню панели инструментов слева от сцены и установите эту точку на объекте, который нужно отследить.
3. Щелкните правой кнопкой мыши на экране предпросмотра, и в появившемся меню выберите пункт Создать карту движения. В появившемся окне задайте имя будущей карте движения и сохраните ее.
4. В новом окне Отслеживание выберите область, где находится объект, который вы хотите отследить. Затем нажмите кнопку Начать анализ, чтобы программа создала карту движения выбранного объекта. Если результат вас устраивает, нажмите Применить редактирование.
5. Дважды щелкните по объекту Точка отслеживания на таймлайне, перейдите на вкладку Редактор и нажмите Добавить объект >> Движение >> Карта движения. Это позволит применить к точке созданную карту движения.
6. Верните объект сегментации на таймлайне, кликнув по области со значком в виде глаза. Затем перейдите в окно Свойств сегментации, найдите точку, у которой Тип координат = Точка отслеживания. Найдите параметр “,,,....” и в выпадающем меню выберите созданную точку отслеживания.

Экспортируйте проект

Если полученный результат сегментации вас устраивает, перейдите на вкладку Экспорт проекта и выберите на ленте нужный формат файла. Установите Профиль, настройте параметры экспорта (при необходимости) и нажмите на значок экспорта проекта над сценой. Чтобы узнать больше об экспорте файлов, посмотрите наше видеоруководство.

ПРИМЕЧАНИЕ: функция сегментации создает некоторую нагрузку на ресурсы вашего ПК, поэтому рекомендуем использовать аппаратное ускорение на этапе экспорта. Для этого вам потребуется версия VSDC Pro.

Скачать VSDC Video Editor 9.2

Заключение

Сегментация видео на основе ИИ — это инновационный инструмент, который вы, несомненно, найдете очень полезным при создании новых видеопроектов. Чтобы начать с ним работу, обновите VSDC до версии 9.2 и следите за нашими последними новостями сайте и на Youtube. Если возникнут вопросы, мы всегда на связи по адресу Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.!