Основні моменти у відеоконтенті відносяться до найважливіших, цікавих або значущих моментів у відео. У спорті ці моменти захоплюють ключові ігри, такі як голи, переможні удари, важливі сейви та інші незабутні події, які є суттєвими для хвилювання та результату гри. Ці моменти часто є тим, чого фанати чекають найбільше, оскільки вони втілюють найбільш захоплюючі частини матчу.
Коли спортивний матч завершується, новинні агенції по всьому світу кидаються, щоб якомога швидше створити та поділитися найкращими моментами, дозволяючи фанатам пережити хвилювання майже відразу. Цей швидкий оборот є критично важливим для утримання зацікавленості та інформування аудиторії. Ефективні процеси редагування також є важливими, дозволяючи редакторам швидко збирати та покращувати ролики з моментами, доставляючи відполірований контент у рекордно короткий час.
Використання AI та AWS для безперебійного створення спортивних відео з моментами
TrackIt протестував інтеграцію Pegasus — моделі AI від Twelve Labs, розробленої для автоматичного індексування відео та створення моментів. Було проведено два демо, щоб перевірити ефективність Pegasus та дослідити її потенціал у виявленні та вилученні найважливіших моментів з спортивних відео. Використовуючи сервіси AWS, такі як DynamoDB, Lambda Functions, S3, AWS Elemental MediaConvert та API Gateway, були розроблені інтеграції, які дозволяють користувачам отримувати контент з моментами без ручного редагування. Крім того, процес генерує XML з моментами для безперебійного імпорту в Adobe Premiere для редагування за допомогою NLE (Non-Linear Editing).
Перше демо: Тестування AI Twelve Labs для створення моментів з спортивних відео
Мета
Демо мало на меті оцінити ефективність API Generate від Twelve Labs у виявленні моментів з спортивних матчів, зокрема у футболі та League of Legends. Метою було розробити систему, яка на основі заданого запиту може генерувати моменти з конкретного відео і складати їх у нове відео, яке містить лише ці моменти.
Процес
Робочий процес імпорту
- Завантаження контенту: Контент завантажується в S3-бакет, що активує функцію Lambda для запиту до API Twelve Labs щодо індексації контенту.
- Зберігання метаданих: Twelve Labs повертає метадані відео, які завантажуються в таблицю DynamoDB.
Робочий процес створення моментів
- Отримання метаданих: Функція Lambda отримує інформацію з DynamoDB і робить запит до API Twelve Labs для створення моментів.
- Створення моментів: Twelve Labs повертає моменти в Lambda, яка створює задачу в MediaConvert для створення відео з моментами.
- Зберігання: Відео з моментами зберігається в S3.
Результати
Pegasus від Twelve Labs був надзвичайно ефективним у виявленні моментів спортивного матчу, точно захоплюючи ключові моменти. Однак деякі випадки показали, що моменти не були абсолютно точними щодо їх початкових та кінцевих точок, що вказує на можливість покращення в налаштуванні моделі для більш точної сегментації моментів.
Друге демо: Оптимізація процесів редагування відео за допомогою AI та XML
Мета
Метою другого демо було вдосконалити використання API Generate, перейшовши від автоматичного створення відео до допомоги редакторам під час процесу редагування. План полягав у створенні фронтенд-застосунку, де користувачі можуть вибрати відео, вибрати запит та отримати XML-файл з моментами, створеними Twelve Labs. Ці моменти можуть бути імпортовані в Adobe Premiere для подальшого редагування, покращуючи робочий процес редактора.
Процес
Робочий процес імпорту
Цей робочий процес є схожим на попереднє демо.
Відео імпортується в S3-бакет і індексується Twelve Labs, з метаданими, що зберігаються в DynamoDB.
Робочий процес створення моментів (XML)
Фронтенд: Фронтенд-застосунок містить два основних екрани. Перший екран відображає відео, що зберігаються в базі даних, всі вони індексовані в Twelve Labs для створення моментів. Другий екран дозволяє користувачам надсилати запити до Twelve Labs і отримувати XML-файл, що містить результати, для імпорту в Adobe Premiere для нелінійного редагування (NLE). Застосунок розміщується на Amazon CloudFront.
Бекенд (Безсерверний): Бекенд використовує API Gateway і дві функції Lambda: одну для взаємодії з API Twelve Labs для створення моментів і генерування XML, і іншу для отримання інформації про відео з DynamoDB. Процес створення моментів з Twelve Labs подібний до попереднього демо, з основною відмінністю — відсутністю MediaConvert у цьому робочому процесі.
Результати
Результати демо були задовільними, оскільки XML-файл був успішно створений і імпортований в Adobe, що дозволило переглянути моменти з контенту. У першому демо було зазначено, що Pegasus ще не зовсім точно визначає початкові та кінцеві точки моментів, що свідчить про те, що створення повністю автоматизованого відео може не бути оптимальним використанням цієї технології.
Однак це демо продемонструвало більш ефективний спосіб застосування: допомога редакторам у виборі найкращих моментів матчу. Хоча модель може ідентифікувати моменти, вона все ще потребує вдосконалення в точному визначенні моментів — завдання, яке редактори можуть ефективно виконати, використовуючи Adobe та XML. Це поєднання AI та редакторської майстерності веде до більш точної та практичної стратегії для редагування відео.
Заключні думки
Демо, проведене з Pegasus — AI моделлю від Twelve Labs, підкреслює потенціал інструментів на основі AI для вдосконалення процесу редагування відео, зокрема у спортивній сфері. Хоча модель обіцяє автоматичне виявлення ключових моментів, для досягнення точних результатів потрібно більше вдосконалень. Перехід до допомоги редакторам замість повної автоматизації процесу виявився більш ефективним застосуванням цієї технології.
Поєднуючи можливості AI з редакторською майстерністю, можна досягти більш точного та ефективного робочого процесу. TrackIt залишається відданим дослідженню та впровадженню інноваційних рішень, які надають медіа-фахівцям змогу швидше і точніше доставляти високоякісний контент.
Про TrackIt
TrackIt — міжнародна консалтингова компанія з хмарних технологій AWS, системної інтеграції та розробки програмного забезпечення, зі штаб-квартирою в Маріні-дель-Рей, Каліфорнія.
Ми побудували свою репутацію, допомагаючи медіакомпаніям проектувати та впроваджувати економічно ефективні, надійні та масштабовані робочі процеси в сфері медіа та розваг в хмарі. Це включає в себе рішення для потокового відео та відео за запитом, управління медіа-активами та архівування, використовуючи найновіші технології AI для створення індивідуальних медіа-рішень, адаптованих до потреб клієнтів.
Розробка хмарних програм є основою нашої роботи. Ми спеціалізуємося на модернізації додатків, контейнеризації, інфраструктурі як код і безсерверних архітектурах, використовуючи найновіші сервіси AWS. Окрім цього, ми пропонуємо послуги керованих сервісів, які забезпечують цілодобову підтримку та обслуговування хмарної інфраструктури, що дає змогу надавати повні рішення для медіа-індустрії.
Перекладено з: Enhancing Sports Highlights with AI and AWS Integration