Мониторинг нефтеразливов и преступности: новые вызовы для нейросетей

Создание видеорекомендаций

РБК предложил участникам хакатона разработать решение для конвертации видео в текст в рекомендательной системе РБК Xavier. Система предоставляет каждому читателю персонализированные новости, а также рекомендации видео на сайтах и в приложениях РБК. Решение должно улучшить качество подбора релевантного контента.

Команда «Знают что делают» использовала существующие модели машинного обучения, в том числе решение от Nvidia. Разработанная хакатонщиками система, после загрузки в нее видео, с помощью одной нейросети транскрибирует текст, выделяет из него имена и названия, а с помощью второй — определяет и распознает текст на картинке. В итоге пользователь получает более точные рекомендации по выбранным тегам, в том числе даже отрывки не полностью релевантных видео.

Анализ видео системой «Знают что делают»

Команда HackTheHack представила модуль извлечения информации из видео с механизмами speech-to-text, который корректирует англицизмы, определяет объекты на видео и ищет совпадения по именам и названиям. Эту систему можно расширять за счет добавления новых данных. Участники хакатона применили в том числе русскоязычную модель GPT генерации текста от «Сбера». Система учитывает также эмоциональный окрас слов. Разработчики отметили, что в будущем ее можно будет масштабировать за счет анализа голосов на видео.


Источник: https://trends.rbc.ru/trends/industry/61b6688a9a7947837b3f829d

Межтекстовые Отзывы
Посмотреть все комментарии
guest