В XXI веке было сделано множество технологических прорывов, каждый из которых внёс свою лепту в развитие современного общества. Основное внимание общества приковано искусственному интеллекту, известный также, как Artificial Intelligence. Данная технология частенько упоминается в разнообразных новостях, так как она активно развивается и расширяет свои возможности.
Однако перечисленные факты не говорят о том, что человечеству удалось создать нечто революционное, что кардинально изменило жизнь миллионов людей. Разработанные устройства лишь усовершенствовались с помощью дополнительного функционала в виде голосового управления, машинного обучения и нейронных сетей.
Сегодня никто не удивится существующим функциям AI, активно использующиеся в камерах смартфонов. Но многие пользователи не знают, как работает ИИ в телевизорах последних моделях. Ярким примером является LG OLED65C9PLA, в который встроен искусственный интеллект высшего уровня. Именно его характеристики мы в деталях разберем в сегодняшней статье.
Дождь заставил искусственный интеллект смотреть телевизор
Три столпа, где Artificial Intelligence не является новшеством
1. Изображение. Покупатели скупают SMART-телевизоры для получения максимального удовольствия в процессе просмотра любимых фильмов или телеканалов. Создание четкой картинки осуществляется за счёт огромного массива данных, открывающие совершенно иной уровень возможностей.
2. Звук. Технологии искусственного интеллекта значительно меняют объемное звучание в лучшую сторону, так как интегрированные IT-разработки помогают определить внешние шумы, которые обычно раздражают зрителей.
3. Дополнительные опции. В современных мобильных девайсах и «умных» домах часто используется распознавание речи. Телевизоры не стали исключением, так как это делает их управление гораздо естественным.
Интеллектуальное изображение
За счёт чего происходит обработка видео, и какие алгоритмы используются для создания высококачественной картинки? Ответ максимально простой — производительные процессоры. Именно они отвечают за работу, связанная с вычислением, на основе которого строятся сложные задачи.
Анализ видеоизображения осуществляется через мощный техпроцессор a9 второго поколения, интегрированный в OLED-телевизоры LG из линейки C9. Процедура происходит в режиме реального времени. Таким образом распознаются разные объекты и повышается четкость отдельных пикселей. Регулировка контрастности и яркости зависит от условий освещенности. Идентичная техномагия происходит и в сфере звучания.
Представленный выше процессор обрабатывает изображение в несколько этапов. Изначально производится анализ кадра, в котором уместилось определенное количество предметов. После к работе подключаются уже знакомые нам алгоритмы, которые самостоятельно определяют наиболее подходящий тип шумоподавления. Заметно усиливается резкость, и увеличивается детализация TV-объектов. Это значительно улучшает восприятие.
Что такое искусственный интеллект и как его используют сегодня | GeekBrains
После в режиме реального времени устройство начинает заниматься оценкой освещения сцен в кадрах. Корректировка яркости производится за счёт AI, который к слову обучался на похожих фотографиях, где количество измеряется миллионами. Это позволяет добиться максимальной детализации отдельных деталей, что дает возможность другими глазами взглянуть на творение режиссёра.
Дополнительная информация
Сегодня OLED-устройства являются эталоном высокого качества изображения. Особенность OLED-панелей заключается в наличие минимального количества слоев, позволяющие получить четкую яркость, что бросается в глаза с первых секунд просмотра. К слову ЖК-телевизоры не могут похвастаться похожей начинкой. Нужда в бонусной подсветке отпадает сразу, так как освещение каждого пикселя происходит отдельно. Также, данная архитектура дает возможность создать максимально тонкий ТВ-продукт.
Неизвестным для многих, но важным преимуществом OLED-продуктов считаются черные пиксели, которые при обнаружении темных оттенков просто-напросто отключаются, что создает эффект выключенного телевизора. Появлению уникальной функции были рады кинорежиссеры, вкладывающие всю свою душу в атмосферность сюжетной линии.
За качественную картинку также отвечает технология, самостоятельно расширяющая динамический диапазон. В продуктах LG присутствует одновременно четыре устройства такого типа, включающие Technicolor. Компания работает с многочисленными голливудскими киностудиями, которые не в состоянии без неё создать великолепный шедевр.
Интеллектуальный звук
Искусственный интеллект с помощью проработанных алгоритмов самостоятельно определяет источник звука в кадре, а также жанр телевизионной передачи. К тому же функция раскладывает стереозвук на каналы 5.1 виртуального характера.
Анализ изображения за счёт интеллектуальных алгоритмов производится совместно со звуком. К тому же ИИ без ошибок определяет категорию видеоряда. В список входят кинофильмы, теленовости и музыкальные клипы. Оптимизация звучания начинается после распознавания контента аудиоформата.
Данный процесс отвечает за создание реалистичной атмосферы, которая несомненно усиливает полученные эмоции. Голоса кинозвезд и ведущих новостей звучать четко. Восприятие звука производится через IT-технологию Dolby Atmos.
Акустическая сцена комнаты также подвергается анализу, осуществляемый с помощью встроенных в дистанционный мультипульт микрофонов. Издаваемый сигнал Magic Remote определяет местоположение помощника в помещении, после чего происходит перераспределение звуковых потоков, что приводит к появлению 360-градусного эффекта.
Интеллектуальное управление
С помощью голоса, пользователи могут найти необходимый контент, не используя при этом интерфейс ТВ. Также можно выполнить переключение режимов, получить контроль над оборудованием «умного» дома и получить рекомендации по просмотру популярных кинокартин. Поиск кулинарного рецепта на испанском языке или приключенческих фильмов на родном больше не составит труда.
К тому же можно выяснить имя режиссёра или сценариста. Данные о погоде также получаются за счёт голосовых команд. При правильной настройке, владельцы роботов-пылесосов могут запустить их дистанционно.
Телевизоры LG серии C9 имеют поддержку Apple AirPlay нового поколения, который дает возможность обладателям яблочных продуктов перенаправлять картинку IT-девайса на экран SmartTV. Другими словами можно за считанные секунды воспроизвести кинематографическую ленту, фот или передачи с мобильных девайсов.
Домашняя техника SMART-дома также управляется через телевизор LG, пульт которого помогает отдать нужные команды без точной формулировки. Это радует и удивляет одновременно абсолютно всех. Голосовой помощник Siri, тесно связанный с HomeKit присутствует в системе интеллектуального TV-продукта от Lucky-Goldstar.
Что еще умеет новейшая модель C9?
Стоит отметить, что многие современные телевизоры не используются по назначению. Они отлично демонстрируют изображения с различными пейзажами из постоянно обновляемой галереи. Добиться этого позволил контракт с крупным сервисом, создатели которого являются заядлыми путешественниками.
Источник: www.apltech.ru
Как телевидение осваивает искусственный интеллект
Сегодня достаточно часто для ускорения и снижения стоимости обработки видео используются решения на базе искусственного интеллекта (ИИ) и машинного обучения (МО). В этом материале «Телеспутник» расскажет о недавних проектах, которые дают представление о спектре сегодняшних применений МО и ИИ в телевизионной сфере.
Анна Бителева
Анна Бителева
Сегодня достаточно часто для ускорения и снижения стоимости обработки видео используются решения на базе искусственного интеллекта (ИИ) и машинного обучения (МО). В этом материале «Телеспутник» расскажет о недавних проектах, которые дают представление о спектре сегодняшних применений МО и ИИ в телевизионной сфере.
Сначала определимся с терминами. Искусственный интеллект — это программа, использующая некий массив данных для самообучения определенной задаче, а также предсказания или коррекции результатов. Машинное обучение — это ключевой компонент ИИ, заключающийся в способности компьютерной системы постепенно повышать эффективность решения определенной задачи без изменений в ПО, а за счет самостоятельной оценки результатов предыдущих попыток.
Применение ИИ и МО актуальны при работе с большими объемами данных. Более того, для корректной работы им необходим доступ к большому объему данных. Если речь о телевидении, то это может быть, например, архив изображений или записи большого количества видео с приложенными метриками QoS (качества видео). МО и ИИ могут использоваться для идентификации изображений в видео, для формирования речевых и текстовых переводов, создания субтитров, поиска оптимальных шаблонов для обработки контента и выполнения множества других функций. Рассмотрим наиболее известные из недавних проектов, реализованных с помощью ИИ и МО.
Мобильное приложение «Кто есть кто»
Приложение было разработано по заказу Sky News специально для трансляции свадьбы принца Гарри и Меган Маркл. Задача приложения состояла в автоматическом распознавании гостей по мере их появления на торжестве. Одновременно с появлением гостя в приложении появлялась карточка с дополнительной информацией об этом человеке. Распознавание гостей должно было выполняться в реальном времен, вне зависимости от ракурса, в котором они попадали в объектив погодных условий и помех в виде толпы, шляп или зонтов, которыми могли быть скрыты их лица. Для приложения использовалось решение для распознания образов AWS Rekognition Services.
Напомним, что AWS (Amazon Web Services) — крупнейшее компьютерное облако, имеющее в своем арсенале множество программных надстроек для обработки видео. AWS Rekognition Services — инструмент с широким спектром применения, но для корректной работы его надо предварительно настроить для решения конкретной задачи. Например, для выявления заданных событий во время спортивных соревнований или регистрации противоправных действий в общественном месте.
В случае королевской свадьбы систему предстояло научить идентификации фигур и лиц гостей, ожидаемых на венчании. Для ее настройки было смоделировано тренировочное свадебное торжество, со всеми помехами съемки, которых можно было ожидать на реальном мероприятии.
Системе предъявлялось множество фотографий в разных ракурсах и условиях, что позволило натренировать на узнавание лиц. В конце тренировки ей требовалось уже несколько секунд, чтобы распознать новое лицо. И затем систему «познакомили» с ожидаемыми гостями. Во время реального венчания приложение действительно сумело узнать тех приглашенных, которые были ей предъявлены во время тренировки. Но на всякий случай разработчики оставили полутораминутный зазор между живой съемкой и выдачей видео в сеть, чтобы редакторы Sky News успели при необходимости отредактировать результаты работы искусственного интеллекта.
Распознавание образов, наверное, самый ожидаемый вариант использования возможностей ИИ применительно к видео, но это далеко не единственное направление.
Кастомизация навигации по каталогу
Ознакомившись с этими выводами, компания Accedo совместно с AWS и Британской телевизионной корпорацией ITV запустила A/B-тест для определения, какие именно изображения побуждают подписчиков к покупке просмотра. По мнению старшего вице президента Accedo по продуктам Фредерика Андерсена (Frederik Andersen), пользователи выбирают фильм, руководствуясь эмоциями при просмотре скриншотов. По данным компании, на оценку одного скриншота в среднем тратится лишь 1,8 секунды, но разнообразие предложений таково, что некоторые просто бросают попытки что-то выбрать. Было решено взять этот процесс под контроль.
Используя ресурсы ИИ, можно подобрать набор скриншотов с оптимальной конверсией, то есть более всего побуждающий купить просмотр. В результате теста были выявлены некоторые общие закономерности. Оказалось, что более всего пользователи реагируют на изображения одного героя, лицо которого ярко выражает эмоцию, резонирующую с названием фильма. Особенно в этом плане привлекают физиономии злодеев. В то же время скриншоты с большими группами героев обычно вызывают меньший интерес.
Кроме того, средства ИИ позволили сформировать разные подборки для разных сегментов пользователей, выделенных по социальным или территориальным признакам. Абоненты могли думать, что листают один и тот же каталог, но на самом деле иллюстрации в нем были по-разному адаптированы для каждой группы. Пока был проведен только четырехмесячный тест решения на базе iTV, а на регулярной основе оно не используется.
Доставка контента
Компания SDVI, занимающаяся формированием цепочек доставки медиа, использовала ИИ и МО для оптимизации оценки контента на предмет его соответствия разноречивым требованиям разных регионов. Такая задача стоит перед крупными клиентами компании, такими как Discovery, которым необходимо проводить локализацию своего контента для разных регионов нашей планеты. По словам руководителя отдела продуктов Discovery Саймона Элдриджа (Simon Eldridge), раньше редактирование часового шоу под региональные требования занимало у редакторов телекомпании около 2 часов, а теперь 10 минут. Он уточняет, что редактирование по-прежнему выполняется вручную, но ИИ выделяет фрагменты, подлежащие коррекции.
Платформа SDVI сформирована на базе инструментов от AWS и Google Cloud Platform, выполняющих распознавание объектов, транскрибацию аудио и фильтрацию взрослого контента. В результате их работы формируются подробные, синхронизированные с видеорядом метаданные, позволяющие выявить сюжеты, включающие насилие, курение или наготу. Как отмечает Саймон Элдридж, инструменты крупных открытых облаков часто оказываются уже обученными выполнять требуемые задачи. Так, Google Cloud Platform постоянно отрабатывает распознавание объектов на видео хостинге YouTube.
Сейчас весь контент Discovery пропускается через инструменты распознавания объектов, транскрибации и автоматической оценки качества видео. Это позволило исключить задержки с формированием локализованных версий, которые раньше регулярно тормозили производственные процессы компании.
Индивидуальная оптимизация профилей компрессии для разных видео
Компанией Netflix также была введена практика индивидуального подбора скоростных профилей компрессии для разных наименований видео с учетом их особенностей. Однако без использования инструментов машинного обучения эта работа выливается в сотни тестов с тупым перебором вариантов. Это приемлемо для Netflix, так как кинотеатр имеет значительные компьютерные мощности и относительно небольшой каталог, но для большинства проектов такой вариант нереализуем.
В связи с этим компания Mux нашла стороннюю разработку, позволяющую обучать компьютер оптимизации подбора профилей с учетом предыдущего опыта, полученного при работе с аналогичными типами видео. В основе решения лежит нейроноподобная система.
Она оценивает низкоуровневые атрибуты видео, определяя его класс, и затем находит оптимальные параметры для этого класса видео, которые были определены в процессе обучения. Оценке подлежит динамика картинки, степень четкости и общая сложность сюжета По словам основателя Mux Джона Дал (Jon Dahl), процесс подбора, который раньше занимал сотни часов, теперь требует нескольких секунд компьютерной обработки. За это время система оценивает динамику сюжета, степень четкости и общую сложность картинки. При этом, уточняет Джон Мал, нейронная сеть совершенно не обязательно понимает смысл своих решений. То есть при принятии решений исходит не из общих закономерностей, который она может не знать, а просто путем множества итераций обучается получать оптимальные по заданным параметрам результаты.
Качество видео
Выбрать оптимальные варианты для каждого из каналов и каждой из цепочек доставки вручную практически нереально, а система на базе машинного обучения делает эту задачу вполне решаемой.
Индексатор видео от Microsoft
Уже появился и облачный конструктор, использующий МО и ИИ, — индексатор видео от Microsoft, ориентированный на пользователей, не имеющих навыков разработки. Он включает 25 инструментов, умеющих искать и распознавать контент в больших видео- и аудиоархивах. Индексация архива позволяет его обладателям собрать и структурировать информацию о его содержимом. В Microsoft видят возможности применения этих инструментов, например для упрощения создания трейлеров для новых фильмов или облегчения поиска ретроспективного контента, необходимого новостного сюжета. Помимо индексации, предлагаемый набор инструментов позволяет генерировать субтитры и переводить аудио на 54 языка в масштабе времени, близком к реальному.
IBM Watson
IBM Watson — это суперкомпьютер IBM со встроенной системой искусственного интеллекта. Для него выпущен ряд программных продуктов, предназначенных для решения самого широкого круга задач. В сфере обработки видео IBM Watson умеет формировать и структурировать богатые мультимедийные метаданные, появляющиеся во время обработки контента, — визуальные описания, транскрибация аудио, эмоциональные редакторские заметки и прочее.
Чаще всего это решение используется компанией для работы со спортивными событиями, такими как чемпионат мира по футболу, Открытое первенство США по теннису (US Open), проекты американской спортивной телесети Fox Sports и соревнования Международной ассоциации ветеранов спортивного движения Masters.
Программа IBM Watson получает вещаемый поток и отмечает в нем ключевые моменты, формируя вокруг них мультимедийные метаданные. После этого поток возвращается редакторам видео или же доставляется непосредственно телезрителям, как это было с матчами чемпионата мира по футболу. Правда, чтобы научить суперкомпьютер размечать матчи, его предварительно тренировали на распознавание подач, голов, нарушения правил и получение красных карточек.
Сформированные метаданные к тому же хорошо структурируются, и это впоследствии позволяет редакторам, не роясь в видеозаписях, находить нужные фрагменты, связанные с определенным игроком или определенным типом события во время матча.
Качественные метаданные увеличивают телепросмотры
Канадский вещатель Rogers Communications’ Sportsnet расширил свою аудиторию и увеличил количество просмотров, внедрив систему рекомендаций, реализованную на платформе Iris.tv.
Эта платформа, работающая на базе искусственного интеллекта, позволяет подбирать для телезрителя видео, рекомендуемое к просмотру, после того как он закончит смотреть текущую программу. Помимо роста просмотров, это повысило эффективность рекламы, показываемую между просматриваемой и рекомендованной программой.
Платформа Iris.tv интегрирована c программой IBM Watson, что позволяет собирать более глубокие метаданные. В таком тандеме платформа работает еще более эффективно. Сначала видеосюжеты пропускаются через IBM Watson, а затем Iris.tv анализирует сформированные ключевые слова для создания новых категорий и наименований фильмотеки. Помимо введения новых категорий, IBM Watson также позволяет добавить видео- и аудиометаданные, имеющие ценность сами по себе, а также позволяют платформе Iris.tv точнее структурировать собственную систему метаданных. Это пример удачной командной работы двух искусственных интеллектов.
По словам генерального директора Iris.tv Филда Гартвейда (Field Garthwaite), этим интегрированным решением уже пользуется ряд крупных клиентов. У одного из них внедрение системы на 125% увеличило объемы просмотров и на 87% повысило доходы.
Рабочие решения на базе ИИ и МО для видеоиндустрии существуют уже несколько лет, но сейчас наблюдается переход от применения отдельных продуктов к их интеграции и адаптации под конкретные задачи. Директор по технологиям RealEyes Media Джун Хейдер (Jun Heider) отмечает, что разработчики систем на базе ИИ все чаще предлагают решения, кастомизированные под задачи определенного клиента, или же такие, которые клиент может кастомизировать самостоятельно.
Искусственный интеллект и машинное обучение — крайне полезные инструменты для решения задач с большим количеством переменных, которых в видео- и телеиндустрии достаточно много. Поэтому направления интеллектуальной обработки видео неизбежно будут развиваться.
И подписывайтесь на канал «Телеспутника» в «Яндекс.Дзен» .
Источник: telesputnik.ru
AI процессоры в телевизорах, телефонах, что это объяснение
С 2018 года в телевизорах начали рекламировать искуственный интеллект, пик рекламы был в 2019 году. В 2020 о искуственном интеллекте в телевизорах 2020 практически неупоминается. Так, что же такое искусственный интеллект в телевизоре.
AI в телевизорах, телефонах
Что рекламируют производители телевизоров относительно искуственного интеллекта.
- Интеллектуальная обработка изображения
- Работа с голосовыми помощниками
- Интеллектуальный звук.
- Технологии умного дома
Но так ли это на самом деле. Или это просто реклама для завлечения покупателей. Давайте подумаем над этими заявлениями и сделаем выводы.
В телевизорах и телефонах нет искуственного интеллекта
Интелектуальные процессоры
Почему так, сам процессор никак не может быть интеллектуальным, он может только подходить для большого количества вычислений, но это должны быть мощные процессоры, имеющие десятки ядер и поддерживают намного больше логических процессов. А в телевизорах и телефонах стоят маломощные процессоры архитектуры ARM, их мощности хватает на обработку текущих задач и вывода изображение на экран. Сам процессор это кусок железа, пластика, если обобщить процессор это набор транзисторов. Так, что интеллектуальность процессоров, это просто выдуманный маркетинговый ход.
Работа с голосовыми помощниками
Телевизор или телефон выступает в качестве, устройства коммуникации, передавая запрос на сервера компаний которые действительно работают с программами исскуственного интелекта Google, Alexa. Почему то мы не назывем Alexa Echo DOT или другие устройства интеллектуальными. Это тоже реклама.
Интеллектуальный звук
Это также реклама, для качественного воспроизведения звука используется изначально качественный звук записанный в форматах 5.1 или 7.1. Звук в этих форматах правильно обрабатывается телевизором и звук после обработки преобретает объёмность. Но о никакой интеллектуальности речь не идёт, обыкновенная реклама.
Технологии умного дома
Технологии умного дома пока не имеют даже начальных уровней интеллектуальности. Смартфон и телевизор используются как дистанционное управление, для управления другими устройствами поддерживающими совместную работу.
Источник: ru.tab-tv.com