Software & Systems

Большинство видеокодеков основано на блочном кодировании видео, в том числе популярные стандарты MPEG-2, MPEG-4 и H.264. Артефакт блочности вызывает квантование частотных компонент в отдельно обрабатываемых неперекрывающихся блоках. Блочность возникает только на независимо кодируемых кадрах (I-фреймах), но из-за использования компенсации движения распространяется на все остальные кадры видео.

Блочность является самым заметным артефактом кодирования изображений и видео. Для его подавления существует множество различных алгоритмов.

Зернистость пленки – эффект, проявляющийся из-за неоднородности фотоэмульсии. При оцифровке фото- и видеоматериалов с достаточным разрешением зернистость хорошо заметна, и ее сохранение и передача важны для реалистичности изображения, особенно в художественных фильмах. Параметры зерна зависят от типа пленки и могут сильно варьироваться по амплитуде и спектральному составу.

Шум зерна на видеопленке случаен по времени и слабо коррелирован в пространстве, поэтому его компрессия затруднена. При невысоких битрейтах видеокодеки могут частично подавлять или сглаживать шум зерна, оставляя неестественно выглядящие шумовые пятна или слишком гладкую картинку.

Маскирование блочности

На рисунке 1 показан полный цикл обработки видеоданных, начиная от аналогового источника и заканчивая данными, отображаемыми на экране видеоаппаратуры. Блоки, которые предлагается добавить в стандартный цикл обработки, затонированы.

Первый шаг обработки на схеме – оцифровка. Если оцифровка видеоматериалов проведена с достаточным разрешением, зернистость пленки остается хорошо заметной, сохраняя и передавая реалистичность изображения. Для трансляции видео или записи на CD, DVD изображение необходимо кодировать для уменьшения объема данных. При кодировании видео с высокой степенью сжатия зерно частично повреждается и возникают неприятные для глаза артефакты. Поэтому предлагается извлечь зерно пленки из видео при кодировании и наложить его заново перед отображением (во время декодирования).

Данный подход позволяет уменьшить артефакты, возникающие при кодировании видео, и понизить заметность такого существенного артефакта, как блочность.

Подавление шума

Для подавления зерна пленки предлагается использовать комбинацию пространственного и временного алгоритмов шумоподавления.

В качестве пространственного метода может использоваться хорошо зарекомендовавший себя алгоритм нелокального усреднения [1].

Основная идея данного алгоритма состоит в следующем. Пусть исходное изображение обозначено u={u(i)½iÎI}, NL[u](i) – значение, полученное после работы алгоритма для пикселя i, вычисляемое как взвешенная средняя сумма всех пикселей изображения:

,

где веса {w(i, j)}j зависят от похожести пикселей i и j и удовлетворяют условиям 0£w(i, j)£1 и .

С целью повышения качества работы алгоритма шумоподавления он был модифицирован для использования временной информации (отыскать блок можно было не только по обрабатываемому кадру видео, но и по предыдущему). Для предыдущего кадра использовалась компенсация движения к текущему кадру.

Моделирование зерна

Шум зерна пленки нельзя моделировать широко распространенными моделями шумов (например, моделями белого и розового шума). В спектре шума зерна пленки преобладают низкие и средние частоты.

Существуют три основные модели зерна плен­ки.

1. Аддитивная модель шума зерна выражает оптическую плотность пленки в каждой точке как сумму сигнала (то есть попадающего на нее оптического потока), шума зерна и некоторого постоянного смещения: D = signal + noise + bias.

2. Автокорреляционная модель шума зерна может быть получена из разностного уравнения , где nx,y – шум зерна в точке (x, y); K и C – параметры, зависящие от оптической плотности сигнала; wx,y – белый гауссов шум с нулевым средним.

3. Аддитивная модель шума, модулированного сигналом, выражается формулой r=s+kf(s)n, где r – наблюдаемый зашумленный сигнал; s – чистый сигнал; f(s) – зависимость уровня шума от уровня сигнала; k – константа, определяемая соотношением размера зерна и размера пикселя; n – гауссов шум, не зависящий от сигнала. Функция f для моделирования зерна пленки обычно выбирается в виде f(s)=sp.

Для маскирования артефакта блочности предлагается использовать разработанную авторами модель зерна пленки на основе спектральных образцов для интервалов яркости. Как показано в работе [2], данная модель позволяет моделировать шум, визуально не отличимый от зерна пленки, присутствовавшего в исходном видеопотоке.

Для выделения сигнала зерна пленки из сигнала изображения имеющееся изображение I представляется в виде суммы двух сигналов: , где  – идеальное изображение; G – шум зерна пленки.

Идеальное изображение  неизвестно. Поэтому приблизим его изображением , полученным из имеющегося изображения с помощью шумоподавления: . Тогда сигнал зерна пленки можно приблизить разностью .

Для построения модели выбираются области изображения, свободные от текстур и границ, вносящих искажения в спектр шума. С целью исключения засветки при определении модели зерна выбираются образцы из областей со средней яркостью и малым количеством деталей изображения. Для выделения областей с описанными свойствами применяется алгоритм, основанный на сегментации на блочном уровне.

Из выделенных областей для каждого интервала яркости отбираются образцы зерна. По набору образцов, соответствующих одному интервалу яркости, вычисляется спектр, характеризующий зерно пленки на этом интервале.

Полученный набор спектров для нескольких диапазонов яркости представляет собой модель зерна пленки с зависимостью от яркости. Она позволяет определить спектр зерна пленки для любого значения яркости при помощи интерполяции.

Кодирование модели зерна

В стандарте H.264 предусмотрена возможность передачи параметров зерна пленки (ISO/IEC 14496-10). Однако описание параметров имеет компактную форму и не позволяет передавать описанную выше модель в полном объеме.

Для качественного представления модели зерна пленки предлагается использовать базу шаблонов зерна. При кодировании видеопотока построенный для интервала яркости спектр аппроксимируется одним из шаблонов зерна из базы.

Для идентификации предложенного подхода используются зарезервированное значение поля model_id и встроенный механизм описания интервалов яркости, а для сохранения идентификатора шаблона – поле comp_model_value.

Подавление блочности

Для борьбы с артефактом блочности существуют алгоритмы четырех типов: фильтрация внутри цикла, постобработка, предобработка и метод блоков с наложением.

Фильтрация внутри цикла означает вставку фильтра подавления блочности в циклы кодирования и декодирования, как, например, в стандарте кодирования H.264.

Алгоритмы постобработки используют низкочастотные фильтры для сглаживания визуальных артефактов блочности.

Алгоритмы предобработки обрабатывают исходное изображение или видео таким образом, чтобы реконструированное изображение было наиболее близким к исходному даже при низком битрейте.

Метод блоков с наложением использует ортогональные преобразования специального вида и компенсацию движения для блоков с наложением. Это позволяет предотвратить появление пространственных разрывов на границах блоков и, как следствие, избавиться от артефакта блочности.

Для первоначального подавления блочности предлагается использовать алгоритм постобработки MSU Deblocking [3]. Основную идею работы алгоритма можно описать следующей последовательностью шагов:

1)  вычисление меры блочности во всех точках границы;

2)  вычисление меры блочности для отдельных сцен;

3)  выбор варианта алгоритма обработки для текущей сцены согласно полученному значению;

4)  вычисление нового значения пикселя с использованием алгоритма обработки для текущей сцены и вычисленной на первом шаге меры блочности.

Мера блочности является произведением двух множителей, характеризующих величину дисбаланса на границе блоков и контрастность в блоках.

Сам алгоритм подавления блочности сглаживает разрыв яркости на краях блоков в зависимости от вычисленных значений метрики блочности.

Воссоздание зерна

Для генерации сигнала зерна пленки полученный амплитудный спектр увеличивается до размеров кадра с помощью бикубической интерполяции. Фазовая компонента спектра подставляется из фазового спектра белого шума. По заданным таким образом амплитудному и фазовому спектрам выполняется обратное преобразование Фурье. Полученный сигнал  добавляется к исходному изображению как синтетическое зерно пленки.

Для наложения зерна пленки, зависящего от яркости, набор множителей Aj интерполируется на весь диапазон яркостей, и значение каждого пикселя определяется по формуле  , где A(Ix,y) – значение A, интерполированное в точке Ix,y.

Результаты экспертной оценки

Для оценки качества работы предлагаемого алгоритма обработки видео используется экспертная оценка, которая проводится по методологии SAMVIQ [4].

Были выбраны три видеопоследовательности, содержащие зерно пленки различной интенсивности – низкой, средней и высокой. Для кодирования использовались кодеки DivX и XviD. Первоначальное подавление блочности проводилось при помощи алгоритма MSU Smart Deblocking.

На рисунке 2 показаны результаты экспертной оценки видео. Более высокое значение MOS (Mean Opinon Score) означает, по мнению экспертов, более высокое качество видеоматериала (степень похожести на исходное видео).

Упрощенное описание эксперимента.

1.   Экспертам показывают исходное видео (с подписью «оригинал»).

2.   Затем показывают 4 видео, среди которых одно оригинальное, а 3 обработаны разными алгоритмами. Подписей к видео нет.

3.   Эксперты оценивают, какое видео наиболее близко к оригинальному, по 100-балльной шкале.

4.   Полученные численные результаты обрабатываются (нормировка, усреднение, работа с выбросами).

Обработанный результат для нескольких видео иллюстрирует график (рис. 2).

Как видно из экспертной оценки результатов работы предложенного алгоритма, его использование значительно уменьшает визуальную заметность артефактов блочности, что повышает общую оценку качества видео.

В заключение отметим, что в данной статье предложен новый алгоритм для уменьшения визуальной заметности артефакта блочности в видео на основе моделирования и реконструкции зерна пленки. Предложенный алгоритм повышает визуальное качество видео после обработки существующими алгоритмами подавления блочности, что подтверждает экспертная оценка, проводимая по методологии SAMVIQ.

Современные кодеки начинают включать поддержку моделирования зерна пленки в процесс кодирования. Использование предложенного ал-

горитма в алгоритмах подавления блочности, в том числе в схеме кодирования внутри кодека, позволит повысить результирующее качество видеоматериала для пользователя.

Литература

1.   Buades A., Coll B., Morel J.M. A non local algorithm for image denoising, IEEE Int. Conf. on Computer Vision and Pattern Recognition, CVPR 2005. Vol. 2, pp. 60–65.

2.   Стрельников К., Куликов Д., Лукин А. Построение и применение модели зерна пленки на основе спектральных образцов // Graphicon-2007: тр. конф. М., 2007. С. 248–252.

3.   Ватолин Д., Гришин С. Качественный метод деблокинга видео без использования информации о квантовании // GraphiCon.: тр. конф. 2004. С. 257–60.

4.   EBU-UER BNP 056: SAMVIQ – Subjective Assessment Methodology for Video Quality. URL: http://www.itu.int/md/R03-WP6Q-C-0023/en (дата обращения: 12.06.2010).

5.   Jacky Chan Kit Yan. Statistical Methods for Film Grain Noise Removal and Generation // Master’s thesis, University of Toronto, Canada, 1997.