ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Bookmark

Next issue

2
Publication date:
16 June 2020
-->

Analysis of color spaces effect on the results of color image processing by equalization algorithms

Date of submission article: 2019-06-20
UDC: 519.68
The article was published in issue no. № 3, 2019 [ pp. 444-451 ]
Abstract:Color images do not often have a necessary level of visual quality. The histogram equalization method is one of the common ways to improve the contrast of a color image. Usually, color image processing with contrast irregularity is made in the YCbCr color space. However, this color space is not universal to improve any type of distortion. The use of inappropriate color space might significantly reduce the quality of color reproduction. The paper presents a comparative analysis of color space influence on a processing result of histo-gram equalization algorithms. There is a description of an image structure. The authors consider vari-ous color spaces such as RGB, YCbCr, HSV and Lab; their advantages, disadvantages and application areas. There also is a detailed description of the process of direct and inverse transformation of color schemes. The paper proposes a classification of distorted images with contrast irregularity based on their histograms. In order to equalize the contrast, six different histogram equalization algorithms process an image brightness component. For color reproduction analysis, image processing is performed in each of the colored spaces. Examination of original and processed images in different color spaces has shown the color representation dependence on distortion types and color schemes. Estimation of the results of distorted image processing using quantitative metrics proved to be ineffective due to the high share of noise in an image and the absence of an original undistorted image. Therefore, a visual evaluation of a person is used to assess image quality. The paper also describes the research peculiarities. Based on obtained the results, to improve color reproduction, a corresponding color scheme is se-lected for each type of distorted color image. The HSV color space is best for processing high-contrast images, the Lab color space is for low-contrast images, the YCbCr system is for bright images, and the HSV space is for dark images.
Аннотация:Цветные изображения зачастую не обладают необходимым уровнем визуального качества. Одним из распространенных способов улучшения контраста цветного изображения является метод выравнивания гистограммы. Обработка цветных изображений с нарушением контраста, как правило, производится в цветовом пространстве YCbCr. Однако данное цветовое пространство не является универсальным для улучшения любых типов искажения, а использование неподходящего цветового пространства может существенно снизить качество цветопередачи. В данной работе проводится сравнительный анализ влияния цветовых пространств на результат обработки алгоритмов эквализации. Представлено описание структуры изображений. Рассмотрены различные цветовые пространства, такие как RGB, YCbCr, HSV и Lab, их преимущества, недостатки и области применения. Также подробно описан процесс прямого и обратного преобразований цветовых схем. Предложена классификация искаженных изображений с нарушением контраста на основе их гистограмм. Для выравнивания контраста яркостная компонента изображения обрабатывается шестью различными алгоритмами эквализации. Для анализа цветопередачи обработка изображений производится в каждом из рассмотренных цветовых пространств. При исследовании исходных и обработанных изображений в разных цветовых пространствах была выявлена зависимость представления цвета от типов искажения и цветовых схем. Оценка результатов обработки искаженных изображений при помощи количественных метрик оказалась неэффективной из-за наличия высокой доли шумов на изображении и отсутствия оригинального неискаженного снимка. Поэтому для оценки качества изображений используется визуальная оценка его человеком. Также описываются особенности проведения исследования. На основе полученных результатов для улучшения цветопередачи для каждого типа искаженных цветных изображений подбирается соответствующая цветовая схема. Для обработки высококонтрастных изображений лучше всего подойдет цветовое пространство HSV, для низкоконтрастных - цветовая схема Lab, для ярких – система YCbCr, для темных изображений – пространство HSV.
Authors: M.I. Bald (midzhyager@gmail.com ) - The National Research University of Information Technologies, Mechanics and Optics (Postgraduate Student), St. Petersburg, Russia
Keywords: equalization, color space, histogram, contrast, image
Page views: 802
PDF version article

Font size:       Font:

В современных инфокоммуникационных системах, в том числе в автономных встраиваемых вычислительных устройствах, значительная доля выполняемых прикладных задач связана с обработкой, хранением и передачей информации в виде изображений. Изображения используются для исследований недоступных для человека мест при помощи различных устройств. Чаще всего они работают в автономном режиме, и человек не может контролировать качество получаемых при помощи таких устройств снимков. К автономным встраиваемым вычислительным устройствам, особенно к киберфизическим системам, предъявляются высокие требования по обеспечению безопасности и надежности реализации процессов обработки, хранения и передачи изображений [1–3].

Часто изображения, полученные с мобиль- ных киберфизических систем, не обладают нужным уровнем визуального качества, что отрицательно сказывается на достоверности и точности получаемой информации. На качество изображения могут повлиять различные факторы, такие как погодные условия, неисправность аппаратуры, освещенность объектов съемки и другие. Это затрудняет анализ изображений и принятие на его основе верных решений.

Улучшение изображений требуется при решении прикладных задач в медицине, геологоразведке, экологическом контроле, контроле состояния лесных массивов, безопасности и т.д. Одним из распространенных способов улучшения контраста цветного изображения является метод выравнивания гистограммы.

Целью автора данной работы является улучшение визуального качества цветных изображений в различных цветовых пространствах на основе алгоритмов эквализации.

Структура изображений и цветовых пространств

Цифровое изображение представляет собой прямоугольную матрицу, состоящую из фикси- рованного количества строк и столбцов элементов, которые называются пикселями (от англ. pix-el – picture element). В цветных изображениях пиксель может быть представлен одним или несколькими числовыми значениями, каждое из которых принадлежит логической структуре, называемой компонентой.

В качестве примера можно рассмотреть цветовое пространство RGB, основанное на трех основных (базовых) цветах. Каждый пиксель изображения, представленного в RGB-модели, хранит в себе одно значение для красного (Red), одно значение для зеленого (Green), одно значение для синего (Blue) цветов. Каждое значение представляется числом от 0 до 2N – 1, где N – количество битов, выделяемых для одного пикселя. Число битов, используемых для представления каждого пикселя, называется глубиной цвета. Для описания цвета пикселя в системе RGB обычно используют 3 байта, по 8 бит на один цвет. Каждое значение представляется числом в диапазоне от 0 до 255. Эти значения отображают интенсивность точек изображения. Зачастую 0 является самым малым (темным), а 255 – самым большим (светлым) значением интенсивности. При смешении основных цветов, например, синего (B) и красного (R), получается пурпурный цвет (M, magenta), при смешении зеленого (G) и красного (R) – желтый (Y, yellow), при смешении зеленого (G) и синего (B) – голубой (С, cyan). При смешении всех трех цветовых компонент получаем белый цвет (W, white) (рис. 1). Система RGB имеет неполный цветовой охват: некоторые насыщенные цвета не могут быть представлены смесью указанных трех компонент. В первую очередь, это цвета от зеленого до синего, включая все оттенки голубого. Несмотря на неполный охват, модель RGB широко используется в настоящее время и подходит для описания цветов, отображаемых мониторами, в первую очередь, в цветных телевизорах и дисплеях компьютеров.

RGB-пространство широко применяется в системах отображения, так как в подобных си- стемах для формирования цвета как раз и ис- пользуются три данные компоненты. Однако RGB имеет недостатки, когда речь заходит о реальных изображениях. Дело в том, что для сохранения цвета изображений необходимо знать и хранить все три компоненты RGB и потеря одной из них сильно исказит визуальное качество изображения. Также при обработке изображений в RGB-пространстве бывает не всегда удобно изменить только яркость отдельного пикселя, так как в этом случае необходимо будет прочитать все три значения компонент RGB, пересчитать их для желаемой яркости и записать обратно. По этим и другим причинам для передачи и хранения цветовой информации используется цветовое пространство YCbCr [4–6].

В соответствии с форматом YCbCr изображение также представляется с помощью трех компонент [7]. Используя следующие формулы, компоненты R, G и B преобразуются в яркостную (Y) и две цветоразностные (Cb и Cr) компоненты:

Y = 0.299R + 0.587G + 0.114B,

Cb = 0.5643(B – Y) + 128,

Cr = 0.7132(R – Y) + 128.

Обратное преобразование выполняется по формулам:

G = Y – 0.714(Cr – 128) – 0.344(Cb – 128),

R = Y + 1.402(Cr – 128),

B = Y + 1.772(Cb – 128).

 

Рис. 1. Куб RGB цветов

Fig. 1. RGB сolor сube
Прямое и обратное преобразования выполняются с использованием арифметического округления, то есть преобразование форматов в общем случае является необратимым. Более того, в результате обратного преобразования возможен выход восстановленных значений R, G и B за границы исходного диапазона. В этом случае после восстановления необходимо выполнить операцию клиппирования (clipping):

где xmax – максимальное значение яркости; xmin – минимальное значение яркости; x – текущее значение яркости [4].

Преимущество пространства YCbCr по сравнению с RGB заключается в том, что Cb и Cr можно представлять с меньшим разрешением, чем Y, так как глаз человека менее чувствителен к цвету предметов, чем к их яркости. Это позволяет сократить объем информации, требуемый для представления хроматических компонент, без заметного ухудшения качества передачи цветовых оттенков изображения. Такой подход к преобразованию цветового пространства дает дополнительный эффект при сжатии цветных изображений. При этом алгоритмы сжатия сначала преобразуют исходное цветовое пространство из RGB в YCbCr, сжимают, а затем, при обратном восстановлении, преобразуют изображение в цветовое пространство RGB.

К сожалению, цветовые системы RGB, YCbCr и другие подобные плохо приспособлены для описания цветов таким образом, как это свойственно человеку [7]. При описании цвета человек не говорит о процентном содержании в нем каждого из основных цветов. Глядя на окрашенный объект, человек описывает его с помощью цвета (цветового тона), насыщенности и светлоты. Для такого способа представления цветового пространства была разработана модель HSV. В этой модели диагональ куба изображается в виде вертикальной оси яркости (V, Value). Тон (H, Hue) определяется как угол от 0 до 2p относительно оси красного цвета. Пастельные цвета располагаются в центре цветового пространства вблизи оси V, а глубокие – в периферийных областях шестигранного конуса. Насыщенность (S, Saturation) характеризует чистоту цвета (цветового тона). Значение 1 соответствует идеально чистому (насыщенному) цвету, а 0 – совершенно ненасыщенному цвету, то есть некоторому оттенку серого цвета (рис. 2).

С использованием следующих формул система RGB преобразуется в цветовое пространство HSV:

,

Cmax = max(R¢G¢B¢), Cmin = min(R¢G¢B¢),

D = Cmax – Cmin,

 V = Cmax.

Обратное преобразование выполняется по формулам:

0 £ H £ 360, 0 £ S £ 1, 0 £ V £ 1,

Система HSV удобна многим графическим дизайнерам, так как в ней обеспечивается непосредственный контроль яркости и тона. HSV лучше остальных цветовых пространств подходит для некоторых алгоритмов обработки изображений, поскольку в основе модели лежит естественное, интуитивно близкое человеку описание цвета.

Хотя цветовое пространство HSV и приспособлено для описания цветов, как это свойственно человеку, но оно не соответствует спектру, обозримому человеческим глазом. Самой близкой цветовой системой, соответствующей особенностям восприятия цвета глазом человека, является система Lab. В этом цветовом пространстве компонента a меняется от зеленого (–128) до пурпурного (127), а компонента b – от голубого (–128) до желтого (127). Отрицательные значения a и b компонент содержат холодные цвета, положительные – теплые. Ось L (Luminance) определяет ос- вещенность и принимает значения от 0 до 100 (рис. 3).

Для перевода системы RGB в пространст- во Lab используется промежуточное пространство XYZ. Компоненты RGB преобразуются в компоненты XYZ по следующим формулам:

Затем XYZ переводится в Lab по формулам:

 
Рис. 3. Представление цветового 
пространства Lab

Fig. 3. Lab color space
Обратное преобразование выполняется в обратной последовательности. Компоненты Lab преобразуются в XYZ по формулам:

Далее XYZ переводится в RGB:

В результате обратного преобразования возможен выход восстановленных значений R, G и B за границы исходного диапазона. В этом случае выполняется операция клиппирования, описанная ранее.

Пространство Lab обладает самым широким цветовым спектром из всех моделей. Поэтому данная цветовая схема применяется в ПО для обработки изображений в качестве промежуточного цветового пространства, через которое конвертируются данные между другими цветовыми пространствами. При этом особые свойства Lab сделали редактирование в этом пространстве мощным инструментом цветокоррекции.

Улучшения визуального восприятия изображения

Используя яркостную компоненту (Y), изображение можно представить в виде гистограммы. Гистограмма изображения отражает его свойства и статистические особенности, а также может использоваться для оценки распределения данного изображения.

По виду гистограмм изображений с нарушением контрастности можно выделить следующие типы изображений [7], не обладающие необходимым уровнем качества визуального восприятия: темные, яркие, низкоконтрастные, высококонтрастные.

Качество изображения можно изменить при помощи алгоритмов эквализации.

Эквализация гистограмм распределения яркостей – это некоторое преобразование, целью которого является приближение гистограммы выходного изображения к равномерному распределению [5, 6].

Существует множество методов для улучшения визуального восприятия изображений с нарушением контраста. Одни алгоритмы на­правлены на устранение одного из типов искажения и менее приспособлены к обработке других типов, другие могут решать множество проблем, но уступают предыдущим в качестве обработки определенного типа искажения. Есть алгоритмы, которые при обработке учитывают положение объектов на изображении. Существуют методы, использующие при обработке только гистограмму [8]. Были выбраны современные и распространенные методы эквализации, основанные на различных подходах. В данной работе использованы следующие алгоритмы:

-     локальная коррекция цвета (Local Color Correction, LCC) [9];

-     выравнивание гистограмм (Histogram Equalization, HE) [5, 6];

-     адаптивная эквализация гистограммы c ограничением (Contrast Limited Adaptive Histogram Equalization, CLAHE) [10, 11];

-     динамическое выравнивание гистограмм (Dynamic Histogram Equalization for Image Contrast Enhancement, DHE) [12];

-     рекурсивное выравнивание поддиапазонов гистограммы на основе выдержки (Recursive exposure based sub-image histogram equalization, R-ESIHE) [13, 14];

-       динамическое выравнивание гистограмм по квадрантам (Quadrants Dynamic Histogram Equalization for Contrast Enhancement, QDHE) [15].

Описание проведения исследования

Для оценки качества изображений были рассмотрены различные метрики. Но оценка результатов, обработанных алгоритмами эквализации, не совпадает с визуальной оценкой человека. Это обусловлено тем, что некоторые алгоритмы оценки изображений оценивают искаженное изображение, опираясь на оригинальный вариант. В данной работе использовались реальные испорченные снимки и получить оригинал не представлялось возможным. Также на изображениях с реалистичными искажениями присутствовала большая доля шумов, затрудняющих оценку многих метрик. В связи с указанными факторами оценка результатов проводилась при помощи визуальной оценки человеком.

Для составления визуальной оценки изображений был проведен опрос среди 30 магистрантов, обучающихся в университете. Экспертам было предоставлено 24 изображения, каждое в девятнадцати вариантах – исходное изображение и результаты обработки каждым из алгоритмов в каждом из цветовых пространств. Респонденты, основываясь на цветопередаче, должны были расставить обработанные изображения в порядке убывания так, чтобы на первом месте стояло изображение с наилучшим цветовым охватом.

Результаты оценки обработки алгоритмов эквализации в различных цветовых пространствах

При анализе исходных и обработанных изображений в разных цветовых пространствах была выявлена зависимость представ- ления цвета от типов искажения и цветовых схем.

В цветовом пространстве Lab черно-белая гамма получается при нулевых значениях координат a и b, а изменение параметра L не влияет на насыщенность и тон цвета. При рассмотрении темных изображений после конвертации затемненных пикселей в данную цветовую схему цветоразностные компоненты a и b принимают значения, стремящиеся к нулю. Это объясняется тем, что объекты с данным типом искажения не обладают необходимым количеством информации о цвете для их корректного отображения в рассматриваемой системе. При рассмотрении ярких изображений после перевода засвеченных пикселей компоненты a и b принимают значения, отличные от нуля, и при эквализации сохраняют свою цветовую гамму.

В цветовой схеме YCbCr компоненты Cb и Cr определяют цвет пикселя, а  – его яркость. В данном пространстве оттенки серого получаются при значениях координат Cb и Cr, равных 128. При исследовании темных и ярких изображений было выявлено, что после конвертации затемненных и засвеченных пикселей изображения из системы RGB в YCbCr происходит схожая ситуация, как и с переводом из системы RGB в Lab. Затемненные пиксели не обладают необходимым количеством информации об их цвете. Поэтому после перевода они приобретают цвета, близкие к оттенкам серого. Цветоразностные компоненты засвеченных пикселей содержат больше информации, поэтому после конвертации в пространство YCbCr цвета сохраняются.

В цветовом пространстве HSV информацию о тоне содержит компонента H, о насыщенности – компонента S, яркости – компонента V. Особенность этого пространства заключается в том, что регулировка яркостной компоненты не влияет на показатель насыщенности. За формирование темных цветов отвечает только яркостная компонента V, то есть цвет, представляемый в этой системе, может быть одновременно и темным, и насыщенным. После преобразования компонент R, G, B в данную цветовую схему затемненные пиксели со- держат высокий показатель насыщенности и низкое значение яркости. После процесса эквализации яркость затемненных областей изображения выравнивается, что приводит к улучшению цветопередачи. Однако после конвертации пиксели низкоконтрастных изображений имеют средний показатель насыщенности. Выравнивание показателя яркости пикселей с таким искажением повысит контраст, но не приведет к увеличению глубины цвета.

В результате работы для улучшения цветопередачи к каждому классу искаженных цветных изображений было подобрано наиболее подходящее цветовое пространство. Для обработки высококонтрастных изображений лучше всего подходит цветовое пространство HSV, для низкоконтрастных – цветовая схема Lab, для ярких – система YCbCr, для темных изображений – пространство HSV.

Литература

1.    Богатырев В.А., Богатырев А.В. Функциональная надежность систем реального времени // Науч.-технич. вестн. ИТМО. 2013. № 4. С. 150–151.

2.    Богатырев В.А., Богатырев С.В. Своевременность обслуживания в многоуровневых кластерных системах с поэтапным уничтожением просроченных запросов // Вестн. комп. и информ. технологий. 2018. № 2. С. 28–35. DOI: 10.14489/vkit.2018.02.pp.028-035.

3.    Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых компьютерных систем // Науч.-технич. вестн. ИТМО. 2009. № 5. С. 92–98.

4.    Гильмутдинов М.Р., Веселов А.И. Цифровая обработка изображений. СПб: Изд-во ГУАП, 2013. С. 9–10.

5.    Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

6.    Шапиро Л. Компьютерное зрение. М.: БИНОМ–Лаборатория знаний, 2006. 753 с.

7.    Фисенко Т.Ю., Фисенко В.Т. Компьютерная обработка и распознавание изображений. СПб: СПбГУ ИТМО, 2008. 192 с.

8.    Гомон Ю.Б. Методы улучшения качества изображений. СПб, 2014. 35 с.

9.    Moroney Nathan. Local Color Correction Using Non-Linear Masking. Proc. IS&T/SID 8th Color Imaging Conf., 2000, pp. 108–111.

10. Pizer Stephen M., Amburn E. Philip. Adaptive Histogram Equalization and its Variation. Computer vision, graphics, and image processing. 1987, vol. 39, pp. 355–368.

11. Спижевой А.С., Оголихина А.И., Бовырин А.В. Автоматическое оценивание возраста человека с использованием адаптивного выравнивания яркости и биологически обусловленных признаков // Вестн. Нижегородского ун-та им. Н.И. Лобачевского. 2014. № 1. С. 273–279.

12. Abdullah-Al-Wadud M., Kabir M.H., Ali Akber Dewan M., Oksam Chae. A dynamic histogram equalization for image contrast enhancement. IEEE Trans. Consumer Electron. 2007, no. 53, pp. 593–600.

13. Chen S.D., Ramli A.R. Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation, IEEE Trans. Consumer Electron. 2003, vol. 49, pp. 1301–1309.

14.     Singh K., Kapoor R., Sanjeev Kr. Sinha. Enhancement of low exposure images via recursive histogram equalization algorithms. Optik, 2015, vol. 126, iss. 20, pp. 2619–2625. DOI: 10.1016/j.ijleo.2015.06.060.

15. Ooi C.H., Isa N.A.M. Quadrants dynamic histogram equalization for contrast enhancement. IEEE Trans. Consumer Electron, 2010, no. 56, pp. 2552–2559.

References

 

  1. Bogatyrev V.A., Bogatyrev A.V. Functional reliability of real-time systems. Sci. and Tech. J. of Information Technologies, Mechanics and Optics. 2013, no. 4, pp. 150–151 (in Russ.).
  2. Bogatyrev V.A., Bogatyrev S.V. Timeliness of service in a multi-tier clustered systems with the phased destruction overdue requests. Herald of Computer and Information Technologies. 2018, no. 2, pp. 28–35. DOI: 10.14489/vkit.2018.02.pp.028-035 (in Russ.).
  3. Bogatyrev V.A., Bogatyrev S.V. Optimality criteria for multi-fault tolerant computer systems. Sci. and Tech. J. of Information Technologies, Mechanics and Optics. 2009, no. 5, pp. 92–98 (in Russ.).
  4. Gilmutdinov M.R., Veselov A.I. Digital Image Processing. St. Petersburg, GUAP Publ., 2013,
    pp. 9–10.
  5. Gonzalez R.C., Woods R.E. Digital Image Processing. Addison-Wesley Publ., 3rd ed., 1992, 716 p. (Russ. ed.: Moscow, Tekhnosfera Publ., 2005, 1072 p.).
  6. Shapiro L. Computer Vision. Moscow, BINOM. Laboratoriya znaniy Publ., 2006, 753 p.
  7. Fisenko T.Yu., Fisenko V.T. Computer Processing and Image Recognition. St. Petersburg, SPbGU ITMO Publ., 2008, 192 p.
  8. Gomon Yu.B. Image Enhancement Methods. St. Peterburg, 2014, 35 p.
  9. Moroney Nathan. Local color correction using non-linear masking. Proc. IS&T/SID Eighth Color Imaging Conf. 2000, pp. 108–111.
  10. Pizer S.M., Amburn E.Ph. Adaptive histogram equalization and its variation. Computer Vision, Graphics, and Image Processing. 1987, vol. 39, pp. 355–368.
  11. Spizhevoy A.S., Ogolikhina A.I., Bovyrin A.V. Automatic estimation of human age using adaptive alignment of brightness and biologically determined signs. Vestn. of Lobachevsky Univ. of Nizhni Novgorod. 2014, no. 1, pp. 273–279 (in Russ.).
  12. Abdullah-Al-Wadud M., et al. A dynamic histogram equalization for image contrast enhancement. IEEE Trans. Consumer Electron. 2007, no. 53, pp. 593–600.
  13. Chen S.D., Ramli A.R. Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation. IEEE Trans. Consumer Electron. 2003, no. 49, pp. 1301–1309.
  14. Singh K., Kapoor R., Sanjeev Kr. Sinha. Enhancement of low exposure images via recursive histogram equalization algorithms. Optik, 2015, vol. 126, iss. 20, pp. 2619–2625. DOI: 10.1016/j.ijleo.2015.06.060.
  15. Ooi C.H., Isa N.A.M. Quadrants dynamic histogram equalization for contrast enhancement. IEEE Trans. Consumer Electron. 2010, no. 56, pp. 2552–2559.

Permanent link:
http://www.swsys.ru/index.php?page=article&id=4621&lang=&lang=en
Print version
The article was published in issue no. № 3, 2019 [ pp. 444-451 ]

Perhaps, you might be interested in the following articles of similar topics: