Software & Systems

На современном этапе развития компьютерных технологий все большее распространение получают системы технического зрения (СТЗ). Их основное назначение  состоит в дополнении или даже замене человека в областях деятельности, связанных со сбором и анализом зрительной информации. Уровень их использования в прикладных областях является одним из наиболее ярких и наглядных интегральных показателей уровня развития высоких технологий в самых различных отраслях человеческой деятельности [1]. Спектр применения подобных систем сейчас очень широк: медицина (исследование клеток крови, роговицы глаз); криминалистика (идентификация отпечатков пальцев, распознавание лица человека); информатика (распознавание рукописных, печатных и графических материалов); геодезия и картография (автоматическое распознавание изображений участков земной поверхности); госавтоинспекция (определение типа движущегося автомобиля и его номерных знаков); сельское хозяйство (классификация плодов по параметрам формы, цвета и размеров).

Но традиционно развитие СТЗ ориентировано на промышленное производство, связанное с роботами. Если робот не будет иметь информации о состоянии своего рабочего окружения, он сможет работать лишь по жестко заданной программе в строго детерминированных условиях производства. Даже небольшие изменения этих условий (нужная деталь задержалась или оказалась неверно ориентирована) могут привести к сбою в функционировании робота. Поэтому современное широкое использование СТЗ обеспечивает робота информацией о тех объектах, которые он должен классифицировать и распознать. Классификация и распознавание осуществляется на основе различных характеристик (признаков) объектов.

Признаки, используемые при классификации и распознавании должны быть инвариантны к повороту, переносу и изменению масштаба объекта. Это требование связано с тем, что объект может зачастую оказаться в любом месте рабочего поля робота, причем его ориентация также заранее неизвестна. А изменение масштаба часто связано со сложностью точной настройки камеры СТЗ. В результате объекты могут оказаться чуть больше или меньше ожидаемых. СТЗ, использующие признаки, инвариантные к переносу и повороту объектов в поле зрения видеодатчика, разработаны на хорошем коммерческом уровне. Использование в системе распознавания признаков, не зависящих от изменения масштаба объектов, еще не получило должного решения [2].

Авторами разработан комплекс программ, который предназначен для выделения базовых признаков объектов и формирования на их основе признаков, инвариантных к повороту, переносу и изменению масштаба для целей классификации и распознавания объектов.

Блок предварительной обработки включает алгоритмы контрастирования, подчеркивания границ, фильтрации помех, а также бинаризации изображения.

Использование алгоритмов контрастирования и подчеркивания границ позволяет получить контурные и скелетные изображения лучшего качества (меньше количество разрывов, более тонкие контурные линии и т.д.), чем без их применения. Комплекс включает алгоритм линейного контрастирования изображения и алгоритмы выравнивания гистограмм. Метод видоизменения гистограммы предусматривает преобразование яркости исходного изображения, чтобы гистограмма распределения яркостей выходного изображения приняла желаемую форму. В комплексе реализованы алгоритмы, использующие равномерное распределение, экспоненциальное, распределение Рэлея, степени 2/3 и гиперболическое распределение. Видоизменения гистограмм используются для получения качественных силуэтного и контурного изображений [2].

На полутоновом изображении, полученном с камеры СТЗ, может присутствовать шум. Для его сглаживания используются методы фильтрации помех. Это локальные рекурсивные и нерекурсивные фильтры с разными масками, а также медианная фильтрация. Локальные фильтры, реализованные в комплексе, используют маски размером 3´3 элемента. Рекурсивный фильтр часто показывает лучшие значения, но он работает несколько дольше. Медианная фильтрация использует маски размером 3´3 и 5´5. Она обладает лучшими сглаживающими свойствами, но требует больше времени на выполнение (особенно это касается фильтра с маской 5´5).

Затем следует этап бинаризации. Поскольку в процессе принятия решения важны сведения не о яркости конкретных точек объекта, а о его форме, то использование в комплексе программ бинаризации позволяет уменьшить объем обрабатываемых данных и упростить многие алгоритмы выделения базовых признаков объектов (в основном геометрических и топологических характеристик).

В комплексе реализованы следующие методы бинаризации: пороговое разделение с глобальным и с локальным порогами. Первый алгоритм работает быстро и применяется в случае, если гистограмма изображения имеет ярко выраженные моды объектов и фона. Иногда на гистограмме изображения сложно указать порог, надежно разделяющий фон и объекты. Тогда используется разделение с локальным порогом. При этом гистограммы строятся не для всего изображения, а для отдельных его частей.

После бинаризации на изображении остаются площадные объекты (представляющие собой связные области однотипных точек). Получаемые для них признаки довольно устойчивы, так как построены на большом количестве точек (обычно их площадь составляет несколько тысяч точек), то есть влияние шума и погрешности дискретизации на них снижено. Но в то же время из-за большого количества точек, подлежащих обработке, алгоритмы выделения признаков площадных объектов являются вычислительно сложными.

С целью уменьшения объема вычислений в СТЗ используют линейное представление объектов в виде их контуров. Использование контурного препарата позволяет существенно сократить количество обрабатываемых точек (в несколько десятков раз). Но устойчивость контурных признаков к шуму и малейшим искажениям формы объектов оставляет желать лучшего.

Существует еще один метод представления изображения – скелетный. Скелет объекта позволяет сохранить присущие данному объекту признаки. Он, так же как и контур, включает относительно небольшое количество точек, и вычисление его признаков не занимает много времени. Но если контурные признаки используются в СТЗ очень часто, то применение скелетных характеристик в процессе распознавания практически не исследовано.

Для различных типов объектов могут оказаться востребованы разные признаки. Для распознавания одних подойдет контурное или скелетное представление, для других, подверженных воздействию шума, нужно использовать площадные характеристики. Поэтому в комплекс включены программы, работающие со скелетным, контурным и площадным представлениями объектов.

Для выделения контуров использовались: градиентные методы на основе операторов Собеля, Превитта и Кирша, метод локального анализа. Применение операторов часто дает линии толщиной в 2–3 пикселя (особенно это касается наклонных линий) и для них требуется утоньшение, чтобы получить тонкую линию. Локальный анализ исследует окрестность размером 2´2. Он сразу возвращает изображение тонких линий.

Эти алгоритмы реализованы в модуле формирования признаков объектов из замкнутых линий (ОЗЛ). Для замкнутых линий в комплексе программ вычисляются следующие базовые признаки: площадь линии (количество точек); ее периметр (с учетом дискретности линии); максимальное, минимальное и среднее значения кривизны лини в точке; максимальное, минимальное и среднее расстояния от центра тяжести линии до точек ее границы; длина и ширина линии; угол наклона к оси X; площадь и периметр минимального описанного вокруг объекта прямоугольника; площадь и периметр выпуклой оболочки объекта; максимальное, минимальное и среднее расстояния от центра тяжести выпуклой оболочки до точек ее границы.

В разработанном комплексе реализовано несколько методов скелетизации: итеративный с использованием масок, волновой алгоритм и утоньшение. Масочный алгоритм работает довольно быстро, но он может давать выбросы (короткие отрезки), если граница объекта неравномерна. Поэтому он используется для выявления дефектов формы; при распознавании применяется волновой алгоритм. Его основная особенность – возможность настройки. Существует такой настраиваемый параметр, как размер ребра скелета. Чем больше это значение, тем менее чувствителен алгоритм к искажению формы объекта. Если же на изображении присутствуют сильно вытянутые объекты, то предпочтительнее применять алгоритм утоньшения, который построит среднюю линию объекта. Скелетное изображение состоит из тонких разомкнутых линий (объекты из разомкнутых линий – ОРЛ). Алгоритмы выделения скелета реализованы в модуле формирования признаков ОРЛ.

Базовые признаки ОРЛ аналогичны признакам ОЗЛ, добавляется лишь расстояние между концевыми точками линии и угол наклона отрезка, соединяющего эти концевые точки. Признаки, связанные с выпуклой оболочкой объекта не используются, так как для разомкнутых линий она не строится.

Модуль формирования признаков ОЗЛ содержит только алгоритмы вычисления признаков, так как изображение после бинаризации содержит как раз площадные объекты. Базовыми признаками таких объектов являются: площади объекта и его дыр; полная площадь объекта (с учетом площади дыр); площадь минимального описанного прямоугольника; площадь выпуклой оболочки объекта; площадь заливов (вогнутых участков объекта); моменты инерции объекта относительно осей X и Y; смешанный и главные моменты инерции; степенные, центральные и нормированные центральные моменты объекта.

Использование выпуклых оболочек объектов позволяет значительно расширить ансамбль вычисляемых признаков. Для построения выпуклой оболочки в комплексе программ реализованы алгоритмы: Джарвиса и  Грэхема. Они в целом похожи, но метод Грэхема предполагает предварительную сортировку точек объекта. Если количество точек относительно мало, то данное действие может излишне усложнить алгоритм и не принести никакой выгоды. Но в том случае, когда объект содержит много точек, подобная сортировка позволяет значительно ускорить процесс. Поэтому для построения выпуклой оболочки ОЗЛ в комплексе применялся метод Джарвиса, для формирования выпуклой формы площадного объекта – метод Грэхема.

Практически все перечисленные базовые признаки изменяются при масштабировании объектов. Поэтому их использование в системах распознавания имеет свои ограничения. Для формирования инвариантных к переносу, повороту и изменению масштаба характеристик объектов в программном комплексе использовались отношения вида Сi/Cj, где Сi и Cj – базовые признаки одинаковой размерности [3].

Очевидно, что если числитель и знаменатель дроби при аффинном преобразовании объекта изменяются в одной степени, значение сформированного таким образом признака не будет зависеть от переноса, поворота и масштаба объекта. Для формирования таких отношений были выделены шесть подмножеств признаков:

-         площадные признаки: {S, S¶сум, S0, S3, Sвып, DSвып, Sпр, DSпр};

-         линейные признаки: {A, B, Pвш, P, Pпр, Pвып, rmax, rmin, rср};

-         моменты инерции: {mx, my, mxy, M1, M2, mxвып, myвып, mxyвып, M1вып, M2вып};

-         степенные моменты: {m11, m12, m13, m21, m22, m23, m31, m32, m33, m11вып, m12вып, m13вып, m21вып, m22вып, m23вып, m31вып, m32вып, m33вып};

-         центральные моменты: {m11, m12, m13, m21, m22, m23, m31, m32, m33, m11вып, m12вып, m13вып, m21вып, m22вып, m23вып, m31вып, m32вып, m33вып};

-         нормированные моменты: {h11, h12, h13, h21, h22, h23, h31, h32, h33, h11вып, h12вып, h13вып, h21вып, h22вып, h23вып, h31вып, h32вып, h33вып}.

Каждое из этих подмножеств составлено из признаков (моментных, метрических характеристик и связанных с площадью объекта), которые при изменении объекта должны изменяться пропорционально. Моментные признаки выделены в четыре категории. Значения даже нормированных центральных моментов могут достигать миллиардов и триллионов, поэтому использовать их совместно невозможно. Да и более простые признаки из различных подмножеств обрабатывать вместе нельзя. Например, очевидно, что при увеличении масштаба объекта его площадь возрастет намного больше, чем длина периметра. Поэтому если вычислить их отношения для исходного и измененного объектов, они будут существенно отличаться.

Таким образом, в формулу Сi/Cj подставляются величины из одного подмножества признаков. В целом в комплексе формируются более 1000 подобных признаков. Не все они одинаково устойчивы к переносу, повороту и изменению масштаба объектов. Некоторые признаки показывают хорошую стабильность, другие – неприемлемую. Чтобы определить стабильность сформированных характеристик, используется следующий подход: полученные признаки сохраняются в базу данных, затем осуществляется перенос, поворот и масштабирование исходных объектов и вычисляются признаки полученных объектов. Чем большим будет количество изменений исходных объектов с различными  параметрами (угол поворота, коэффициент масштабирования, величины смещения по осям X и Y), тем более точно будет найдена устойчивость признаков.

Алгоритмы переноса, поворота и масштабирования объектов реализованы в соответствующем модуле. Он получает на вход исходные объекты и параметры их изменения и выдает изображение с нужным образом преобразованными объектами.

Для хранения рабочих данных в состав комплекса включена база данных. Она содержит изображения объектов, их базовые признаки, полученные на их основе инвариантные характеристики и время вычисления признаков. Эти данные хранятся как для исходного объекта, так и для его измененных состояний. База данных реализована на основе СУБД Firebird, которая является бесплатной и сравнительно легкой и функциональной. Кроме предоставления данных из базы, комплекс включает средства создания на ее основе отчетов: вывод средних значений признаков; стабильных и нестабильных характеристик; объектов, для которых существует наибольшее и наименьшее количество стабильных признаков.

Сравнение признаков исходных объектов и полученных после изменения позволяет вычислить отклонения значений признака и его стабильность. Это сравнение производится в модуле анализа и отбора признаков.

Если среднее отклонение признака от исходного значения не превышает 5%, то он считается стабильным. В комплексе предусмотрена возможность вывода таких признаков на экран в виде таблицы, ячейка с индексом i,j которой содержит 1, если i-й коэффициент j-го объекта показывает средний процент отклонения меньше заданного порога. Например, в таблице отображены признаки, отклонение которых при переносе, повороте и изменении масштаба не превышает 5%.

Обычно из составленных признаков несколько десятков показывают подобную устойчивость. В практических задачах распознавания стремятся использовать как можно меньшее количество характеристик, ведь СТЗ должна работать в режиме реального времени. Поэтому полученные инвариантные характеристики нуждаются в дальнейшем отсеивании. Оно производится по времени вычисления признака.

Таблица

Для этого в комплекс включена возможность измерения времени выполнения вычислений. Оно определяется в тактах процессора и записывается в базу данных. Как показала практика, линейные признаки обычно показывают меньшую вычислительную сложность, чем площадные, но различие это невелико. Дело в том, что для формирования линейных признаков изображение обрабатывается методами выделения контуров или скелетизации. Время выполнения этих действий также учитывается. А вычисление признаков площадных объектов производится непосредственно по полученному бинарному изображению.

Таким образом, в комплексе формируется набор стабильных признаков с минимальным временем вычисления. Они используются в блоке распознавания объектов, то есть отнесения объекта к конкретному классу; блок выполняет и классификацию – грубую идентификацию объектов. При распознавании обычно используются инвариантные признаки, а для классификации часто достаточно базовых. Применение комплекса программ в некоторых практических задачах [4] показало, что разработанный метод формирования инвариантных к переносу, повороту и изменению масштаба признаков и распознавание на их основе дает удовлетворительные результаты.

Комплекс включает алгоритмы распознавания по ближайшему среднему значению и по расстоянию до ближайших соседей [1].

Разработанный программный комплекс используется как на стадии обучения, так и при распознавании (классификации) объектов. При обучении происходит настройка комплекса на конкретную задачу. При этом выделяется минимальный набор стабильных признаков, которые дают уверенное решение поставленной задачи.

В дальнейшем для распознавания объектов используется именно этот набор, остальные признаки не вычисляются. Также при промышленной работе комплекса не используются база данных и модули изменения характеристик объектов и анализа и отбора признаков. То есть при решении конкретной задачи комплекс формирует определенный набор признаков объектов и производит с его помощью их классификацию либо распознавание. А состав этого набора формируется на этапе обучения комплекса.

Программный комплекс реализован в среде программирования Delphi, так как она имеет средства для связи с базами данных, для обработки изображений и взаимодействия с периферийными устройствами (датчиками СТЗ).

Практическое применение системы: измерение длины и ширины детали или ее составляющих; определение положения и ориентации детали на рабочем поле для захвата ее манипулятором; сортировка разнотипных деталей на конвейере; поиск нужного объекта среди множества других; идентификация отпечатков пальцев; определение дефектов формы деталей; выявление внутренних дефектов деталей при использовании рентгеноскопии; определение качества сварного шва и др.

Список литературы

1.   Шапиро Л., Стокман Дж. Компьютерное зрение. / Пер. с англ. – М.: БИНОМ. Лаборатория знаний, 2006. – 752 с.

2.   Садыков С.С., Стулов Н.Н. Методы и алгоритмы выделения признаков объектов в системах технического зрения. - М.: Горячая линия – Телеком, 2005. – 204 с.

3.   Стулов Н.Н., Стародубов Д.Н. Инвариантные к повороту, переносу и изменению масштаба признаки площадных объектов // Системы и методы обработки и анализа информации: (Сб. науч. ст.) – М.: Горячая линия – Телеком, 2005. - С. 30-37.

4.   Стулов Н.Н., Стародубов Д.Н.  Экспериментальное исследование алгоритмов вычисления геометрических признаков линейных и площадных объектов / Муромский ин-т (филиал) Владимирского гос. ун-та. – Муром, 2005. – 31 с. – Деп. в ВИНИТИ 21.04.05, № 573.