НАУКА и ОБРАЗОВАНИЕ

УДК 778.35:629.7

 (МГТУ имени Н.Э. Баумана)

vesel_foto@mail.ru

Практически любой этап обработки цифрового изображения оказывает влияние на его качество. При дешифрировании цифровых изображений штриховых тест-объектов с целью оценки его показателей качества часто используется процедура изменения масштаба. Так как, разрешающая способность является одним из критериев ограничивающих условия применения аппаратуры наблюдения (например, Договор по Открытому небу), представляется интересной зависимость разрешающей способности от типа используемого алгоритма интерполяции при масштабировании.

Одним из методов оценки разрешающей способности оптико-электронных систем является визуальный метод. Для оценки разрешения применяются штриховые тест-объекты (рис. 1, 2). С целью обеспечения оптимальных условий наблюдений при визуальном дешифрировании используется изменение масштаба изображения.

Рисунок 1. – Тест-объект для оценки пространственно-частотных характеристик оптико-электронных систем в лабораторных условиях

При увеличении масштаба изображения, каждая точка исходного изображения должна быть сопоставлена группе точек увеличенного изображения. Для чего на первом этапе формируется вспомогательное изображение с разнесенными на расстояние согласно необходимому масштабу точками оригинального изображения, далее изображение дополняется точками, яркость которых определяется интерполирующей функцией. Качество масштабированного изображения определяется алгоритмами, используемыми для осуществления этих сопоставлений.

Для уменьшения масштаба, группы точек исходного изображения должны быть сопоставлены отдельным точкам уменьшенного изображения.

Рисунок 2. – Тест-объект для оценки пространственно-частотных характеристик оптико-электронных систем в летных условиях

Для управления качеством изображения при масштабировании используют различные методы интерполяции. Основными, из которых, являются метод «ближайшего соседа» (Nearest neighbor), билинейный (Bilinear) и бикубический (Bicubiс) методы (рис. 3) [1-9].

Самый простой, легко реализуемый и наименее ресурсоемкий из вышеперечисленных – метод интерполяции "Ближайший сосед". При создании пикселя увеличенного изображения используется информация о ближайших точках оригинального изображения, т.е. сохраняются оригинальные значения пикселей без их усреднения, как в других методах (рис. 3 а, б., рис. 4).

Однако такой метод определения яркости вставляемых в изображение пикселей не является наилучшим, так как приводит к повышению заметности их растровой структуры, которая при больших увеличениях снижает качество воспроизводимых изображений [1-3]. При этом интерполяции (при увеличении) наблюдается появление эффекта ступенчатости диагональных линий и кривых (пила). Кроме того, при использовании метода «Ближайший сосед» некоторые значения пикселей могут быть утеряны, а другие дублированы. Возможно возникновение разрывов узких линий на изображениях (дороги, реки и т.д.).

Метод «Ближайший сосед» используется, в основном, в геоинформационных системах обработки для масштабирования (трансформирования) тематических растровых изображений, значения пикселей которых являются качественными (обозначают тип растительности, влажность почв и пр.).

Билинейная интерполяция - в вычислительной математике [2, 3] расширение линейной интерполяции для функций  двух переменных. Ключевая идея заключается в том, чтобы провести обычную линейную интерполяцию сначала в одном направлении, затем в другом.

Понятие принципа билинейной интерполяции раскрывается простым  примером.

Для интерполяции билинейным методом функции  в точке  необходимо знать значения функции в (окружающих ) точках , , ,  (рис. 5).

Первым шагом интерполируется (линейно) значение вспомогательных точек  и  вдоль оси абсцисс, где ,

,

.

Далее проводится линейная интерполяция между вспомогательными точками  и  вдоль оси ординат.

.

 является приблизительным значением функции в точке , т.е. .

Рисунок 5. – К понятию билинейной интерполяции

Достаточно подробно принцип получения интерполированного изображения методом билинейной интерполяции представлен на рисунке 6.

На первом этапе формируется вспомогательное изображение с разнесенными на расстояние согласно необходимому масштабу изображения точками (рис. 6, б.). Далее выполняется линейная интерполяция по столбцам (строкам) (рис. 6, в). На конечном этапе формируется конечное интерполированное билинейным методом изображение (рис. 6, г).

Бикубический метод интерполяции - дает наилучшие результаты при обработке фотоснимков, поскольку использует значения восьми прилегающих пикселей и добавляет эффект улучшения резкости за счет повышения контрастности переходов.

Бикубическая интерполяция – в вычислительной математике [2, 3] расширение кубической интерполяции на случай функции двух переменных, значение которой заданы на двумерной регулярной сетке. Поверхность, полученная в результате бикубической интерполяции, является гладкой функцией, в отличие от поверхностей, полученных в результате билинейной интерполяции или интерполяции методом ближайшего соседа. Так же бикубическая интерполяция часто используется в обработке изображений, давая более качественное изображение по сравнению с билинейной интерполяцией.

Рассматривается два подхода к реализации бикубической интерполяции: бикубическая интерполяция сплайнами; последовательная кубическая интерполяция [3].

При бикубической интерполяции сплайнами для интерполяции значения функции  в точке , лежащей внутри квадрата [0, 1] х [0, 1], при известном значении функции  в шестнадцати соседних точках , ,  общий вид функции, задающей интерполированную поверхность, может быть записан следующим образом:

.

Для нахождения коэффициентов  необходимо подставить в вышеприведенное уравнение значения функции в известных шестнадцати точках.

Например:

Полностью в матричном виде:

,

где

Решая получившуюся систему линейных алгебраических уравнений, можно найти значения  в явном виде:

Единожды найденные коэффициенты  теперь могут быть использованы для многократного вычисления интерполированного значения функции в произвольных точках квадрата .

Последовательная интерполяция заключается в том, что для нахождения интерполированного значения можно сначала произвести кубическую интерполяцию в одном направлении, а затем в другом.

Для функции  с известными значениями , , ,  можно построить кубический сплайн: , или в матричном виде

,

где

,              .

Таким образом,  для нахождения интерполированного значения  в квадрате  можно сначала рассчитать четыре значения , , ,  для зафиксированного , затем через полученные четыре точки построить кубический сплайн, и этим завершить вычисление .

.

Подробно принцип получения интерполированного изображения методом бикубической  интерполяции представлен на рисунке 7.

На первом этапе формируется вспомогательное изображение с разнесенными на расстояние согласно необходимому масштабу изображения точками (рис. 7, б.). Далее выполняется линейная интерполяция в одном направлении - по столбцам (рис. 7, в). На следующем этапе выполняется кубическая интерполяция в другом направлении - формируется конечное интерполированное бикубическим методом изображение (рис. 7, г).

Процесс эффективности интерполяции при масштабировании можно наглядно (качественно) оценить по одномерному срезу интерполированного различными методами изображения (рис. 8, 9).

Рисунок 8. - Одномерный срез по яркости (в уровнях серого тона)  интерполированного различными методами изображения самолета представленного  на изображениях выше

Рисунок 9. – Локальный участок кривых из рисунка 6

(зеленая линия – метод «ближайшего соседа», красная линия – билинейный метод,  синяя линия - бикубический метод)

Из представленных выше иллюстраций видны особенности  трансформирования исходного изображения при использовании различных методов интерполяции при масштабировании.

Для количественного исследования эффективности методов интерполяции изображений при масштабировании использовались изображения штриховых тест-объектов (рис. 10), полученные в летных условиях. В эксперименте использовались три типа мир: двухштриховая разнесенная мира G (темно-серые штрихи на светло-сером поле), традиционная трехштриховая мира R1 (светло-серые штрихи на темно-сером поле), трехштриховая разнесенная мира R3 (светло-серые штрихи на темно-сером поле, три штриха между соседними группами полос). Съемка выполнялась с четырех высот (250м, 300м, 350м, 400м) с беспилотного летательного аппарата с использованием цифровой аэрофотосъемочной системы с реализованной схемой Байера (RGBG), фокусным расстоянием 180×10^{-3 м, относительным входным отверстием объектива 1:2,8 и линейным размером пикселя 3,275×10-6 м.}

Рисунок 10. – Изображение тестового полигона

Дешифрированию подвергались цветные и черно-белые изображения с использованием при масштабировании интерполяции методом «ближайшего соседа», билинейным и бикубическим методами. Причем, используемые для дешифрирования черно-белые изображения были получены из цветных с помощью стандартных, встроенных в известные редакторы изображений типа Photoshop и ACDSee, алгоритмов (grayscale) [4] (рис. 11).

  Исходное цветное изображение                         Черно-белое изображение

Рисунок 11. – Перевод цветного изображения в черно-белое

Для дешифрирования выбирались кадры, содержащие полные изображения всех указанных трех мир. Для статистического анализа полученных результатов использовались данные съёмки не менее пяти проходов над мирами на каждой высоте. При дешифрировании изображений применялось правило – «Последняя разрешаемая группа миры. Необходимо разрешение всех триад, чтобы считать группу разрешенной».

К визуальному анализу были привлечены десять дешифровщиков.

В работе все зависимости построены с использованием значений ожидаемой минимальной высоты  .

 рассчитывается посредством усреднения значений _.

Значение   определяется по формуле:

.

 – минимальная высота над уровнем земли, на которой конфигурация видеокамеры, установленная на летательном аппарате, может эксплуатироваться в ходе наблюдательного полета и разрешение на местности которой не лучше чем 30 см.

,

где  - высота над проверочной мирой самолета в метрах в момент съемки изображения проверочной миры;

 - разрешение на местности;

=30 см.

По результатам проведенных исследований получены зависимости (рис. 12-19) значения  (далее по тексту будет употребляться просто как ) от использованного метода интерполяции при масштабировании (метод «ближайшего соседа» (Nearest neighbor), билинейный (Bilinear) и бикубический (Bicubiс) методы) для различных типов мир.

Рисунок 12. - Значения  при визуальном анализе цветного изображения тремя методами интерполяции для трех типов мир 1-G, 2-R1, 3-R3

Рисунок 13. - Зависимость  от  применяемого метода интерполяции при визуальном анализе цветного изображения

Рисунок 14. - Значения  при визуальном анализе черно-белого изображения тремя методами интерполяции для трех типов

мир 1-G, 2-R1, 3-R3

Рисунок 15. - Зависимость  от  применяемого метода интерполяции при визуальном анализе черно-белого изображения

Рисунок 16. - Зависимость  от цвета изображения при различных методах интерполяции

Рисунок 17. - Зависимость  от цвета изображения и типа используемой миры  при различных методах интерполяции

Рисунок 18. - Зависимость  от цвета изображения

Рисунок 19. - Зависимость  от типа используемого тест-объекта

Анализируя полученные зависимости можно сделать следующие выводы.

Оценка разрешающей способности и следовательно , полученная при визуальном дешифрировании с применением различных методов интерполяции при масштабировании, имеет максимальное значение при использовании бикубической интерполяции и минимальное значение при использовании интерполяции методом «ближайшего соседа» (рис. 12-17). Различие между , полученных при использовании методов «ближайшего соседа» и бикубической интерполяции для цветного изображения составляет 6%, для черно-белого – 9% (в пользу бикубической интерполяции), а при использовании методов «ближайшего соседа» и  билинейной интерполяции для цветного изображения – 4 %, черно-белого – 5% (в пользу билинейной интерполяции) (таблица 1).

Проведенные исследования (рис. 8, 9) показали, что бикубическая интерполяция вносит некоторые изменения в пространственно-частотную структуру сгенерированного изображения, хотя прирост разрешения, как уже было сказано, не превосходит 10%.  По это причине, наиболее «прозрачным» выглядит алгоритм интерполяции при масштабировании «ближайший сосед». Хотя на практике при дешифрировании цифровых изображений реальных объектов опытные дешифровщики при масштабировании пользуются бикубическим методом.

Таблица 1 – Различия между оценками значений , полученных при визуальном анализе изображений с использованием различных методов интерполяции при масштабировании

Причем среднее арифметическое значение оценок СКО  в процентах относительно среднего арифметического значений  составило ≈ 6% (таблица 2).

Таблица 2 – Оценки СКО значений  в процентах относительно среднего арифметического значения  для каждого типа миры и цвета изображения

Анализ приведенных выше данных позволяет сделать вывод, что изменение значения  при визуальном анализе изображения с использованием различных алгоритмов интерполяции при масштабировании соизмеримо со среднеарифметическим значением среднеквадратического отклонения (СКО)  в процентах относительно среднего арифметического . Этот факт говорит о незначительном изменении значения разрешающей способности, а, следовательно, и  при использовании различных алгоритмов интерполяции в ходе визуального анализа изображений штриховых тест-объектов.

Подробно анализируя зависимости  от цвета изображения и типа используемой миры при различных методах интерполяции, представленные на рисунке 17, видно, к примеру, что, для черно-белого изображения разброс между значениями , оцененными с использованием методов «ближайший сосед» и бикубической  интерполяции, больше на 2,5%, чем для цветного изображения. Аналогичное соотношение можно наблюдать и при сравнении методов «ближайший сосед» - билинейная интерполяция, где разброс незначителен и составляет   1% (таблицы 3-6).

Таблица 3 - Зависимость  от цвета изображения и типа используемой миры при различных методах интерполяции (черно-белое изображение)

Таблица 4 – Сравнительная оценка значений  определенных при использовании различных методов интерполяции (черно-белое изображение)

Таблица 5 - Зависимость  от цвета изображения и типа используемой миры при различных методах интерполяции (цветное  изображение)

Таблица 6 – Сравнительная оценка значений  определенных при использовании различных методов интерполяции (цветное  изображение)

В целом значения , полученные по цветным изображениям, на 1,3% выше, чем по черно-белым (преобразованным из цветных) рис. 18.

Из выше сказанного следует, что перевод цветного изображения в черно-белое не обеспечивает увеличения разрешающей способности.

Анализ зависимости  от типа используемого тест-объекта (рис. 19) показывает, что более высокое значение разрешающей способности, было получено при использовании двухштриховой разнесенной миры (G) (темно-серые штрихи на светло-сером поле) и трехштриховой разнесенной миры (R3) (светло-серые штрихи на темно-сером поле, три штриха между соседними группами полос) по сравнению с  трехштриховой традиционной мирой (R1).

Полученные в работе результаты помогут создать подробные методики оценки качества цифровых изображений, полученных современными цифровыми аэрофотографическими системами, а также оценить технические характеристики последних с использованием различных типов штриховых тестовых полигонов.

Работа поддержана Российским фондом фундаментальных исследований, проект 08-08-00613

Литература

1.    Красильников Н.Н. Цифровая обработка изображений. – М.: Вузовская книга, 2001.

2.    Корн Г., Корн Т. Справочник по математике. – М.: Главная редакция физико-математической литературы, 1984.

3.    Математическая  энциклопедия. Под редакцией И.М. Виноградова. – М.: Советская энциклопедия, 1977.

4.    Дик Мак-Клелланд, Лори Ульрих Фуллер. Photoshop CS2. Библия пользователя.: Пер. с англ. – М.: ООО «И.Д. Вильямс», 2006.

5.    Battiato. S.. Gallo. G., and Stanco. F.  A locally-adaptive zooming algorithm for digital images. Image and Vision Computing, 2002.

6.    Chen. M.. Huang. C. and Lee. W. A fast edge-oriented algorithm for image interpolation. Image and Vision Computing, 2005.

7.    Li. X. and Orchard. M. T. New edge-directed inter­polation. IEEE Trans, on Image Processing, 2001.

8.    Muresan. D. and Parks. T. Adaptively quadratic (aqua) image interpolation. IEEE Transactions on Im­age Processing. 13(5), 2004.

9.    H. Hou and H. Andrews, “Cubic splines for image interpolation and digital filtering,” IEEE Transactions on Acoustics, Speech and Signal Processing, 1978.