Матрицы фотоаппаратов: Матрица фотоаппарата — основа основ

что это и почему она так важна?

Поделиться статьёй:

При выборе фотоаппарата нужно учитывать множество нюансов, обращать внимание на каждую деталь. И далеко не последнюю роль в процессе выбора играют именно характеристики матрицы, которой оснащена камера. Что же представляет собой эта самая матрица и почему она так важна? Давайте это выясним! 

Содержание статьи:

 Общее представление о матрице фотоаппарата 

Если вы посмотрите в объектив камеры, вы легко найдете матрицу: видите блестящий прямоугольник в самом центре объектива? Да, это она и есть.

Матрица является важнейшим элементом фотокамеры, отвечающим за то, какое изображение мы получим в результате съемки. 

По сути она представляет собой микросхему, которая состоит из светочувствительных элементов. Когда на нее падает свет, начинается формирование электрического сигнала определенного уровня интенсивности, который зависит от степени яркости света. При съемке она фиксирует свет, который впоследствии преобразуется в фотографию.

 

Кстати, количество мегапикселей, которое имеет фотокамера, также зависит именно от матрицы и может колебаться от 0.3 до 10 и более (чем дороже и качественнее фотоаппарат, тем больше мегапикселей он имеет).

Изначально матрица создает монохромное (ч.б) изображение. В цветное оно преобразуется благодаря светофильтрам, которыми покрываются ее составные части.

Особенности строения матрицы

Что касается структуры матрицы, то она является дискретной и складывается из множества частей, в совокупности преобразующих падающий на нее свет. Один фотодиод в составе создает один пиксель фотографии.

Как вы наверняка знаете, каждое цифровое изображение представляет собой что-то вроде мозаики, состоящей из множества точек, которые в совокупности и являются фотографией. Изображение не «распадается» именно потому, что этих точек очень много и они имеют высокую плотность расположения относительно друг друга. Вполне логично предположить, что если бы плотность их расположения была ниже, мы бы увидели, как изображение распадается на эти самые точки, и это было бы наглядной демонстрацией дискретного характера структуры матрицы.

Матрица как альтернатива пленки

В те времена, когда цифровой фототехники еще не существовало, светочувствительным элементов, выполняющим функции матрицы, была пленка. Если проанализировать устройство пленочных и цифровых фотоаппаратов, можно увидеть, что существенных отличий между ними не так уж много. Основным отличием как раз и будет схема приема и преобразования света.

Как именно происходит процесс приема света в фотокамере с пленкой? В тот момент, когда фотограф нажимает кнопку спуска, затвор открывается, в результате чего пленка принимает свет.  До того, как затвор вновь закрывается, идет химическая реакция, а ее итогом является формирование фотографии. 

Как вы можете заметить, процесс создания фотоснимка был совершенно иным, и в современных фотоаппаратах матрица выполняет именно функцию пленки, то есть генерирует изображение. Они выполняют совершенно одинаковые функции, разница состоит лишь в технике их выполнения и в хранилище созданного изображения, которым в первом случае выступает пленка, а во втором — карта памяти фотоаппарата.

 

Характеристики матрицы

Необходимо понимать, что матрицы бывают совершенно разными по качественным показателям. В этом вопросе важным сигналом будет цена: в том или ином ценовом сегменте матрицы имеют определенный уровень качества. Будьте готовы к тому, что бюджетные варианты фотоаппарата вряд ли будут обладать высококачественной матрицей. Поскольку матрицу можно смело назвать сердцем камеры, не стоит экономить при выборе. Вы ведь хотите, чтобы ваши снимки были на высоте? Тогда остановите свой выбор на фотоаппарате, оснащенном качественной матрицей. 

По каким параметрам следует выбирать матрицу?

1. Размер
2. Разрешение
3. Соотношение сигнал-шум
4. Уровень светочувствительности
5. Динамический диапазон

Итак, рассмотрим первый параметр из нашего списка, а именно — размер матрицы. Его определяет величина пикселей, а также плотность их расположения относительно друг друга. Меньшая плотность расположения пикселей дает меньший уровень нагрева матрицы и более сильное соотношение сигнала и шума, которое создает более четкую фотографию.

 

Учтите, что именно размер матрицы является ее главной характеристикой. При выборе на него нужно обратить особое внимание. 

Что же обеспечивает размер матрицы и почему он является таким важным параметром?

Итак, размер матрицы диктует:

1. Уровень шума фотографии
2. Глубину и насыщенность ее цвета
3. Динамический диапазон
4. Размер фотокамеры

Больший размер матрицы обеспечивает:

1. Низкие показатели шума на фотографии. Матрица, имеющая большую поверхность, принимает больше света. Это будет сопряжено с меньшим нагревом, меньшей погрешностью в процессе квантования, соответственно, меньшим уровнем воздействия нежелательных шумов. Чем больше физический размер матрицы, тем меньше посторонних шумов будет на снимке, даже если съемка осуществляется при низком уровне освещения. Если говорить проще, фотография не будет пестрить лишними точками, точно не способствующими эстетике снимка. 
2. Широкий динамический диапазон
3. Насыщенные, глубокие цвета снимка

Глубина цвета является показателем, который определяет возможность камеры идентифицировать любые метаморфозы цвета, даже самые незначительные.

Это особенно ценно для фотографий однотонных пейзажей, не имеющих резких цветовых переходов. Большая матрица способна уловить даже самый незначительный цветовой переход, в то время как маленькая не имеет такой возможности. 

Единственный недостаток, с которым придется смириться при выборе большой матрицы, это размер самой камеры. Чем больше матрица, тем больше размер камеры. Строго говоря, это вряд ли можно считать серьезным недостатком, учитывая широкий спектр преимуществ, которые дает матрица большого размера. 

Виды матрицы

Он определяет способ работы матрицы.

На этом основании матрицы делят на 2 технологии:

1. CMOS
2. CCD

Конечная цель является одинаковой: накопление света. Разница в том, что является элементом, составляющим структуру. В первой технологии это диод, а во второй — транзистор. 

Если говорить о качестве фотографий, то плюсом CCD-технологии были более приятные глазу цвета, а CMOS-технология выгодно отличалась гораздо меньшим уровнем шума.  

В наше время подавляющее большинство камер оснащено матрицей CMOS. 

Чувствительность матрицы

Она является очень важным параметром. Чем большую чувствительность установить, тем больше возможность зафиксировать на фотографии плохо освещенные объекты. Но при таких условиях будут также увеличиваться нежелательные шумы. 

Параметр IS0 является эквивалентным показателем чувствительности. 50 — самый низкий показатель чувствительности, при котором чистое фото не подвергается разрушению шумом. 

Сигнал-шум

Это параметр, который находится в непосредственной связи с чувствительностью.  Он определяет уровень света и шумов на снимке. 

Нужно помнить, что любое фото имеет определенный показатель шума. Светочувствительность характеризуется тем же. Она не может иметь статичных показателей. Они будут меняться, и эти изменения зависят от условий съемки. 

Даже если свет совсем отсутствует, фотодатчик все равно продемонстрирует в итоге определенное значение.

Как раз это и является шумом. Чтобы получить качественную фотографию, сигнал должен побороть помехи на определенном уровне. Это явление и носит название «сигнал-шум». 

Чтобы фотография получилась четкой и не имела нежелательных шумов, нужно правильно настроить фильтры, чтобы они не пропустили эти помехи. 

Если увеличивать уровень чувствительности матрицы, действие фильтра будет ослабевать, чтобы поймать слабый сигнал. Но одновременно с этим на снимке отразятся и шумы. Поэтому, чтобы не нужно было усиливать чувствительность, необходимо правильно настроить выдержку. 

Что нужно сделать, чтобы ослабить помехи?

Чтобы уровень шума был минимальным, необходимо настраивать минимальную чувствительность матрицы. Однако эта возможность напрямую зависит от того, позволяет ли это выдержка камеры. 

Если же требуется уменьшать выдержку, то одновременно с этим необходимо увеличивать чувствительность, что в свою очередь приведет к увеличению уровня шума. Определенное значение приведет к тому, что шумы станут видны на снимке. Потому при съемке выбор стоит между уменьшенной чувствительностью и уменьшенным временем выдержки. 

Все это говорит в пользу выбора камеры с большим размером матрицы, позволяющего снижать уровень шума и уменьшать выдержку, чтобы снимать объекты в движении без ущерба качеству изображения.

Разрешение матрицы

Этот параметр для многих является очень важным при выборе камеры. Так ли это? Попробуем разобраться. 

Размер пикселя является очень важным параметром, и вот почему это так: когда пиксель больше по размеру, он способен «поймать» больше света. Матрица подобного типа будет давать меньшее количество шумов.  

Если матрица имеет большее разрешение, то размер пикселей, которые ее составляют, меньше, а это стимулирует нагрев и поднимает уровень шумов.

Отличительные черты размера пикселя:

1. Уровень шумов. Как уже было сказано выше, меньший размер пикселя предполагает высокий уровень шумов.
2. Уровень шевеления. Чем меньше размер пикселя, тем выше его чувствительность к дрожанию и смещению камеры.  
3. Высокие требования к объективу камеры. Чем меньше размер пикселя, тем более высокая разрешающая способность объектива потребуется для качественных снимков.
4. Чем больше разрешение фотоаппарата, тем большие возможности должен иметь компьютер, который будет обрабатывать снимки. Если вы хотите получить от съемки отличный результат, но не занимаетесь фотографированием в RAW, то вам предстоит довольно продолжительная и непростая работа в фоторедакторах на компьютере. А при редактировании снимков в очень высоком разрешении, например, составляющем 24 мегапикселя и выше это и вовсе может стать очень сложной задачей. 

Динамический диапазон матрицы

Он устанавливает максимальный диапазон яркости фотографии. Каждый из пикселей, составляющих матрицу, имеет свой уровень яркости. Функцией динамического диапазона является идентификация широты яркого участка снимка, который способен охватить фотоаппарат без ущерба качеству наиболее темных и наиболее ярких частей кадра.  

Динамический диапазон является статичной характеристикой матрицы. Его невозможно изменить. Правда, есть возможность сделать его более узким, если повысить чувствительность ISO, но это далеко не всегда сможет решить проблему. Строго говоря, это даже нежелательно. 

Когда фотоаппарат не справляется с трудными условиями съемки, например, если снимать нужно против солнца, мы получаем на фотографии слишком сильные контрасты, которые действительно режут глаз. При взгляде на такие фотографии даже непрофессионал вынесет кадру строжайший вердикт и, конечно, будет совершенно прав. 

При таких результатах съемки говорят, что динамический диапазон матрицы не справляется с условиями, в которых ведется съемка. Обычно для исправления этих недостатков нужно менять компоновку кадра, прибегать к разного рода профессиональным хитростям, которые сгладят досадные несовершенства, словом, делать все то, что с динамическим диапазоном фотоаппарата совершенно не связано, поскольку, как мы уже упомянули выше, менять его показатели невозможно, поскольку они статичны.  

Поделиться статьёй:

Матрица фотоаппарата. Типы и характеристики.

Матрица фотоаппарата самая важная составляющая часть любой камеры. Именно она ответственна за создание изображения, после поступления на ее поверхность светового потока. Если описать матрицу научными словами, то это будет звучать следующим образом, микросхема состоящая из светочувствительных элементов, фотодиодов. Посмотрите следующий снимок, где показано месторасположение матрицы в блоке самого фотоаппарата («тушке»).

Матрица фотоаппарата самым прямым образом влияет на качество итогового изображения, что в сочетании с профессиональным фотообъективом приводит к точной и полной передаче всех деталей реальности.

 

1. Размер матрицы

2. Количество пикселей

3. Светочувствительность

Теперь подробнее о каждой из указанных характеристик.

Физический размер матрицы, т. е соотношение длины и ширины, измеряемой в миллиметрах, одна из самых важных характеристик матрицы. Чем больше размер, тем лучше будет качество фотографии. Почему? Большая по размеру матрицу, получает больше света, что в свою очередь связано с фактором ISO/светочувствительности. Даже при высоких значения ISO, количество шумов на фотоснимке, сделанном на профессиональную камеру с большой матрицей, будет минимальное. Чего нельзя сказать о фотоснимке сделанном, при участии маленькой матрицы.

Далее на картинке вы можете изучить самые распространенные размера матрицы в соотношение к диагонали.

Количество пикселей в матрице фотоаппарата влияет на размер изображения. Все профессиональные зеркальные фотокамеры снабжены матрицей с большим числом мегапикселей. Как результат, вы сможете распечатать большую фотографию, плакат или постер и все цвета и детали при этом, будут переданы в наилучшем качестве.

                    Типы матриц фотоаппарата.

По применяемой технологии матрицы бывают нескольких типов, но самые популярные из них:

— ПЗС (CCD — Charge Coupled Device). Данный тип матрицы выпускается практически всеми фирмами производителями фотокамер (Nikon, Canon, Sony и др.). Один из очевидных плюсов высокая чувствительность и маленький уровень шумов, что положительно влияет на качество фотографии, но высокое энергопотребление.

— КМПО (CMOS — Complementary Metal Oxide Semiconductor). Основные плюсы данного вида матрицы низкое энергопотребление и высокое быстродействие. В наши дни данный вид матрицы самый распространенный.

Далее, для примера я привела небольшую сравнительную характеристику фотокамер двух фирм лидеров производителей Nikon и Canon.

Профессиональные фотокамеры Nikon D5 (21,33 Мп), D810a (37,09 Мп) имеют КМОП-матрицу размером 35,9 x 24,0 мм. Компактные фотокамеры, например Nikon CoolPix L340, L2750 снабжены ПЗС матрицей.

Профессиональные фотокамеры Canon EOS – 1D X II Mark (21,5 Мп), EOS 5DS R (50,6 Мп) имеют CMOS матрицу. У Canon даже такие компактные камеры как PowerShot SX720 HS, SX 620HS также работают на  КМПО матрице.

На этом я заканчиваю свою статью под названием «Матрица Фотоаппарата», дальше будет еще больше полезных и интересных статей. Подписывайтесь на обновления моего блога, и вы будете первыми получать новые статьи.

Матрица фотоаппарата — ее устройство, характеристики, рекомендации по выбору

Матрица фотоаппарата – один из основных компонентов современной фототехники. На ее поверхности строится изображение, которое фиксируется чувствительными элементами (их называют пикселями). Существует множество эффективных алгоритмов дальнейшей обработки сигнала, но именно матрица стоит в самом начале электронного тракта фотокамеры и в наибольшей степени влияет на качество фотоснимка.

До появления матрицы использовалась пленка. Принципиально устройство фотоаппарата с тех пор изменилось мало. Изображение, как и раньше, строится объективами разных типов на светочувствительной поверхности, а далее посредством различных технологических процессов переносится либо на бумагу, либо на дисплей компьютера. Но  матрица имеет перед пленкой одно существенное преимущество – мгновенное получение результата. Именно это главным образом и определило повсеместное применение матриц в качестве фотосенсоров.

Устройство и типы матриц

Современная матрица — это микросхема, поверхность которой состоит из множества чувствительных к свету элементов. Каждый элемент является самостоятельным светоприемником, преобразующим падающий на него свет в электрический сигнал, который после предварительной обработки записывается на карту памяти. Изображение, которое мы видим, состоит из совокупности записанных в цифровом виде сигналов с каждого элемента, а значит, имеет дискретную структуру.

Существует две технологии преобразования света в сигнал, на которых может работать матрица фотоаппарата. Первая основана на свойстве полупроводниковых диодов накапливать электрический заряд под воздействием света, и носит название ПЗС (прибор с зарядовой связью) или CCD (то же самое по-английски). Вторая технология также использует накопление заряда, но в качестве приемника применяется не диод, а транзистор, что позволяет организовать усиление сигнала непосредственно в самом светочувствительном элементе. Эта технология называется КМОП (расшифровка мало что скажет неспециалисту, приводить ее не буду) или CMOS по-английски. Соответственно существуют и два типа матриц – ПЗС и КМОП.

Первая матрица работала по технологии ПЗС, поскольку эта технология проще и была внедрена первой. Сейчас более перспективным считается принцип КМОП, поскольку предварительное усиление сигнала непосредственно в элементе матрицы позволяет повысить чувствительность, снизить шумы, сократить энергопотребление и уменьшить стоимость матрицы. Несмотря на это, ПЗС матрицы все еще продолжают использоваться и сегодня.

Элементы, из которых состоит матрица фотоаппарата, способны фиксировать только интенсивность падающего на них света. Для того, чтобы записать цвет, необходимо, как минимум, три таких элемента (такое количество связано с особенностями восприятия цвета человеческим глазом, имеющим три вида колбочек), каждый из которых отвечает за свою область спектра. Чтобы реализовать цветовую чувствительность, перед каждым элементом ставится светофильтр, который пропускает только вполне определенный цвет – красный, зеленый или синий (модель RGB – Red-Green-Blue – которая используется в подавляющем большинстве матриц).

Таким образом, получается, что матрица состоит из набора трех видов сенсоров, при этом располагаться они могут разными способами – четырехугольником, у некоторых матриц шестиугольником, да и количество элементов разного цвета может быть разным. Например, в широко распространенном фильтре Байера на каждый красный и голубой элемент приходится два зеленых, при этом они еще и распределены случайным образом. Это сделано, чтобы смоделировать повышенную цветовую чувствительность человеческого глаза к зеленому цвету.

А что же тогда такое всем известный пиксель? Это легко понять, если представить себе, что фотоаппарат работает так же, как глаз. Изображение строится зрачком (объектив), воспринимается сетчаткой с палочками и колбочками (матрица) и обрабатывается мозгом (процессор). Собственно саму картинку мы видим мозгом, ведь структура сетчатки так же дискретна, как и матрица фотоаппарата.

Так вот пиксель – это логическая структура, формирующаяся в результате обработки сигнала процессором фотоаппарата по специальным алгоритмам. Пиксель может состоять и из одного светочувствительного элемента, и из трех и более. Например, в уже знакомом нам фильтре Байера цвет каждого элемента вычисляется по информации, полученной от окружающих его элементов, а следовательно, пиксель состоит из одного светочувствительного элемента. У разных матриц и алгоритмов это может быть по-разному.

По большому счету, нам все сказанное не так важно. На технологическом поле бьются производители фототехники, выпуская все более совершенные матрицы и постоянно улучшая алгоритмы обработки изображений. Что действительно нужно понимать, так это то, что для нас как пользователей, матрица состоит из пикселей, каждый из которых является элементом изображения, несущим информацию об интенсивности света и его цвете. А алгоритм обработки мы вообще вряд ли узнаем, поскольку свои ноу-хау производители берегут как зеницу ока.

Мы рассмотрели, как устроена матрица фотоаппарата, а теперь перейдем к ее основным характеристикам, понимание смысла которых поможет вам правильно выбрать хороший фотоаппарат.

Размер матрицы

Самая важная характеристика. И вот почему. Любой приемник излучения обладает шумами, т. е. на полезный сигнал всегда накладывается паразитный шум. Матрица не является исключением. Из теории известно, что чем больше света поступает в приемник излучения, тем меньше относительное влияние шума. Отсюда следует очевидный вывод: чем больше площадь чувствительного элемента, тем больше на него падает света, тем меньше шум.

Таким образом, чтобы матрица меньше шумела, она должна иметь больше размер и меньше пикселей. В этом случае можно будет снимать с большей чувствительностью ISO, с длинными выдержками, в темное время суток, ночью и т. д. и получать при этом фотографии высокого качества. Рассмотрим, какие размеры имеют современные матрицы.

Исторически сложилось так, что вместо того, чтобы просто указать размеры, например в миллиметрах, для обозначения размеров матриц используются малопонятные  и запутанные величины типа 1/2,7”. Это длина диагонали матрицы в долях дюйма (надо же такое придумать!). Тем не менее, такое обозначение указывается наиболее часто, и есть мнение, что это делается специально, чтобы запутать потребителя, поскольку производители не очень любят афишировать размер матрицы. С размером тесно связано понятие кроп фактора – отношения диагонали полного кадра к диагонали матрицы, который также не вполне очевиден, но часто указывается в характеристиках фотоаппарата.

Самая большая матрица из доступных (среднеформатные мы здесь рассматривать не будем из-за их очень высокой стоимости) имеет размер полного кадра 24х36 мм (кадр малоформатной пленочной камеры). Такая матрица применяется в полнокадровых зеркалках и дорогих беззеркальных фотоаппаратах. Отличается высокой чувствительностью, малыми шумами и отличным качеством изображения.

Все остальные матрицы меньше. Самые маленькие используются в компактных любительских мыльницах, они же имеют и самые низкие характеристики. Зато и цена таких фотоаппаратов весьма доступна. Рекомендация здесь одна: покупайте фотоаппарат с большей матрицей.

Разрешение матрицы

Вторая важная характеристика. Отвечает за детализацию изображения. Измеряется в миллионах пикселей – мегапикселях (МПикс.). Чем больше разрешение, тем большего формата фотографию можно напечатать и больше увеличить изображение на мониторе. Иными словами, тем большее количество информации несет цифровой снимок.

К сожалению, эта характеристика сильно пострадала в маркетинговых войнах производителей фототехники. Когда цифровая фотография только начиналась, разрешение действительно было главным параметром матрицы. Тогда матрица фотоаппарата мыльницы имела разрешение 3 – 4 МПикс., а у профессиональных зеркалок около 6. Этого мало, поскольку с 6 МПикс. можно напечатать фотографию размером не более А4, а ведь это профессиональная камера!

Но потом началась гонка мегапикселей, которая привела к тому, что качество изображения недорогой мыльницы с 16 МПикс. стало хуже, чем у зеркалки с 10 МПикс. Маленькая матрица 1/2,7” просто не в состоянии обеспечить приемлемый световой поток для 16 МПикс. втиснутых в 5,27х3,96 мм. Снимок получается шумным, шумоподавляющие алгоритмы замыливают картинку, четкость падает. В общем, беда. А ведь с 16 МПикс можно было бы легко напечатать фотографию 40х30 см и даже больше (!). Правда, в случае матрицы большего размера (например, формата APS-C размером 25,1×16,7 мм) , а не с той, о которой я говорю.

Вы сами должны решить, фотографии какого формата будете печатать или рассматривать на мониторе. А рекомендация здесь состоит в том, что предпочтительнее выбрать матрицу с меньшим разрешением, но с большим размером, она точно будет работать лучше. Например, для матриц упомянутого выше формата APS-C оптимальным можно считать разрешение 12 – 16 МПикс. А часто ли вы печатаете фотографии формата А3?

Светочувствительность матрицы

Эта характеристика определяет возможность матрицы регистрировать слабые световые потоки, т. е. снимать в темноте или с короткими выдержками. Определяется в единицах международного стандарта ISO. Как мы уже говорили выше, чем больше чувствительность, тем больше шумов. Матрица фотоаппарата типа КМОП шумит меньше, чем ПЗС. Большая по размерам меньше, чем маленькая. С меньшим разрешением меньше чем с большим.

Обычно фотоаппарат настроен по умолчанию на чувствительность 100 ISO. Качественные крупные матрицы на 200 ISO. Рекомендую снимать с как можно меньшей чувствительностью. Повышение чувствительности приводит к шумам и оправданно только тогда, когда по-другому снять кадр вообще невозможно, например, ночью без штатива или быстродвижущийся объект в условиях недостаточной освещенности. Во всех остальных случаях устанавливайте чувствительность как можно меньше.

Соотношение сигнал/шум матрицы

Этот параметр как раз и отражает шумность матрицы. Практически мы уже рассмотрели, как матрица фотоаппарата создает шумы и от чего они зависят. Добавлю лишь то, что кроме типа, размера, чувствительности, шум зависит еще и от температуры матрицы, чем она выше, тем шум больше. А при интенсивной работе матрица нагревается. В беззеркальных фотоаппаратах матрица работает постоянно, а в зеркалках только в момент срабатывания затвора, поэтому при прочих равных условиях матрицы даже любительских зеркальных фотоаппаратов шумят меньше.

Борьба с шумом это отдельная тема. Развитие цифровой техники идет очень быстрыми темпами и с каждым годом матрицы становятся все более совершенными. Шум можно значительно уменьшить при обработке снимков в фоторедакторах, но помните, что даже великий Photoshop не всемогущ, поэтому старайтесь придерживаться рекомендаций, которые давались выше.

На этом рассмотрение матриц можно завершить. Надеюсь, что современная матрица, пришедшая на смену пленке, не разочарует вас, поэтому снимайте, экспериментируйте и учитесь! И не экономьте на матрице, хотя эта рекомендация уже из другой области.

Что важнее размер матрицы фотоаппарата или количество мегапикселей?

Физический размер матрицы фотоаппарата, мегапиксели и качество снимков

По мере развития цифровой фото и видеотехники число мегапикселей, которыми производители приманивают покупателей, становится все больше. Но мало кто знает, что на самом деле для получения качественных фотографий гораздо важнее не разрешение, а физический размер самой матрицы.

 

Давайте разберем понятие мегапиксели. Пиксель — это одна маленькая точка из миллиона других, из которых состоит изображение.

 

Эти точки разные по размеру. Применительно к цифровой матрице, каждый пиксель — это миниатюрный датчик, на который при фотосъемке попадает свет, затем он преобразуется в цифровой сигнал и в таком виде передается в компьютер фотоаппарата. Таких датчиков на матрице огромное количество. Чем больше размер самой матрицы, тем больше размер каждого пикселя и их общее количество. Поэтому зависимость между матрицей и качеством снимков – самая прямая.

 

Вроде бы логично было бы писать эту площадь в виде длины и ширины, и желательно в миллиметрах. Но поскольку почти все параметры цифровой техники пришли к нам из-за границы, принято указывать размер матрицы в так называемых обратных дюймах, т.е. дробью, где в числителе единица, а в знаменателе – дюймовый размер матрицы. Например: 1/3.2 , 1/2.7  и т.д.

Большинству покупателей эти цифры мало о чем говорят. 

Как правило, чем дешевле камера, тем меньше у нее физический размер матрицы и тем хуже качество сделанных ею фотографий.

Среди дорогих компактных камер иногда можно встретить модели с матрицей 2/3 , что обеспечивает неплохую детализацию снимков и достаточно высокую светочувствительность.

Матрицы 1/5 или 1/6 мы найдем в большинстве бюджетных зеркальных камер, это примерно половина кадра пленки 35 мм. Во многом именно за счет размера матрицы фотографии, сделанные зеркалкой, обычно выгодно отличаются от тех, которые сняты компактами.

 

Есть еще полнокадровые матрицы (36х24 мм), которые по размеру соответствуют полному кадру 35 мм, и матрицы среднего формата (60х45 мм), которые больше этого стандартного кадра и применяются в дорогих зеркальных камерах.

 

Итак, на что же, собственно, влияет размер матрицы?

 

Первое – на размер и вес самой камеры. Фотоаппараты с небольшими матрицами компактны, их можно носить в кармане. 

Камеры с большими матрицами, например, средний формат, приходится таскать в специальных кофрах, а то и вовсе использовать только в студии.

 

Второе – на увеличение цифрового шума — или, как еще по старинке говорят, зерна — на ваших снимках. «Шумные» фотографии выглядят так, будто изображение разбито на множество заметных цветных точек. Вид у них неопрятный, грязноватый.

 

Появление шума обусловлено тем, что на большую по площади матрицу попадает больше света, чем на маленькую. В результате передаваемый ею полезный сигнал будет лучшего качества, а отсюда – и лучшая проработка деталей, и более качественная цветопередача, и большая яркость картинки.

 

Кроме того, датчики большой матрицы расположены дальше друг от друга и изоляция между ними лучше, поэтому меньше пробивающих эту изоляцию токов, которые создают помехи, ухудшающие качество фотографий.

 

Отсюда, кстати, следует, что большое разрешение (те самые большие мегапиксели) при маленьком размере матрицы – скорее вредно, чем полезно. 

 

Что будет, если на матрицу одного размера впихнуть 8 000 000 пикселей и 12 000 000? Во втором случае это приведет к уменьшению размера датчиков, ухудшению слоя изоляции между ними — и увеличению цифрового шума.

 

От разрешения матрицы в мегапикселях зависит то, какого размера снимки вы сможете напечатать без заметной потери качества. Разрешения 8 мегапикселей достаточно для печати фотографий формата А4 (альбомный лист). И при малом размере матрицы такое разрешение еще не приводит к заметному цифровому шуму.

 

Выбирая себе фотоаппарат, обязательно обращайте внимание на физический  размер матрицы, желательно чтобы он был максимально большим, насколько вы сможете себе позволить по финансам. От этого напрямую зависит качество сделанных фотографий, конечно если вы выберите зеркальную камеру, советую вам не покупать стандартный «китовый» объектив, который предлагают чаще всего в комплекте. Так как оптически он очень слабый и не надежный. 

 

Но будьте готовы, что зеркальная камера с хорошим объективом будет стоить дороже компактного фотоаппарата да и будет не совсем миниатюрной.

 

Так что смотрите сами, что для вас важнее. Любые вопросы по фототехнике вы можете смело задать нашим фотографам: 

+375-29-122-92-40 (Viber)

 

+375-29-122-92-40 (whatsApp)

 

E-mail: [email protected]

 

Skype: sigma-by

 

Пишите в чат фотографу!

Что такое матрица в фотоаппарате и её основные параметры

Матрица фотокамеры служит для преобразования попадающего на нее с объектива светового потока в электрические сигналы, которые затем камера и преобразует в снимок. Делается это при помощи фотодатчиков, расположенных на матрице в большом количестве.

Что такое матрица фотоаппарата — это микросхема, состоящая из фотодатчиков, которые реагируют на свет.

Структура самой матрицы является дискретной, то есть состоящей из миллионов элементов (фотоэлементов), преобразующих свет.

Поэтому в характеристиках фотоаппарата как раз и указывается количество элементов матрицы, которое мы знаем как мегапиксели (Мп). 1 Мп = 1 миллиону элементов.

Именно от самой матрицы и зависит количество мегапикселей фотоаппарата, которое может принимать значение от 0.3 (для дешевых телефонных фотоаппаратов) до 10 и больше мегапикселей у современных фотоаппаратов. Например, 0,3 Мп это в переводе уже 300 тысяч фотоэлементов на поверхности матрицы.

Характеристиками матрицы можно считать такие параметры:

• Физический размер
• Разрешение (мегапиксели)
• Светочувствительность
• Отношение сигнал-шум

Внешний вид матрицы

Сама матрица фотоаппарата формирует черно белое изображение, поэтому для получения цветного изображения, элементы матрицы могут покрывать светофильтрами (красный, зеленый, синий). И если сохранять фотографию в формате JPEG и TIFF, то цвета пикселей фотоаппарат вычисляет сам, а при использовании формата RAW пиксели будут окрашены в один из трех цветов, что позволит обработать такой снимок на компьютере без потери качества.

Физический размер

Еще одной характеристикой матрицы является размер. Обычно размер указывается как дробь в дюймах. Чем больше размер, тем меньше шума будет на фотографии и больше света регистрируется, а значит, больше оттенков получится.

Размер матрицы очень важный параметр всего фотоаппарата.

Разные размеры матрицы

Чувствительность и шумы

В фототехнике применительно к матрицам используется термин «эквивалентная» чувствительность. Происходит это потому, что настоящую чувствительность измеряют различными способами в зависимости от назначения матрицы, а применяя усиление сигнала и цифровую обработку, можно сильно изменить чувствительность в больших пределах.

Светочувствительность любого фотоматериала показывает способность этого материала преобразовывать электромагнитное воздействие света в электрический сигнал. То есть, сколько нужно света, что бы получить нормальный уровень электрического сигнала на выходе.

Чувствительность матрицы (ISO) влияет на съемки в темных местах. Чем больше чувствительность можно выставить в настройках, тем лучше будет качество снимков в темноте при нужных диафрагме и выдержке. Значение ISO может быть от нескольких десятков до нескольких десятков тысяч. Недостатком большой светочувствительности может быть проявление шума на фотографии в виде зернистости. Так же чувствительность участвует в настройке экспозиции.

Размер и количество пикселей

Размер матрицы и ее разрядность в мегапикселях связаны между собой такой зависимостью: чем меньше размер, тем должно быть и меньше мегапикселей. Иначе из-за близкого размещения фотоэлементов возникает эффект дифракции и может получиться эффект замыливания на фотографиях, то есть пропадет четкость на снимке.

Еще размер матрицы и ее разрешение определяют размер пикселя и соответственно динамический диапазон, который показывает возможность фотокамеры отличить самые темные оттенки от самых светлых и передать их на снимке.

Так же чем больше размер пикселя, тем больше отношение сигнал-шум ведь больший по размерам пиксель может собрать больше света и увеличивается уровень сигнала. Поэтому при одинаковом размере матрицы меньшее количество мегапикселей может быть даже полезнее для качества фотографии.

Чем больше физический размер пикселя (англ. pixel — picture element), тем больше он сможет собрать падающего на него света и тем больше будет соотношение сигнал-шум при заданной чувствительности. Можно и по-другому сказать: при заданном соотношении сигнал-шум будет выше чувствительность. Это означает, что можно увеличивать значение чувствительности при настройке экспозиции без боязни получить шумы на фотографии. Разумеется шумы появятся, только значение ISO, при котором это произойдет, будет разным для разных фотокамер. Поэтому зеркалки со своими большими матрицами по этим показателям сильно опережают компакты.

Размер пикселя зависит от физического размера матрицы и её разрешения. Размер пикселя влияет на фотографическую широту. Дополнительно о количестве мегапикселей.

Матрица на плате

Разрешение

Разрешение матрицы зависит от количества используемых пикселей для формирования изображения. Объектив формирует поток света, а матрица разделяет его на пиксели. Но оптика объектива также имеет свое разрешение. И если разрешение объектива не достаточное, и он передает две светящиеся точки с разделением черной точкой как одну светящуюся, то точного разрешения фотоаппарата, которое зависит от значения Мп, можно и не заметить.

Поэтому результирующее разрешение фотокамеры зависит и от разрешения матрицы и от разрешения объектива, измеряемое в количестве линий на миллиметр.

И максимальным это разрешение будет, когда разрешение объектива соответствует разрешению матрицы. Разрешение цифровых матриц зависит от размера пикселя, который может быть от 0,002 мм до 0,008 мм (2-8 мкм). Сегодня количество мегапикселей на фотосенсоре может дистигать значения 30 Мп.

Структура матрицы

Отношение сторон матрицы

В современных фотоаппаратах применяются матрицы с форматами 4:3, 3:2, 16:9. В любительских цифровых фотоаппаратах обычно используется формат 4:3. В зеркальных цифровых фотоаппаратах обычно применяют матрицы формата 3:2, если специально не оговорено применение формата 4:3. Формат 16:9 редко используется.

Тип матрицы

Раньше в основном использовались фотосенсоры на основе ПЗС (прибор зарядовой связи, по-английски CCD — Charge-Coupled Device). Эти матрицы состоят из светочувствительных светодиодов и используют технологию приборов с зарядовой связью (ПЗС). Успешно применяется и в наше время.

Но в 1993 году была реализована технология Activ Pixel Sensors. Её развитие привело к внедрению в 2008 году КМОП-матрицы (комплиментарный металл-оксид-полупроводник, по-английски CMOS — Complementary-symmetry/Metal-Oxide Semiconductor). При этой технологии возможна выборка отдельных пикселей, как в обычной памяти, а каждый пиксель снабжен усилителем. Так же матрицы на этой технологии могут иметь и автоматическую систему настройки времени экспонирования для каждого пикселя. Это позволяет увеличить фотографическую широту.

Фирма Panasonic создала свою матрицу Live-MOS-матрицу. Она работает на МОП технологии. Применяя такую матрицу можно получить живое изображение без перегрева и увеличения шумов.

Откуда берутся шумы на снимках и как их уменьшить.

Как можно почистить матрицу в зеркальном фотоаппарате.

Как размер матрицы влияет на качество снимков.

Чистка матрицы фотоаппаратов Nikon, Fujifilm, Canon в СПб, очистка матрицы от пыли у зеркальных фотоаппаратов

Проблема загрязнения матрицы цифровой фотокамеры – одна из самых актуальных тем для фотографов и фотолюбителей на сегодняшний день. Даже если вы редко меняете объективы и используете пыле-/влагозащищенную оптику, рано или поздно хотя бы несколько пылинок попадут на матрицу. Попадая на сенсор фотокамеры, пыль образует характерные пятна, наиболее заметные при закрытых значениях диафрагмы. Особенно четко они проявляются на светлых монотонных участках фотографий. Многие камеры при включении и/или выключении включают вибрацию всей матрицы или только переднего защитного фильтра, что отчасти помогает, но некоторые заряженные частички пыли практически «приклеиваются» за счет электростатического поля, так что стряхнуть или сдуть их с помощью груши не получается. В таких случаях становится необходимостью влажная чистка матрицы. Выполнение данной процедуры мы рекомендуем доверять только профессионалам.

До и после чистки

Как уберечь матрицу от загрязнений?

Как правило, пыль и другие мелкие частицы попадают на матрицу фотоаппарата при смене объектива, или сначала засасываются в объектив, а из него попадают уже внутрь камеры. Вероятность загрязнения существенно увеличивается в том случае, если смена объектива производится на улице, либо в помещении с мягкой мебелью, коврами, текстилем и другими подобными накопителями пыли.

Можно существенно уменьшить вероятность загрязнения матрицы, соблюдая следующие несложные правила:

• При смене объектива, держать камеру байонетом вниз.
• По возможности содержать в чистоте задние линзы объективов, всегда закрывать их крышкой.
• У объективов без внутренней фокусировки / трансфокации (с выезжающим блоком линз) не следует менять фокус / фокусное расстояние при попадании в особо пыльные условия (песчаная буря, съемка пыли из-под колес и так далее).

Как показывает практика, полностью избежать попадания пыли на матрицу невозможно. Но приемы указанные выше позволят вам существенно сократить количество пыли и, соответственно, реже прибегать к процедуре чистки матрицы.

Не рекомендуется самостоятельно заниматься влажной чисткой матрицы

Относительно безопасным способом чистки, к которому можно прибегать в домашних условиях, является обдув матрицы воздухом с помощью специальной груши. Категорически запрещено использовать баллоны со сжатым воздухом, т.к. их напор воздуха слишком силён. Если это не помогает, нужно переходить к влажной чистке. Крайне не рекомендуется самостоятельно заниматься влажной чисткой данного элемента фотоаппарата: далеко не все средства, которые рекламируются как жидкости или наборы для чистки матриц, на самом деле можно отнести к таковым. Также можно ошибиться с дозировкой средства, или же слишком сильно надавить на матрицу. Все это может привести к еще большим загрязнениям камеры (разводы от чистящих средств), попаданию чистящей жидкости под верхний фильтр, появлению царапин на просветляющем покрытии, и так далее. Царапины на поверхности матрицы остаются навсегда и становятся видны в виде одинаковых цветных полос на каждом снимке. Эта проблема решается только заменой матрицы — самого дорогого элемента фотоаппарата.

Для качественной и безопасной чистки матрицы мы советуем обращаться к профессионалам.

Услуги по чистке матрицы

FOTO-ONE Service предлагает услуги по профессиональной чистке матрицы вашей фото- или видеокамеры. Как и в любом профессиональном сервисном центре мира, при чистке матрицы в обязательном порядке делаются контрольные снимки перед чисткой, в процессе и после окончания. При желании, заказчик может посмотреть результат чистки.

Что такое чистка матрицы фотоаппарата?

Под чисткой матрицы обычно подразумевают влажную чистку многослойного фильтра перед матрицей от мельчайших пылинок и других загрязнений. Чистка матрицы рекомендуется при появлении темных точек на светлых участках изображения. Особенно хорошо их видно в виде темных точек на фоне неба. Темные точки — это не что иное, как грязь и пыль на матрице.
Пыль становится более заметна при закрытии диафрагмы. Например: на диафрагме 2.8, будут видны только существенные загрязнения, а пыль будет почти не заметна. При диафрагме 8 пыль уже заметна, а при диафрагме 16 или 22 будут заметны даже мельчайшие пылинки.

Профессиональная чистка матриц

Под профессиональной чисткой матрицы подразумевается чистка, где кроме самой матрицы, СНАЧАЛА чистится от пыли и грязи блок зеркал, все каморное пространство, в котором находится блок зеркал, а также сам затвор. Если этого не делать перед чисткой самой матрицы, то пыль уже находящаяся внутри камеры, в самое ближайшее время попадет на матрицу и труды по ее чистке окажутся напрасны. Результатом профессиональной чистки становится отсутствие видимых следов на изображении даже при диафрагме 22. Кроме матрицы, чистым остается и каморное пространство, и блок зеркал, и затвор.

Чистка матрицы с разборкой камеры

Во всех современных фотокамерах существуют системы удаления сухой пыли ультразвуком. Наличие такой системы иногда спасает от случаев загрязнения сенсора камеры сухой пылью. К сожалению, очень мало фотографов (даже профессиональных) задается вопросом: куда исчезает пыль внутри камеры после включения функции ультразвуковой чистки? Дело в том, что внутри камеры, по периметру матрицы находится специальный пылеуловитель в виде полимерной полосы с очень высокой адгезией. В какой-то момент времени этот пылеуловитель переполняется и пыль попадает обратно на сенсор. Обычная чистка, даже профессиональная, в таком случае бессильна. В этом случае необходима чистка матрицы с разборкой камеры.

Вычищается все пространство внутри камеры, затвор, каморное пространство, меняется (или чистится, в зависимости от модели камеры) пылеуловитель. После такой чистки, камера собирается, полностью настраивается и становится референсной (то есть эталонной).

Доверяйте чистку только авторизованным сервисным центрам

Неавторизованные сервисные центры не смогут корректно провести такую чистку, так как после разборки камере необходима калибровка, а для ее проведения сервисный центр должен иметь  специальное оборудование и закрытое программное обеспечение, которое таким СЦ недоступно.

Получить бесплатную консультацию

типы, размер, разрешение, светочувствительность, чистка

Ни один фотоаппарат не может обойтись без матрицы. Современные модели оснащаются ей практически поголовно. Так произошло в момент, когда цифровые аналоги начали вытеснять устаревшие пленочные технологии. Матрица фотоаппарата является одним из основных компонентов, без которых невозможна эксплуатация всего прибора в целом, ведь его роль если и не является ключевой, то, по крайней мере, может считаться одной из ведущих. Именно матрица отвечает за качество будущего снимка, цветопередачу, четкость, полноту кадра. Как и другие важные элементы фототехники, матрица обладает рядом основных параметров, на которые обычно принято ориентироваться при выборе той или иной модели.

Типы матриц

Матрица цифрового фотоаппарата – это, в первую очередь, микросхема. Она преобразует световые лучи, которые, преломившись в системе линз и зеркал, попадают на нее. В результате такого преображения получается электрический сигнал, который выводится в цифровом виде, образуя снимок. За весь этот процесс отвечают специальные фотодатчики, расположенные на самой плате. Чем больше количество датчиков, чувствительных к свету, тем больше разрешение, и, как следствие, качество конечного снимка.

Встречаются матрицы следующих типов.

1. ПЗС – тип матрицы фотоаппарата, который дословно расшифровывается как прибор зарядовой связи. В английском варианте – Charge-Coupled Device. Весьма известная аббревиатура, которая, впрочем, не так часто встречается в наши дни. Многие используют приборы, в основе которых лежат светодиоды, имеющие высокую светочувствительность, созданные на основе ПЗС системы, но, несмотря на широкую распространенность, данный вид микросхем все больше вытесняется более современным.
   
2. КМОП-матрица. Формат матрицы, введенный в эксплуатацию в 2008 году. Впрочем, история создания данного формата уходит корнями в далекий 93-й, когда впервые была опробована технология APS. КМОП-матрица – это комплиментарный металл-оксид-полупроводник. Данная технология позволяет производить выборку отдельного пикселя почти так же, как и в стандартной системе памяти, к тому же, каждый пиксель оснащается дополнительным усилителем. Поскольку данная система является более современной, она зачастую оснащается автоматической подстройкой времени экспонирования каждого пикселя по отдельности. Данное улучшение позволяет получить полный кадр без потери боковых границ, а так же без потери верха и низа кадра. Полноразмерная матрица чаще всего бывает выполнена по технологии КМОП.
3. Существует еще один тип матрицы – Live-MOS-матрица. Ее выпустила фирма «Панасоник». Данная микросхема функционирует при помощи технологии, в основе которых лежит МОП. МОП-матрица позволяет делать качественные профессиональные снимки без высокого уровня шума, а также исключает перегрев.

Физический размер матрицы

Размер матрицы фотоаппарата – одна из ее важнейших характеристик. Как правило, его указывают в дюймах в виде дроби. Больший размер подразумевает меньшее количество шумов на конечном снимке. К тому же, чем больше физический размер, тем больше световых лучей способна зарегистрировать матрица. Объем и количество лучей напрямую влияют на качество передачи оттенков и полутонов.

Кроп-фактор — это соотношение размеров кадра пленочного фотоаппарата 35 мм к размерам матрицы цифрового фотоаппарата. Все дело в том, что процесс создания цифровой матрицы довольно дорогостоящий, и поэтому производители постарались максимально сократить ее размер.

Если сравнить фото, сделанное с одним объективом на фотоаппарате с полнокадровой матрицей и фотоаппарате с «кропнутой» матрицей, то в первом случае угол охвата будет больше, и само изображение шире. Получается, что кропнутая матрица обрезает готовую картинку, отсюда и пошло такое название – кроп от англ. crop  (резать).

Чаще всего кроп-фактор используют для замера наиболее точного расстояния фокуса у объектива, устанавливая его на различные приборы. Здесь вступает в игру такое понятие, как эквивалентное фокусное расстояние (ЭФР), которое вычисляется путем умножения фокусного расстояния (ФР) на кроп-фактор. Так, объектив с полнокадровой матрицей (кроп=1) и объективом с ФР 50 мм зафиксирует такое же по размерам изображение, как и кропнутая матрица 1,6 с объективом с ФР 30 мм. В этом случае можно сказать, что ЭФР у этих объективов одинаковое. Ниже приведена таблица, в которой можно провести сравнение, как меняется ЭФР в зависимости от кроп-фактора.

Количество мегапикселей и разрешение матрицы

Матрица сама по себе является дискретной. Она состоит более чем из миллиона элементов, которые и преобразовывают световой поток, идущий от линз. В характеристике каждой модели фотоаппарата можно отыскать такой параметр матричной платы как количество светочувствительных элементов или разрешение матрицы, измеряемое в мегапикселях.

Один мегапиксель равен одному миллиону светочувствительных датчиков, улавливающих преломленные в линзах лучи. Разумеется, чем этот параметр будет больше, тем лучший снимок получится сделать.

Правда, здесь есть и обратная зависимость. Если физический размер матрицы меньше, то и количество мегапикселей должно быть пропорционально меньше, в противном случае не удастся избежать эффекта дифракции: фотографии будут замыленными, без четкости.

Чем больше размер пикселя, тем больше он способен зафиксировать лучей, падающих на него. Размер пикселей напрямую связан с размерами матрицы, и влияет, в основном, на широту кадра. Чем больше количество мегапикселей с правильным соотношением размеров матрицы, тем больше лучей света смогу уловить датчики. Количество зафиксированных лучей напрямую влияет на исходные параметры преобразуемого материала: резкость, цветность, объем, контрастность, фокус.

Таким образом, разрешение фотокамеры влияет на качество снимка. Зависимость разрешения от объема использующихся пикселей очевидна. В объективе при помощи сложной расстановки оптических элементов формируется необходимый световой поток, который потом матрица поделит на пиксели. Оптические приборы тоже обладают собственным разрешением. Более того, если разрешение объектива достаточно мало, а передача двух светящихся точек, разделяемых одной темной, происходит как единого целого, то разрешение будет не столь отчетливо выделяться. Происходит это именно из-за прямой зависимости и привязки к числу мегапикселей.

Важно: на качественный снимок влияет как параметр разрешения матрицы, так и разрешение оптики объектива. Измеряется оно количество линий на 1 мм. Своего максимального значения разрешение достигает, когда оба показателя — и матрица, и объектив — соответствуют друг другу.

Если говорить о разрешении современных цифровых микросхем, то оно складывается из размера пикселя (от 2 до 8 мкм). На сегодняшний день на рынке представлены модели с показателями до 30 мп.

Светочувствительность

В фотоаппаратах по отношению к матрице принято использовать термин эквивалентной чувствительности. Связано это с тем, что подлинную чувствительность можно измерять различными способами в зависимости от множества параметров матрицы. Зато, применив усиление сигнала и цифровую обработку, пользователь может обнаружить высокие пределы чувствительности.

Параметры светочувствительности демонстрируют возможность исходного материала преобразовываться из электромагнитных воздействий потока света в электрический двоичный сигнал. Проще говоря, показывать, сколько требуется света для получения объективного уровня электрического импульса на выходе.

Параметр чувствительности (ISO) чаще всего используется фотографами для демонстрации возможности съемки в условиях плохого освещения. Увеличение чувствительности в параметрах прибора позволяет улучшить качество конечного снимка при необходимом значении диафрагмы и выдержки. ISO может достигать значения от нескольких десятков до тысяч и десятков тысяч единиц. Негативной стороной высоких значений светочувствительности является появление «шумов», которые проявляются в виде эффекта зернистости кадра.

Как проводить чистку матрицы в домашних условиях

Битые пиксели не всегда могут быть таковыми на самом деле. В действительности, когда происходит смена объектива, на матрицу могут попасть частицы мусора, вызывающие эффект «битого пикселя». Чистка матрицы фотоаппарата нужна для профилактики этого эффекта, а также для более комфортной работы с прибором.

Со временем, в особенности, если устройство эксплуатируется подолгу в различных погодных условиях, матрица может покрыться слоем пыли. При нарушении герметичности в области крепления объектива на поверхность может попасть небольшое количество влаги, что тоже может негативно сказаться на качестве кадра. Чистку можно доверить профессионалам из сервисного центра, а можно провести и самостоятельно, в домашних условиях.

Важно не забывать, что помещение, в котором будет происходить процедура, должно быть как можно менее пыльным, без сильных сквозняков. Прежде чем приступать к самой процедуре, необходимо убедиться, что аккумуляторная батарея заряжена.

Первый и самый простой способ очистки стеклянной поверхности кремниевой пластины микросхемы – сдувание пыли. Для этого следует использовать самую обычную грушу для чистки объективов, она продается в любом крупном магазине бытовой техники. К сожалению, использование груши помогает только при снятии легкого налета небольших песчинок пыли. Для более крупных частиц, которые могли прилипнуть к поверхности, может потребоваться что-то более основательное.

Если груша не помогла справиться с пятнами на матрице, можно попробовать использовать специальный набор для очистки стеклянной поверхности. Стоит он несколько дороже, но эффективность очистки значительно выше.

1. Первый пункт в очистке – использование специального пылесоса. Его сборка не занимает много времени и детально описана в инструкции к набору. На конце устройства находится мягкий наконечник, так что повреждение прибора во время работы исключено. Лучше всего будет прочистить при помощи пылесоса не только стеклянную поверхность, но и все скрытые полости, доступные для чистки.
   
2. После уборки при помощи пылесоса можно начинать влажную уборку. Она осуществляется при помощи специальных щеточек, одна из которых влажная, другая сухая. Этот вид уборки нужен для пылинок, которые, будучи мокрыми, попали на поверхность стекла, и, высохнув, прикрепились к нему, создав эффект «битого пикселя». Влажная щетка пропитана специальным раствором, который эффективно удаляет засохшие песчинки и пылинки, не оставляя пятен и разводов. Необходимо проводить по стеклу плавными аккуратными движениями, лишь слегка нажимая на саму щетку. Оставшаяся влага довольно быстро испарится сама. Даже если после влажной уборки на стекле остается пара капель, то они прекрасно удаляются сухой щеточкой (кисточкой).
   
3. Третий этап – финальный, проводим сухой щеточкой по матрице и убеждаемся, что она чистая.

После очистки можно попробовать сделать тестовый снимок, чтобы убедиться, что процедура прошла успешно. Для этого необходимо закрыть диафрагму до максимального значения и сделать снимок чистого белого листа, приведя объектив в состояние полной расфокусировки. Затем сравнить качество снимков до и после.

Почистить матрицу зеркального фотоаппарата довольно просто, для этого не требуется каких-то глубоких знаний или большого опыта, достаточно желания, немного терпения и знания базовых принципов очистки высокоточной оптической техники.

Заключение

Матрица фотоаппарата является важнейшей деталью любой современной зеркалки. Без нее невозможно сделать снимок, а от ее параметров зависит дальнейшее использование устройства. Если параметры матрицы выбраны неправильно, фотоаппарат не будет оптимально справляться со своими задачами. Матрица не требует какого-то дополнительного ухода, кроме периодической чистки стеклянной поверхности.

Следует отметить, что светочувствительные датчики очень хрупкие и плохо переживают падение прибора даже с небольшой высоты, поэтому эксплуатировать фотоаппарат рекомендуется с максимальной осторожностью и аккуратностью.

Рассекая матрицу камеры, Часть 3: Внутренняя матрица ←

13 августа 2013 г.

Сегодня мы изучим внутреннюю матрицу камеры в нашей третьей и последней главе трилогии «Рассечение матрицы камеры». В первой статье мы узнали, как разделить полную матрицу камеры на внутреннюю и внешнюю матрицы и как правильно обрабатывать неоднозначности, возникающие в этом процессе. Во второй статье внешняя матрица была рассмотрена более подробно, рассмотрены несколько различных интерпретаций ее трехмерных поворотов и перемещений.Сегодня мы так же рассмотрим внутреннюю матрицу, исследуя две эквивалентные интерпретации: как описание геометрии виртуальной камеры и как последовательность простых 2D-преобразований. После этого вы увидите интерактивную демонстрацию, иллюстрирующую обе интерпретации.

Если вам не интересно углубляться в теорию и вы просто хотите использовать свою внутреннюю матрицу с OpenGL, ознакомьтесь со статьями «Калиброванные камеры в OpenGL без glFrustum», «Калиброванные камеры» и «gluPerspective».

Все эти статьи являются частью серии «Камера перспективы, интерактивный тур». Чтобы прочитать другие статьи этой серии, перейдите к оглавлению.

Внутренняя матрица преобразует координаты трехмерной камеры в двумерные координаты однородного изображения. Эта перспективная проекция моделируется идеальной камерой-обскурой, показанной ниже.

Внутренняя матрица параметризована Хартли и Зиссерманом как

\ [ K = \ left ( \ begin {array} {c c c} f_x & s & x_0 \\ 0 & f_y & y_0 \\ 0 & 0 & 1 \\ \ end {массив} \верно ) \]

Каждый внутренний параметр описывает геометрическое свойство камеры. Давайте подробно рассмотрим каждое из этих свойств.

Фокусное расстояние, \ (f_x \), \ (f_y \)

Фокусное расстояние — это расстояние между отверстием и пленкой (или плоскостью изображения). По причинам, которые мы обсудим позже, фокусное расстояние измеряется в пикселях. В настоящей камере-обскуре и \ (f_x \), и \ (f_y \) имеют одинаковое значение, которое показано как \ (f \) ниже.

На практике \ (f_x \) и \ (f_y \) могут различаться по ряду причин:

• Дефекты сенсора цифровой камеры.
• Изображение было неравномерно масштабировано при постобработке.
• Объектив камеры создает непреднамеренное искажение.
• В камере используется анаморфный формат, в котором объектив сжимает широкоэкранную сцену в матрицу стандартного размера.
• Ошибки калибровки камеры.

Во всех этих случаях результирующее изображение имеет неквадратные пиксели.

Наличие двух разных фокусных расстояний не очень интуитивно понятно, поэтому в некоторых текстах (например, Форсайт и Понсе) используется одно фокусное расстояние и «соотношение сторон», которое описывает величину отклонения от идеально квадратного пикселя. Такая параметризация хорошо отделяет геометрию камеры (то есть фокусное расстояние) от искажения (соотношения сторон).

Смещение главной точки, \ (x_0 \), \ (y_0 \)

«Главная ось» камеры — это линия, перпендикулярная плоскости изображения, которая проходит через точечное отверстие. Его пересечение с плоскостью изображения называется «главной точкой», как показано ниже.

«Смещение главной точки» — это положение главной точки относительно исходной точки пленки.Точное определение зависит от того, какое соглашение используется для определения местоположения происхождения; на иллюстрации ниже предполагается, что он находится в нижнем левом углу фильма.

Увеличение \ (x_0 \) смещает точечное отверстие вправо:

Это эквивалентно смещению пленки влево и оставлению точечного отверстия без изменений.

Обратите внимание, что рамка, окружающая камеру, не имеет значения, имеет значение только положение точечного отверстия относительно пленки.

Наклон оси, \ (s \)

Наклон оси вызывает сдвиговое искажение проецируемого изображения. Насколько мне известно, нет никакого аналога смещению оси для настоящей камеры-обскуры, но очевидно, что некоторые процессы оцифровки могут вызвать ненулевой перекос. Мы рассмотрим перекос подробнее позже.

Прочие геометрические свойства

Фокусное расстояние и смещение главной точки сводятся к простому перемещению пленки относительно точечного отверстия. Должны же быть другие способы трансформировать камеру, верно? А как насчет поворота или масштабирования пленки?

Вращение пленки вокруг точечного отверстия эквивалентно вращению самой камеры, за которое отвечает внешняя матрица.Вращение пленки вокруг любой другой фиксированной точки \ (x \) эквивалентно вращению вокруг отверстия \ (P \) с последующим перемещением на \ ((x-P) \).

А как насчет масштабирования? Должно быть очевидно, что удвоение всех размеров камеры (размера пленки и фокусного расстояния) не влияет на снимаемую сцену. Если вместо этого вы удвоите размер пленки и фокусное расстояние , а не , это будет эквивалентно удвоению обоих (без операции) и последующему уменьшению фокусного расстояния вдвое. Таким образом, явное представление масштаба фильма было бы излишним; он фиксируется фокусным расстоянием.

Фокусное расстояние — от пикселей до мировых единиц

Это обсуждение масштабирования камеры показывает, что существует бесконечное количество камер-обскур, которые производят одно и то же изображение. Внутренняя матрица касается только отношения между координатами камеры и координатами изображения, поэтому абсолютные размеры камеры не имеют значения. Использование пиксельных единиц для фокусного расстояния и смещения главной точки позволяет нам представить относительные размеры камеры, а именно положение пленки относительно ее размера в пикселях.

Другими словами, внутреннее преобразование камеры инвариантно к равномерному масштабированию геометрии камеры. Представляя размеры в пикселях, мы естественным образом фиксируем эту неизменность.

Вы можете использовать аналогичные треугольники для преобразования пиксельных единиц в мировые единицы (например, мм), если вы знаете хотя бы одно измерение камеры в мировых единицах. Например, если вы знаете, что пленка камеры (или цифровой датчик) имеет ширину \ (W \) в миллиметрах, а ширина изображения в пикселях равна \ (w \), вы можете преобразовать фокусное расстояние \ (f_x \) в мировые единицы используют:

\ [F_x = f_x \ frac {W} {w} \]

Другие параметры \ (f_y \), \ (x_0 \) и \ (y_0 \) могут быть преобразованы в их аналоги в мировых единицах \ (F_y \), \ (X_0 \) и \ (Y_0 \), используя аналогичные уравнения:

\ [ \ begin {array} {ccc} F_y = f_y \ frac {H} {h} \ qquad X_0 = x_0 \ frac {W} {w} \ qquad Y_0 = y_0 \ frac {H} {h} \ end {массив} \]

Как мы обсуждали ранее, только расположение точечного отверстия и материала пленки, поэтому физическая коробка, окружающая камеру, не имеет значения.По этой причине во многих обсуждениях геометрии камеры используется более простое визуальное представление: пирамида камеры.

Область обзора камеры имеет форму пирамиды, которую иногда называют «конусом видимости». Давайте добавим к нашей сцене несколько трехмерных сфер и покажем, как они попадают в конус видимости, и создадим изображение.

Так как «коробочка» камеры не имеет значения, снимем ее. Также обратите внимание, что изображение в фильме представляет собой зеркальную версию реальности. Чтобы исправить это, мы будем использовать «виртуальный образ» вместо самого фильма.Виртуальное изображение имеет те же свойства, что и изображение на пленке, но в отличие от настоящего изображения виртуальное изображение появляется перед камерой, а проецируемое изображение не переворачивается.

Обратите внимание, что положение и размер плоскости виртуального изображения произвольны — мы могли бы удвоить ее размер, если бы мы также удвоили расстояние от отверстия.

После удаления истинного изображения мы остаемся с представлением «усеченной пирамиды» нашей камеры-обскуры.

Точечное отверстие было заменено кончиком конуса видимости, и пленка теперь представлена ​​виртуальной плоскостью изображения.Позже мы будем использовать это представление для нашей демонстрации.

В предыдущих разделах мы интерпретировали наши входящие 3-вектора как координаты трехмерного изображения, которые преобразуются в координаты однородного двухмерного изображения. В качестве альтернативы мы можем интерпретировать эти 3-вектора как однородные 2D-координаты, которые преобразуются в новый набор 2D-точек. Это дает нам новый взгляд на внутреннюю матрицу: последовательность двумерных аффинных преобразований.

Мы можем разложить внутреннюю матрицу на последовательность преобразований сдвига, масштабирования и смещения, соответствующих перекосу оси, фокусному расстоянию и смещению главной точки, соответственно:

\ [ \ begin {align} K & = \ left ( \ begin {array} {c c c} f_x & s & x_0 \\ 0 & f_y & y_0 \\ 0 & 0 & 1 \\ \ end {массив} \верно ) \\ [0. 5em] знак равно \ underbrace { \оставили ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-перевод} \ раз \ underbrace { \оставили ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-масштабирование} \ раз \ underbrace { \оставили ( \ begin {array} {c c c} 1 & s / f_x & 0 \\ 0 & 1 & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D сдвиг} \ end {align} \]

Эквивалентное разложение помещает сдвиг после масштабирования :

\ [ \ begin {align} K & = \ underbrace { \оставили ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-перевод} \ раз \ underbrace { \оставили ( \ begin {array} {c c c} 1 & s / f_y & 0 \\ 0 & 1 & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D сдвиг} \ раз \ underbrace { \оставили ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-масштабирование} \ end {align} \]

Эта интерпретация прекрасно разделяет внешние и внутренние параметры на области 3D и 2D, соответственно. Также подчеркивается, что внутреннее преобразование камеры происходит после проекции . Одним из примечательных результатов этого является то, что внутренние параметры не могут влиять на видимость. — закрытые объекты не могут быть обнаружены простыми двухмерными преобразованиями в пространстве изображения.

Демо ниже иллюстрирует обе интерпретации внутренней матрицы. Слева — интерпретация «геометрии камеры». Обратите внимание, как точечное отверстие перемещается относительно плоскости изображения при настройке \ (x_0 \) и \ (y_0 \).

Справа — интерпретация «2D трансформации». Обратите внимание, как изменение результатов фокусного расстояния приводит к масштабированию проецируемого изображения, а изменение главной точки приводит к чистому преобразованию.

Javascript требуется для этой демонстрации.

Слева : сцена с камерой и просмотром. Виртуальная плоскость изображения отображается желтым цветом. Справа : изображение камеры.

В этой серии статей мы увидели, как разложить

1. полная матрица камеры на внутреннюю и внешнюю матрицы,
2. внешняя матрица в трехмерное вращение с последующим переносом, а
3. внутреннюю матрицу на три основных 2D преобразования.\ text {Внешняя матрица} \\ [0.5em] знак равно \ overbrace { \ underbrace { \оставили ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-перевод} \ раз \ underbrace { \оставили ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D-масштабирование} \ раз \ underbrace { \оставили ( \ begin {array} {c c c} 1 & s / f_x & 0 \\ 0 & 1 & 0 \\ 0 и 0 и 1 \ end {массив} \верно ) } _ \ text {2D сдвиг} } ^ \ text {Внутренняя матрица} \ раз \ overbrace { \ underbrace { \ left (\ begin {array} {c | c} Я & \ mathbf {t} \ end {array} \ right) } _ \ text {3D-перевод} \ раз \ underbrace { \ left (\ begin {array} {c | c} R & 0 \\ \ hline 0 и 1 \ end {array} \ right) } _ \ text {3D-вращение} } ^ \ text {Внешняя матрица} \ end {align} \]

   Чтобы увидеть все эти трансформации в действии, перейдите на мою страницу «Игрушка с перспективной камерой», чтобы увидеть интерактивную демонстрацию камеры с полной перспективой.

   Есть ли у вас другие способы интерпретации внутренней матрицы камеры? Оставьте комментарий или напишите мне!

   В следующий раз мы покажем, как подготовить откалиброванную камеру для создания пар стереоизображений. Увидимся позже!

   Сообщение от Кайл Симек
   Пожалуйста, включите JavaScript, чтобы просматривать комментарии от Disqus. комментарии в блоге на платформе

   матриц — Как найти положение и поворот камеры из матрицы 4×4?

   Я недостаточно знаком с этой областью, чтобы знать, что такое соглашения, но я могу предоставить некоторый общий контекст.

   Однородная матрица камеры размером $ 4 \ times 4 $ преобразует координаты из мирового пространства в пространство камеры. По-видимому, эта матрица не , а не включает перспективную проекцию, поэтому мы фактически говорим об аффинном преобразовании. Сама матрица может сказать вам, где находится камера в мировом пространстве и в каком направлении она указывает, но не может сказать вам ничего другого — для этого вам нужны другие параметры камеры. T \, \ left [\ begin {массив} {c} 0 \\ 0 \\ 1 \ end {array} \ right] $.

   Это говорит вам примерно столько, сколько вы можете получить из матрицы. Все остальное зависит от других свойств камеры.

   Матрицы преобразования цветов в цифровых камерах: учебное пособие

   1.

   Введение

   Рассмотрите возможность преобразования сцены, снятой цифровой камерой в необработанном пространстве камеры, в цифровое изображение, подходящее для отображения с использованием цветового пространства, ориентированного на вывод. По крайней мере, есть два принципиально важных вопроса, которые необходимо решить при попытке правильно воспроизвести внешний вид цвета.Во-первых, функции отклика цифровых камер отличаются от функций зрительной системы человека (HVS). Широко используемый подход к этой проблеме состоит в том, чтобы рассматривать цветовые пространства как векторные пространства и учитывать различия в ответах путем введения матрицы преобразования цвета. Типом матрицы преобразования цвета, который обычно встречается, является матрица характеристик 3 × 3 T_, которая определяет линейную связь между необработанным пространством камеры и эталонным цветовым пространством CIE XYZ:

   В общем, необработанные пространства камеры не являются колориметрическими, поэтому приведенное выше преобразование приблизительное. Отношение может быть оптимизировано для данного источника света путем минимизации ошибки цвета. Примечательно, что это означает, что оптимальная T_ зависит от характера источника света сцены, ^{1 , 2} , включая его точку белого (WP). Методология характеристики для определения оптимального T_ описана в разд. 2.4, вместе с иллюстрацией того, как T_ следует нормализовать на практике.

   Вторая проблема, которую необходимо решить, — это восприятие сцены освещения WP.Хотя различные механизмы адаптации, используемые HVS, сложны и не до конца понятны, считается, что HVS естественным образом использует механизм хроматической адаптации для регулировки своего восприятия WP освещения сцены для достижения постоянства цвета в различных условиях освещения. ^{3 , 4} Поскольку датчики цифровой камеры не адаптируются естественным образом, неправильный баланс белого (WB) будет возникать, когда WP освещения сцены отличается от эталонного белого цветового пространства, связанного с выходом, используемого для кодировать выходное изображение, созданное камерой. Как показано в разд. 3, цифровые камеры должны пытаться имитировать этот механизм хроматической адаптации, используя соответствующее преобразование хроматической адаптации (CAT).

   Как обсуждалось в разд. 4, современные смартфоны и коммерческие необработанные преобразователи обычно вычисляют оптимальную характеристическую матрицу T_ путем интерполяции между двумя предварительно установленными характеристическими матрицами согласно оценке WP освещения сцены, и CAT реализуется после применения T_. В традиционных цифровых камерах преобразование цвета обычно переформулируется в терминах множителей необработанных каналов и матриц вращения цвета R_.Этот подход дает несколько преимуществ, как описано в разд. 5. Аналогичный, но более простой в вычислительном отношении подход используется конвертером исходных данных DCRaw с открытым исходным кодом, как описано в разд. 6. Конвертер цифровых негативов Adobe ^® с открытым исходным кодом (DNG) предлагает два метода преобразования цветов, а природа цветовых матриц Adobe и прямых матриц обсуждается в разд. 7. Наконец, в разд. 8.

   2.

   Camera Raw Space

   2.1.

   Gamut

   Необработанное пространство камеры для данной модели камеры возникает из ее набора функций спектральной чувствительности или функций отклика камеры:

   Eq.(2)

   Ri (λ) = QEi (λ) eλhc, где e — заряд элемента, λ — длина волны, h — постоянная Планка, а c — скорость света. Внешний квантовый выход для мозаики i определяется формулой

   Eq. (3)

   QEi (λ) = TCFA, i (λ) η (λ) T (λ) FF, где TCFA, i — функция пропускания матрицы цветных фильтров (CFA) для мозаики i, η (λ) — заряд эффективность сбора или внутренняя квантовая эффективность фотоэлемента, а T (λ) — функция пропускания границы раздела SiO2 / Si. ⁵ Коэффициент заполнения определяется как FF = Adet / Ap, где Adet — это светочувствительная область обнаружения на фотосайте, а Ap — это площадь фотосайта.Спектральная полоса пропускания камеры должна идеально соответствовать видимому спектру, поэтому требуется фильтр, блокирующий инфракрасное излучение.

   Аналогично функциям отклика конуса глаза HVS, которые можно интерпретировать как определение количества основных цветов конуса глаза, которые глаз использует для восприятия цвета при заданном λ, функции отклика камеры можно интерпретировать как указание количества основные цвета необработанного пространства камеры на каждом λ. Например, измеренные функции отклика камеры Nikon D700 показаны на рис.1. Однако необработанное пространство камеры является колориметрическим только в том случае, если выполняется условие Лютера-Айвса, ^{7 — 9} , что означает, что функции отклика камеры должны быть точным линейным преобразованием функций отклика конуса глаза, которые косвенно представлены как линейное преобразование из функций согласования цветов CIE для стандартного наблюдателя.

   Рис. 1

   Функции отклика камеры Nikon D700. Пиковая спектральная чувствительность нормирована на единицу.Данные получены из исх. 6.

   Хотя функции отклика конуса глаза подходят для захвата деталей с помощью простого объектива человеческого глаза, в цифровых камерах используются составные линзы, которые были скорректированы на хроматическую аберрацию. Следовательно, функции отклика камеры разработаны с учетом других соображений. ^{10 , 11} Например, лучшее соотношение сигнал / шум достигается за счет уменьшения перекрытия функций отклика, что соответствует характеристической матрице с меньшими недиагональными элементами. ^{10 — 12} В самом деле, небольшие цветовые ошибки могут быть заменены на лучшее соотношение сигнал / шум. ^{10 — 13} С другой стороны, повышенная корреляция в измерении длины волны может улучшить производительность процедуры цветовой демозаики. ¹⁴ Из-за таких компромиссов, наряду с ограничениями производства фильтров, функции отклика камеры на практике не являются точными линейными преобразованиями функций отклика конуса глаза.Следовательно, необработанные пространства камеры не являются колориметрическими, поэтому камеры показывают метамерную ошибку. Метамеры — это разные спектральные распределения мощности (SPD), которые HVS воспринимают как один и тот же цвет при просмотре в абсолютно одинаковых условиях. Камеры с метамерной ошибкой дают разные цветовые отклики на эти метамеры. Метамерная ошибка камеры может быть определена экспериментально и количественно оценена с помощью индекса метамерии чувствительности цифровой фотокамеры (DSC / SMI). ^{8 , 15}

   На рисунке 2 показан спектральный локус HVS на диаграмме цветности xy, которая представляет собой двумерную проекцию цветового пространства CIE XYZ, которое описывает относительные пропорции трехцветных значений.Обратите внимание, что сам спектральный локус имеет форму подковы, а не треугольника из-за того, что перекрытие функций отклика глаз-конус предотвращает независимую стимуляцию глазных колбочек, поэтому цветности, соответствующие координатам цветности (x, y), расположены за пределами спектральные локусы невидимы или воображаемы, поскольку они более насыщены, чем чистые цвета спектра. Цветовой охват необработанного пространства камеры Nikon D700 также показан на рис. 2 и сравнивается с несколькими стандартными цветовыми пространствами для вывода, а именно sRGB, ¹⁶ Adobe ^® RGB, ¹⁷ и ProPhoto RGB. ¹⁸ Из-за положения основных цветов необработанного пространства камеры на диаграмме цветности xy, некоторые области гаммы необработанного пространства камеры не достигают спектрального локуса HVS, поскольку эти области лежат за пределами треугольной формы, доступной для аддитивных линейных комбинаций три праймериз. Кроме того, заметным следствием метамерной ошибки камеры является то, что необработанная пространственная гамма камеры искажается от треугольной формы, доступной для аддитивных линейных комбинаций трех основных цветов.Некоторые области даже вытеснены за пределы треугольника, доступного для цветового пространства CIE XYZ. ¹⁹ См. Исх. 19 для дополнительных примеров.

   Рис. 2

   Палитра необработанного пространства камеры для Nikon D700 (голубая заштрихованная область), нанесенная на диаграмму цветности xy. Цветовая гамма не является идеальным треугольником, поскольку нарушается условие Лютера-Айвса, что также объясняет, почему определенные области выталкиваются за пределы треугольника, доступного для цветового пространства CIE XYZ, определяемого основными цветами, расположенными в (0,0), (0,1 ) и (1,0). Граница серой заштрихованной области в форме подковы определяет спектральный локус HVS. Насыщенность уменьшается по мере удаления от спектрального локуса внутрь. Для сравнения указаны (треугольные) гаммы нескольких цветовых пространств, относящихся к стандартному выводу.

   Для определения гаммы необработанного пространства камеры первым шагом является измерение функций отклика камеры с использованием монохроматора на дискретном наборе длин волн в соответствии с методом A стандарта ISO 17321-1. ¹⁵ Для каждой длины волны функции отклика камеры выдают необработанные относительные трехцветные значения RGB в необработанном пространстве камеры.Второй шаг — преобразовать RGB в относительные значения CIE XYZ путем применения матрицы характеристик, которая удовлетворяет уравнению. (1). Впоследствии координаты цветности (x, y), соответствующие спектральному геометрическому пространству необработанного пространства камеры, могут быть вычислены с использованием обычных формул x = X / (X + Y + Z) и y = Y / (X + Y + Z ).

   Так как данная матрица характеристик оптимизирована для использования с осветительным прибором, то есть освещением сцены, используемым для выполнения характеристики, другим следствием метамерной ошибки камеры является то, что необработанная пространственная гамма камеры может изменяться в зависимости от применяемой матрицы характеристик.Цветовой охват необработанного пространства камеры Nikon D700, показанный на рис. 2, был получен с использованием матрицы характеристик, оптимизированной для источника света D65 CIE. На рисунке 3 показано, как изменяется цветовая гамма, когда вместо нее применяется матрица характеристик, оптимизированная для источника A CIE.

   Рис. 3

   То же, что и на рис. 2, за исключением того, что для получения необработанной пространственной гаммы камеры использовалась матрица характеристик, оптимизированная для источника света CIE A, а не матрица характеристик, оптимизированная для источника света CIE D65.

   2.2.

   Необработанные значения

   Значения цвета в необработанном пространстве камеры выражаются в виде цифровых необработанных значений для каждого необработанного цветового канала, которые аналогичны трехцветным значениям в цветовых пространствах CIE. Для CFA, который использует три типа цветных фильтров, таких как CFA Байера, ²⁰ , необработанные значения, выраженные с использованием единиц, относящихся к выходу, т. Е. Данных / цифровых чисел (DN) или аналого-цифровых единиц, относятся к следующим набор необработанных каналов, обозначенных здесь каллиграфическими символами:

   Eq.(4)

   [nDN, 1nDN, 2nDN, 3nDN, 4] = [RG1G2B]. Хотя здесь для представления блока Байера использовалась векторная нотация, истинный необработанный вектор пикселей получается только после выполнения цветной демозаики, в в этом случае с каждым фотосайтом будет связано четыре необработанных значения. CFA Байера использует в два раза больше зеленых фильтров, чем красный и синий, что означает, что в целом будут получены два значения G1 и G2, связанные с разными позициями в каждом блоке Байера. Это выгодно с точки зрения общего отношения сигнал / шум, поскольку фотосайты, относящиеся к зеленой мозаике, более эффективны с точки зрения фотопреобразования. Более того, шаблон Байера является оптимальным с точки зрения уменьшения артефактов наложения спектров, когда три типа фильтров расположены на квадратной сетке. ¹⁴ Хотя считается, что большее количество зеленых фильтров обеспечивает повышенное разрешение для сигнала яркости, поскольку стандартная функция яркости 1924 CIE для пиков фотопического зрения на 555 нм, ²⁰ утверждалось, что CFA Байера с двукратным больше синих пикселей, чем красных и зеленых было бы оптимальным для этой цели. ¹⁴ При демозаике необработанных данных, соответствующих стандартному CFA Байера, окончательный результат покажет ложные лабиринты или сетки, если соотношение между G1 и G2 меняется по изображению. ²¹ Программные необработанные преобразователи могут усреднять G1 и G2 вместе, чтобы устранить такие артефакты. ²¹

   Поскольку в принципе существует только три функции отклика камеры, R1 (λ), R2 (λ) и R3 (λ), цветовая характеристика для CFA Байера рассматривает G1 и G2 как один канал, G. Необработанные значения можно выразить следующим образом:

   Ур.(5)

   R = k∫λ1λ2R1 (λ) E˜e, λdλ, G = k∫λ1λ2R2 (λ) E˜e, λdλ, B = k∫λ1λ2R3 (λ) E˜e, λdλ. Функции отклика камеры определены формулой. В (2) интегрирование ведется по спектральной полосе пропускания камеры, E˜e, λ — средняя спектральная освещенность на фотосайте, а k — постоянная величина. Выражения для E˜e, λ и k приведены в Приложении.

   Фактические необработанные значения, полученные на практике, представляют собой квантованные значения, смоделированные путем взятия целой части уравнения. (5). При преобразовании из необработанного пространства камеры полезно нормализовать необработанные значения до диапазона [0,1], разделив уравнение.(5) необработанной точкой отсечения, которая является наивысшим доступным DN.

   2.3.

   Эталонный белый

   Используя приведенную выше нормализацию, эталонный белый цвет необработанного пространства камеры определяется единичным вектором

   , выраженным в терминах трехцветных значений CIE XYZ или координат цветности (x, y) с Y = 1, эталонный белый необработанного пространства камеры — это WP освещения сцены, который дает максимально равные исходные значения для нейтрального объекта. (WP SPD определяется трехцветными значениями CIE XYZ, которые соответствуют 100% нейтральному диффузному отражателю, освещенному этим SPD.)

   Отсюда следует, что эталонный белый цвет необработанного пространства камеры в принципе можно определить экспериментально, найдя источник света, который дает равные исходные значения для нейтрального объекта. Обратите внимание, что если для декодирования необработанного файла используется конвертер исходных кодов DCRaw с открытым исходным кодом, необходимо отключить WB. С точки зрения колориметрии CIE, эталонный белый цвет необработанного пространства камеры формально определяется формулой

   Eq. (7)

   [X (WP) Y (WP) Z (WP)] сцена = T_ [R (WP) = 1G (WP) = 1B (WP) = 1] сцена, где Y (WP) = 1 и нижние индексы означают, что WP — это точка освещения сцены.Матрица характеристик 3 × 3 T_ преобразуется из необработанного пространства камеры в CIE XYZ и должна быть оптимизирована для требуемого освещения сцены. Оптимальное значение T_ на данном этапе неизвестно, но, в принципе, его можно определить с помощью процедуры оптимизации, описанной в разд. 2.4.

   Хотя цветовые пространства CIE используют нормализованные единицы, так что их эталонные белые цвета соответствуют WP стандартных источников света CIE, необработанные пространства камеры не нормализуются естественным образом таким образом. Следовательно, эталонный белый цвет необработанного пространства камеры не обязательно является нейтральным цветом, поскольку он обычно расположен далеко от планковского локуса и поэтому не обязательно имеет связанную коррелированную цветовую температуру (CCT).

   Обратите внимание, что WP может быть связан с CCT при условии, что его координаты цветности (x, y) достаточно близки к планковскому локусу, но существует много таких координат, которые соответствуют одной и той же CCT. Чтобы различать их, может быть присвоено значение Duv, неофициально называемое цветовым оттенком. ²² Это определяется путем преобразования (x, y) в координаты цветности (u, v) на диаграмме цветности UCS CIE 1960, ^{23 , 24} , где изотермы нормальны к планковскому локусу. В этом представлении CCT является допустимой концепцией только для координат (u, v), расположенных на расстоянии от планковского локуса, которое находится в пределах Duv = ± 0,05 вдоль изотермы. ²⁵

   Чтобы увидеть, что эталонный белый цвет необработанного пространства камеры находится далеко от планковского локуса, рассмотрим исходные значения Nikon D700 для нейтрального диффузного отражателя, освещенного источниками освещения CIE A и D65, соответственно,

   Eq. (8)

   [R (WP) = 0,8878G (WP) = 1,0000B (WP) = 0,4017] A = T_A − 1 [X (WP) = 1,0985Y (WP) = 1,0000Z (WP) = 0.3558] A [R (WP) = 0,4514G (WP) = 1,0000B (WP) = 0,8381] D65 = T_D65−1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где T_A и T_D65 — это примерные характеристические матрицы, оптимизированные для осветительных приборов CIE A и D65, соответственно. Как показано на рис. 4, WP этих стандартных источников света очень близки к планковскому локусу. Источник света A имеет CCT = 2856 K и Duv = 0,0, а источник света D65 имеет CCT = 6504 K и Duv = 0,0032. Очевидно, что указанные выше необработанные значения Nikon D700 сильно отличаются от единичного вектора необработанного пространства камеры, и в обоих случаях необходимо применить большие множители к необработанным значениям красных и синих пикселей.Эти множители известны как умножители необработанных каналов, поскольку они обычно применяются к необработанным каналам красного и синего перед цветной демозаикой как часть стратегии преобразования цвета, используемой внутренними механизмами обработки изображений традиционных цифровых камер.

   Рис. 4

   Расчетные эталонные белые пространства необработанных пространств Nikon D700 и Olympus E-M1 по сравнению с WP осветительных приборов CIE A и D65. Планковский локус представлен черной кривой. Только видимые цветности, содержащиеся в цветовом пространстве sRGB, отображаются цветом.

   Оценку эталонного белого Nikon D700 можно получить, аппроксимируя формулу (7) с использованием легко доступной матрицы характеристик вместо T_. Применение T_A дает (x, y) = (0,3849,0,3058), что соответствует Duv = -0,0378. Это связано с CCT = 3155 K, так как значение Duv находится в пределах допустимого предела, но рис. 4 показывает, что цветовой оттенок является сильным пурпурным. Это справедливо для типичных пространств необработанного снимка в целом. ²¹ Аналогичная оценка для камеры Olympus E-M1 дает (x, y) = (0.3599,0,2551), что соответствует Duv = −0,0637. У этого нет связанной CCT, а цветовой оттенок — очень сильный пурпурный.

   Хотя тот факт, что эталонные белые цвета необработанного пространства камеры не являются нейтральными с точки зрения колориметрии CIE, не имеет отношения к окончательному воспроизведенному изображению, он будет показан в разд. 5 видно, что эталонный белый цвет необработанного пространства камеры используется в качестве полезного промежуточного шага в стратегии преобразования цвета, используемой в традиционных цифровых камерах.

   2.4.

   Цветовая характеристика камеры

   Вспомните линейное преобразование из необработанного пространства камеры в CIE XYZ, определенное уравнением. (1):

   , где T_ — характеристическая матрица 3 × 3:

   Eq. (9)

   T _ = [T11T12T13T21T22T23T31T32T33]. Преобразование цветов является приблизительным, поскольку условие Лютера-Айвса не выполняется точно. Как упоминалось во введении, T_ может быть оптимизирован для характеристического источника света, то есть освещения сцены, используемого для выполнения характеристики. ^{1 , 2} Оптимальная матрица T_ зависит от самого SPD, но в значительной степени зависит от характеристического освещения WP при условии, что источник света представляет реальный SPD.

   Матрицы характеристик, оптимизированные для известных источников света, могут быть определены с помощью процедур минимизации цветовых ошибок, основанных на фотографиях, сделанных на стандартной цветовой диаграмме. ² Хотя были разработаны различные методы минимизации, включая методы сохранения WP, ²⁶ описанная ниже процедура основана на стандартизированном методе B ISO 17321-1. ¹⁵

   Обратите внимание, что ISO 17321-1 использует обработанные изображения, выводимые камерой, а не необработанные данные, и, следовательно, требует инверсии функции оптоэлектронного преобразования камеры (OECF). ²⁷ OECF определяет нелинейную взаимосвязь между энергетической освещенностью в плоскости датчика и уровнями цифрового вывода видимого выходного изображения, такого как файл JPEG, созданный камерой. Чтобы обойти необходимость экспериментального определения OECF, ниже описывается вариант метода B из ISO 17321-1. В этом методе используется конвертер исходных данных DCRaw с открытым исходным кодом для декодирования необработанного файла, чтобы исходные данные можно было использовать напрямую. ^{28 , 29}

   • 1.Сделайте снимок таблицы цветов, освещенной указанным источником света. Поскольку исходные значения масштабируются линейно, важны только их относительные значения. Однако число f N и продолжительность экспозиции t следует выбирать так, чтобы избежать клиппирования.

   • 2. Рассчитайте относительные значения тристимула XYZ для каждого фрагмента цветовой диаграммы:

     Ур. (10)

     X = k∫λ1λ2x¯ (λ) Ee, λR (λ) dλY = k∫λ1λ2y¯ (λ) Ee, λR (λ) dλZ = k∫λ1λ2z¯ (λ) Ee, λR (λ) dλ , где Ee, λ — спектральная энергетическая освещенность, падающая на цветовую диаграмму, измеренная с помощью спектрометра; x¯ (λ), y‾ (λ) и z¯ (λ) — функции согласования цветов в цветовом пространстве CIE XYZ; и интегрирование дискретизируется в сумму с шагом 10 нм и ограничивает λ1 = 380 нм и λ2 = 780 нм.Если не используется трехцветный колориметр, для расчетов требуется знание спектральной отражательной способности каждого участка. В приведенных выше уравнениях спектральная отражательная способность обозначена как R (λ), и ее не следует путать с функциями отклика камеры. Константу нормализации k можно выбрать так, чтобы Y находился в диапазоне [0,1], используя белое пятно в качестве белого эталона.

   • 3. Получите линейное выходное изображение с демозаикой прямо в необработанном пространстве камеры без преобразования в любое другое цветовое пространство. Гамма-кодирование, кривые тона и баланс белого должны быть отключены. Поскольку настоящий метод позволяет обойтись без определения и инвертирования OECF, очень важно отключить WB; в противном случае к необработанным каналам могут применяться множители сырых каналов. При использовании конвертера RAW с открытым исходным кодом DCRaw подходящей командой является

     dcraw -v -r 1 1 1 1-o 0 -4 -T filename. Это дает 16-битный линейный выходной файл TIFF с демозаикой в ​​необработанном пространстве камеры. Если вы работаете с необработанными каналами, а не с необработанными пиксельными векторами с демозаикой, подходящей командой является dcraw -v -D -4 -T filename.Вышеупомянутые команды DCRaw объяснены в таблице 3.

   • 4. Измерьте средние значения R, G и B по блоку пикселей размером 64 × 64 в центре каждого фрагмента. Затем каждый патч может быть связан с соответствующим средним необработанным вектором пикселей.

   • 5. Постройте матрицу A_ 3 × n, содержащую векторы цветового пространства XYZ для каждого фрагмента 1,…, n в виде столбцов:

     Ур.

     (11) A _ = [X1X2 ⋯ XnY1Y2 ⋯ YnZ1Z2 ⋯ Zn]. Точно так же постройте матрицу B_ 3 × n, содержащую соответствующие необработанные векторы пикселей в виде столбцов:

     Eq.(12)

     B _ = [R1R2 ⋯ RnG1G2 ⋯ GnB1B2 ⋯ Bn].

   • 6. Оцените характеристическую матрицу 3 × 3 T_, которая преобразует B_ в A_:

     Предварительное решение получается с использованием минимизации линейных наименьших квадратов: ^{2 , 15}

     Ур. (14)

     T_ = A_B_T (B_B_T) -1, где верхний индекс T обозначает оператор транспонирования.

   • 7. Используйте предварительную оценку T_, чтобы вычислить новый набор оцененных значений тристимула CIE XYZ A_ ‘в соответствии с уравнением. (13).Преобразуйте A_ и A′_ в перцептивно однородное эталонное цветовое пространство CIE LAB и вычислите цветовую разность ΔEi между оцененными значениями трехцветного стимула и действительными значениями трехцветного стимула для каждого участка i. Набор {ΔEi} можно использовать для вычисления DSC / SMI. ^{8 , 15} Обратите внимание, что для точного выполнения условия Лютера-Айвза необходимо, чтобы A _ ′ = A_, и в этом случае будет получен результат DSC / SMI, равный 100.

   • 8. Оптимизируйте T_, минимизируя {ΔEi}, используя метод нелинейной оптимизации, рекомендованный ISO 17321-1.Окончательный DSC / SMI определяет окончательную потенциальную цветовую ошибку. В идеале, включите ограничение, которое сохраняет характеристический источник света WP.

   • 9. Масштабируйте окончательный T_ в соответствии с нормализацией, необходимой для его практического применения. Это обсуждается ниже.

   Если WB был отключен на шаге 3, матрица характеристик T_ может использоваться с произвольным освещением сцены. Тем не менее, оптимальные результаты будут получены для освещения сцены с помощью WP, который точно соответствует таковой характеристического источника света.

   На рисунке 5 показано, как матричные элементы оптимизированной матрицы характеристик изменяются в зависимости от CCT характеристического источника света для камеры Olympus E-M1.

   Рис. 5

   Изменение элементов матрицы характеристической матрицы для камеры Olympus E-M1 в зависимости от характеристического источника света CCT.

   Для той же камеры на рис. 6 (a) показана фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. Когда значения RGB необработанного пространства камеры интерпретируются как значения RGB в цветовом пространстве sRGB для целей отображения без применения какой-либо матрицы цветовых характеристик, проявляется сильный оттенок зеленого цвета, который возникает из-за большей пропускания зеленого фильтра Байера.На рисунке 6 (b) показана та же фотография, преобразованная в цветовое пространство sRGB путем применения оптимизированной матрицы характеристик T_, за которой следует матрица, преобразующая цвета из цветового пространства CIE XYZ в sRGB. Видно, теперь цвета отображаются правильно.

   Рис. 6

   (a) Фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. (b) Та же фотография, преобразованная в цветовое пространство sRGB.

   2,5.

   Нормализация матрицы характеристик

   Нормализация матрицы характеристик относится к масштабированию всей матрицы таким образом, чтобы все элементы матрицы масштабировались одинаково.Типичная нормализация, применяемая на практике, состоит в том, чтобы гарантировать, что матричные карты между характеристическим источником света WP, выраженным с использованием цветового пространства CIE XYZ, и необработанным пространством камеры, так что необработанные данные просто насыщаются, когда 100% нейтральный диффузный отражатель фотографируется под характеризующим источником света. . Зеленый необработанный канал обычно насыщается первым.

   Например, если характеристический источник света — D65, то T_ может быть нормализовано так, что его обратное значение обеспечит следующее отображение:

   Eq.(15)

   [R (WP) G (WP) B (WP)] D65 = T_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где max {R ( WP), G (WP), B (WP)} = 1. Поскольку необработанный зеленый канал обычно насыщается первым при большинстве типов освещения, обычно G (WP) = 1, тогда как R (WP) <1 и B (WP) <1.

   Например, матрицы характеристик Olympus E-M1, используемые на рис. 5 для калибровочных осветительных приборов 4200 и 6800 K, определяются формулой

   Eq. (16)

   T_4200 K = [0,86800,33950,21330,28830,8286−0,02160.0425−0.26471.7637], T_6800 K = [1.21050.25020.18820.45860.8772−0.13280.0936−0.27881.9121]. Эти матрицы нормализованы таким образом, что WP характеристического источника света преобразуется в исходные значения, где зеленый необработанный канал только достигает насыщения. :

   Ур. (17)

   [R (WP) = 0,6337G (WP) = 1,0000B (WP) = 0,5267] 4200 K = T_4200 K − 1 [X (WP) = 1,0019Y (WP) = 1,0000Z (WP) = 0,6911 ] 4200 K, [R (WP) = 0,4793G (WP) = 1,0000B (WP) = 0,7312] 6800 K = T_6800 K − 1 [X (WP) = 0,9682Y (WP) = 1,0000Z (WP) = 1,1642 ] 6800 K.

   3.

   Баланс белого

   Замечательным свойством HVS является его способность естественным образом приспосабливаться к условиям окружающего освещения. Например, если на снимке, освещенном дневным светом, поместить 100% нейтральный диффузный отражатель, отражатель будет нейтрально-белого цвета. Позже днем, когда происходит изменение цветности или CCT освещения сцены, можно ожидать, что цвет отражателя изменится соответствующим образом. Однако отражатель по-прежнему будет иметь нейтральный белый цвет. Другими словами, воспринимаемый цвет объектов остается относительно постоянным при различных типах освещения сцены, что известно как постоянство цвета. ^{3 , 4}

   Механизм хроматической адаптации, с помощью которого HVS обеспечивает постоянство цвета, сложен и не до конца понятен, но упрощенное объяснение состоит в том, что HVS нацелен на снижение цветности источника света. ³⁰ Еще в 1902 году фон-Крис предположил, что это достигается независимым масштабированием каждой функции отклика конуса глаза. ^{3 , 4} Цветовой стимул, который наблюдатель, адаптированный к окружающим условиям, считает нейтральным белым (идеально ахроматическим со 100% относительной яркостью), определяется как адаптированный белый. ³¹

   Поскольку функции отклика камеры естественным образом не имитируют HVS за счет дисконтирования цветности освещения сцены, выходное изображение будет выглядеть слишком теплым или слишком холодным, если оно отображается с использованием освещения с WP, которое не соответствует адаптированному белому для фотографической сцены во время съемки. Это называется неправильным ББ. Проблема может быть решена путем реализации следующей вычислительной стратегии.

   • 1. Сообщите камере об адаптированном белом цвете, прежде чем делать снимок.Из-за сложной зависимости истинно адаптированного белого от окружающих условий эта задача на практике заменяется более простой задачей, а именно идентифицировать освещение сцены WP. Например, предустановка баланса белого, соответствующая освещению сцены, может быть выбрана вручную, оценка CCT освещенности сцены может быть введена вручную, или камера может вычислить свою собственную оценку путем анализа необработанных данных с использованием автоматической функции баланса белого. Во всех случаях оценка камеры для WP освещения сцены известна как нейтральный ³² камеры или принятый белый (AW). ³¹ (Этот этап оценки освещенности не следует путать с WB. Оценка освещенности относится к вычислительным подходам, используемым автоматической функцией WB для оценки освещенности сцены WP. Очень простой подход к оценке освещенности — это метод «серого мира», ³³ , который предполагает, что среднее значение всех цветов сцены окажется ахроматическим.Другой простой подход состоит в предположении, что самый яркий белый, вероятно, будет соответствовать освещению сцены WP. ³⁴ Однако практические алгоритмы оценки освещенности намного сложнее. ^{35 , 36} )

   • 2. Выберите стандартный эталонный белый цвет, который будет использоваться при отображении выходного изображения. Если изображение будет отображаться с использованием стандартного цветового пространства, относящегося к выводу, такого как sRGB, выбранный эталонный белый будет соответствовать цветовому пространству, относящемуся к выводу, которым в случае sRGB является источник света CIE D65.

   • 3.Хроматически адаптируйте цвета изображения, адаптируя оценку WP освещения сцены (AW), чтобы он стал опорным белым для выбранного цветового пространства, связанного с выводом. Этот шаг балансировки белого достигается применением CAT.

   CAT необходимо применять как часть общего преобразования цвета из необработанного пространства камеры в выбранное цветовое пространство, ориентированное на вывод. Существуют разные подходы к объединению этих компонентов. Типичный подход, используемый в науке о цвете, — это преобразование из необработанного пространства камеры в CIE XYZ, применение CAT, а затем преобразование в выбранное цветовое пространство, указанное на выходе.В случае sRGB,

   Eq. (18)

   [RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена, где T_ — это матрица характеристик, которая преобразует необработанное пространство камеры в CIE XYZ и оптимизирована для сцены AW, матрица CAT_AW → D65 в цветовом пространстве CIE XYZ применяется CAT, который адаптирует AW к эталонному белому D65 цветового пространства sRGB, и, наконец, M_sRGB-1 — это матрица, которая преобразует из CIE XYZ в линейную форму цветового пространства sRGB:

   Eq .

   (19) M_sRGB − 1 = [3,24 · 10−1.5374-0.4986-0.96921.87600.04160.0556-0.20401.0570]. В частности, AW в необработанном пространстве камеры сопоставляется с эталонным белым цветовым пространством, указанным на выходе, определенным единичным вектором в цветовом пространстве, указанном на выходе. :

   Ур. (20)

   [RL = 1GL = 1BL = 1] D65 = M_sRGB − 1 CAT_AW → D65 T_ [R (AW) G (AW) B (AW)] сцена. Когда закодированное выходное изображение просматривается на откалиброванном мониторе. , объект сцены, который HVS считал белым во время съемки, теперь будет отображаться с использованием эталонного белого цвета D65.В идеале окружающие условия просмотра должны соответствовать условиям, определенным как подходящие для просмотра цветового пространства sRGB.

   Если оценка WP освещения сцены далека от истинного WP освещения сцены, то для HVS будет очевиден неверный WB. Если оценка CCT освещения сцены выше, чем истинная CCT, фотография будет выглядеть слишком теплой. И наоборот, если оценка CCT освещения сцены ниже, чем истинная CCT, тогда фотография будет выглядеть слишком холодной.

   На рис. 7 (а) показана фотография цветовой диаграммы, сделанная при вольфрамовом освещении 2700 K CCT с помощью камеры Olympus E-M1.Для преобразования цветов в CIE XYZ применялась характеристическая матрица T_, за которой следовала M_sRGB-1 для преобразования цветов в sRGB. Очевидно, что истинный цвет освещения сцены раскрывается, поскольку хроматическая адаптация камерой не выполняется. Другими словами, фотография выглядит слишком теплой по сравнению с эталонным белым D65 цветового пространства sRGB. На рисунке 7 (b) показана та же фотография после балансировки белого с включением CAT, который хроматически адаптирует освещение сцены WP к эталонному белому цветовому пространству sRGB D65, имеющему 6504 K CCT и Duv = 0.0032 цветовой оттенок.

   Рис. 7

   (a) Фотография цветовой диаграммы, сделанная при вольфрамовом освещении 2700 K CCT и преобразованная в цветовое пространство sRGB для отображения без какой-либо хроматической адаптации. (b) Фотография с балансировкой белого, полученная путем включения CAT для адаптации освещения сцены WP к эталонному белому D65 цветового пространства sRGB.

   3.1.

   Хроматические адаптационные преобразования

   CAT — это вычислительная техника для настройки WP данного SPD. Он достигает этой цели, пытаясь имитировать механизм хроматической адаптации HVS.В контексте цифровых камер наиболее важными CAT являются CAT Брэдфорда и масштабирование необработанных каналов.

   В 1902 году фон-Крис постулировал, что механизм хроматической адаптации может быть смоделирован как независимое масштабирование каждой функции отклика глазного конуса, ^{3 , 4} , что эквивалентно масштабированию трехцветных значений L, M и S. в цветовом пространстве LMS. Чтобы проиллюстрировать CAT фон-Криса, рассмотрите возможность адаптации оценки WP освещения сцены (AW) к WP освещения D65:

   Eq.(21)

   [XYZ] D65 = CAT_AW → D65 [XYZ] сцена. В этом случае CAT фон-Криса, который должен применяться ко всем необработанным векторам пикселей, может быть записан как

   Eq. (22)

   CAT_AW → D65 = M_vK − 1 [L (D65) L (AW) 000M (D65) M (AW) 000S (D65) S (AW)] M_vK. Матрица M_vK преобразует каждый необработанный вектор пикселей в диагональ матрица в цветовом пространстве LMS. Современные формы M_vK включают в себя матрицы, основанные на основных принципах конуса, определенных CIE в 2006 г. ³⁷ , и матрицу преобразования Ханта – Пойнтера – Эстевеса ³⁸ , определяемую уравнением

   Eq.(23)

   M_vK = [0,389710.68898−0.07868−0.229811.183400.046410.000000.000001.00000]. После применения M_vK значения L, M и S независимо масштабируются в соответствии с гипотезой фон-Криса. В данном примере коэффициенты масштабирования возникают из соотношения между WP AW и D65. Их можно получить из следующих векторов WP:

   Eq. (24)

   [L (AW) M (AW) S (AW)] = M_vK [X (WP) Y (WP) Z (WP)] сцена [L (D65) M (D65) S (D65)] = M_vK [X (WP) = 0.9504Y (WP) = 1.0000Z (WP) = 1.0888] D65. Наконец, применяется инверсия матрицы преобразования M_vK для преобразования каждого необработанного вектора пикселей обратно в цветовое пространство CIE XYZ.

   Bradford CAT ³⁹ можно рассматривать как улучшенную версию CAT von-Kries. ICC рекомендует упрощенную линеаризованную версию для использования в цифровых изображениях. ⁴⁰ Линейный КАТ Брэдфорда может быть реализован аналогично КАТ фон-Криза, с той разницей, что значения трехцветного стимула L, M и S заменены на ρ, γ и β, которые соответствуют «усиленному ”Искусственный глазной конус. Матрица преобразования определяется формулой

   Eq. (25)

   M_BFD = [0.89510.2664-0.1614-0.75021.71350.03670.0389-0.06851.0296].

   Аналогично независимому масштабированию функций отклика конуса глаза, предложенному фон-Крисом, тип CAT может применяться в необработанном пространстве камеры путем прямого масштабирования необработанных каналов. Рассмотрим блок Байера для AW, полученный путем фотографирования 100% нейтрального диффузного отражателя при освещении сцены. Следующая операция адаптирует AW к эталонному белому в необработанном пространстве камеры:

   Eq. (26)

   [RGB] RW = CAT_AW → RW [RGB] сцена, где

   Eq.(27)

   CAT_AW → RW = D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. Коэффициенты масштабирования по диагонали, известные как множители сырых каналов, могут быть получены непосредственно из необработанных данных с использованием AW, рассчитанного с помощью камера. Например, AW = D65 для освещения сцены D65, в этом случае

   Eq. (28)

   CAT_D65 → RW = D_D65 = [1R (D65) 0001G (D65) 0001B (D65)], где R (D65), G (D65) и B (D65) извлекаются из блока Байера для 100 % нейтральный диффузный отражатель, сфотографированный при освещении сцены D65.

   Было обнаружено, что в контексте цифровых камер тип CAT, определяемый множителями необработанных каналов, лучше работает на практике, особенно в крайних случаях. ^{21 , 32} Причина в том, что множители необработанных каналов применяются в необработанном пространстве камеры до применения матрицы преобразования цвета. Необработанное пространство камеры соответствует физическому устройству захвата, но CAT, такие как линейный CAT Брэдфорда, применяются в цветовом пространстве CIE XYZ после применения матрицы преобразования цвета, содержащей ошибку. В частности, цветовые ошибки, которые были минимизированы в нелинейном цветовом пространстве, таком как CIE LAB, будут неравномерно усилены, поэтому преобразование цвета больше не будет оптимальным. ⁴¹

   4.

   Камеры смартфонов

   Производители смартфонов вместе с разработчиками коммерческого программного обеспечения для преобразования необработанных данных обычно реализуют традиционный тип вычислительной стратегии преобразования цвета, используемый в науке о цвете, который был представлен в разд. 3. Поскольку необработанное пространство камеры преобразуется в CIE XYZ в качестве первого шага, методы обработки изображений могут применяться в цветовом пространстве CIE XYZ (или после преобразования в какое-либо другое промежуточное цветовое пространство) перед окончательным преобразованием в ориентированное на вывод Цветовое пространство RGB.

   Рассмотрим преобразование с балансировкой белого из необработанного пространства камеры в цветовое пространство RGB, ориентированное на вывод. В отличие от традиционных цифровых камер, цветная демозаика обычно выполняется в первую очередь, поэтому векторная запись, используемая для необработанного пространства камеры ниже, относится к необработанным векторам пикселей, а не к блокам Байера. В случае sRGB преобразование, которое должно применяться к каждому необработанному вектору пикселей, определяется формулой

   Eq. (29)

   [RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена.Преобразование можно разделить на три этапа.

   • 1. После того, как камера оценила освещенность сцены WP (AW), применяется матрица характеристик T_, оптимизированная для AW, которая преобразует необработанное пространство камеры в CIE XYZ:

     Eq. (30)

     [XYZ] scene = T_ [RGB] scene. Оптимизированная матрица T_ обычно нормализуется так, что AW в пространстве CIE XYZ получается, когда необработанный вектор пикселей, соответствующий нейтральному диффузному отражателю, освещенному AW, достигает насыщение:

     Ур.(31)

     [X (AW) Y (AW) Z (AW)] сцена = T_ [R (AW) G (AW) B (AW)] сцена, где Y (WP) = 1 и макс {R (AW) ), G (AW), B (AW)} = 1. Как обсуждалось в разд. 2.5, зеленый компонент обычно насыщается первым, поэтому R (AW) <1 и B (AW) <1 в целом.

   • 2. Так как T_ не изменяет AW, CAT применяется для достижения WB путем адаптации AW к эталонному белому в выбранном цветовом пространстве, указанном на выходе. В случае sRGB это D65:

     Eq. (32)

     [XYZ] D65 = CAT_AW → D65 [XYZ] сцена. ICC рекомендует реализовать CAT с использованием линейной матрицы CAT Брэдфорда, определенной уравнением.(25).

   • 3. Применяется матрица, которая преобразует из CIE XYZ в линейную форму выбранного цветового пространства, ориентированного на вывод. В случае sRGB,

     Eq. (33)

     [RLGLBL] D65 = M_sRGB-1 [XYZ] D65.

   Наконец, уровни цифрового вывода выходного изображения определяются путем применения кривой нелинейного гамма-кодирования цветового пространства, указанного на выходе, и уменьшения глубины цвета до 8. В современных цифровых изображениях гамма-кривые кодирования предназначены для минимизации видимых артефакты полос, когда битовая глубина уменьшается, а внесенная нелинейность позже отменяется гаммой дисплея. ²⁸

   Чтобы убедиться, что баланс белого достигается правильно, можно выполнить описанные выше шаги для конкретного случая необработанного вектора пикселей, который соответствует AW. Согласно формуле. (20), было обнаружено, что это отображается на эталонный белый цвет упомянутого на выходе цветового пространства, определенного единичным вектором в этом цветовом пространстве:

   [RL = 1GL = 1BL = 1] D65 = M_sRGB − 1 CAT_AW → D65 T_ [R (AW) G (AW) B (AW)] сцена.

   Хотя матричное преобразование, определенное формулой. (29) кажется простым, матрица характеристик T_ в принципе должна быть оптимизирована для AW.Однако непрактично определять матрицу характеристик, оптимизированную для каждой возможной WP освещения сцены, которая может возникнуть. Например, если CCT указаны с точностью до ближайшего к Кельвина, а цветовым оттенком пренебрегают, тогда потребуется 12000 матриц для покрытия WP освещения сцены от 2000 до 14000 K.

   Самое простое в вычислительном отношении решение, используемое на некоторых камерах мобильных телефонов, состоит в приближении оптимизированная матрица характеристик T_ с использованием единственной фиксированной матрицы, оптимизированной для репрезентативного источника света. Например, это может быть освещение D65, и в этом случае T_, оптимизированное для AW, аппроксимируется как T_D65. Недостатком этого очень простого подхода является то, что преобразование цвета теряет некоторую точность, когда WP освещения сцены значительно отличается от WP репрезентативного источника света.

   Как описано ниже, передовым решением проблемы является принятие подхода, используемого конвертером Adobe DNG. ³² Идея состоит в том, чтобы интерполировать между двумя предварительно установленными характеристическими матрицами, которые оптимизированы для использования с источником света с низкой или высокой CCT.Для заданного освещения сцены может быть определена интерполированная матрица, оптимизированная для CCT AW.

   4.1.

   Алгоритм интерполяции

   Если используется продвинутый подход, упомянутый выше, оптимизированная матрица характеристик T_, требуемая уравнением. (29) можно вычислить путем интерполяции между двумя характеристическими матрицами T1_ и T2_ на основе оценки CCT освещения сцены, обозначенной CCT (AW), вместе с CCT двух характеризующих осветительных приборов, обозначенных CCT1 и CCT2, соответственно, с CCT1 Например, источник света 1 может быть источником света с низкой CCT, таким как источник света CIE A, тогда как источник света 2 может быть источником света с высоким CCT, таким как D65.

   Первый шаг — надлежащим образом нормализовать T1_ и T2_. Хотя характеристические матрицы обычно нормализуются в соответствии с их соответствующими характеристиками WP источников света, как показано в разд. 2.5, при реализации алгоритма интерполяции удобнее нормализовать T1_ и T2_ в соответствии с общим WP. К сожалению, на данном этапе невозможно выразить AW с использованием цветового пространства CIE XYZ, поскольку T_ еще предстоит определить.Вместо этого можно выбрать общий WP в качестве эталонного белого цветового пространства, связанного с выводом, то есть D65 для sRGB. В этом случае T1_ и T2_ должны быть масштабированы в соответствии с уравнением. (15):

   Ур. (34)

   [R (WP) G (WP) B (WP)] D65 = T1_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, [R (WP) G (WP) B (WP)] D65 = T2_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где Y (WP) = 1 и max {R (WP) , G (WP), B (WP)} = 1.

   Если в смартфоне не используется датчик цвета, который может напрямую оценивать WP освещенности сцены с точки зрения координат цветности (x, y), AW рассчитывается камерой в терминах исходных значений R (AW), G (AW) и B (AW), поэтому AW не может быть выражено с использованием цветового пространства CIE XYZ до интерполяции.Однако соответствующий CCT (AW) требует знания координат цветности (x, y), что означает преобразование в CIE XYZ с помощью матричного преобразования T_, которое само зависит от неизвестного CCT (AW). Эта проблема может быть решена с помощью самосогласованной итерационной процедуры. ³²

   • 1. Сделайте предположение для координат цветности AW, (x (AW), y (AW)). Например, могут использоваться координаты цветности, соответствующие одному из характеризующих осветительных приборов.

   • 2. Найдите значение CCT CCT (AW), которое соответствует координатам цветности (x (AW), y (AW)). Широко используемый подход заключается в преобразовании (x (AW), y (AW)) в соответствующие координаты цветности (u (AW), v (AW)) на диаграмме цветности UCS 1960 года, ^{23 , 24} где изотермы нормальны к планковскому локусу. Это позволяет определять CCT (AW) с использованием метода Робертсона. ⁴² В качестве альтернативы могут быть реализованы приближенные формулы ^{43 — 45} или более новые алгоритмы ⁴⁶ .

   • 3. Выполните интерполяцию так, чтобы

     Eq. (35)

     T_ (AW) = f [T1_ (CCT1), T2_ (CCT2)], где f — функция интерполяции. Интерполяция действительна, если CCT (AW) CCT2, то T_ следует установить равным T2_.

   • 4. Используйте T_ для преобразования AW из необработанного пространства камеры в цветовое пространство CIE XYZ:

     Eq. (36)

     [X (AW) Y (AW) Z (AW)] сцена = T_ [R (AW) G (AW) B (AW)] сцена. Это дает новое предположение для (x (AW), y (AW)).

   • 5. Повторяйте процедуру, начиная с шага 2, пока (x (AW), y (AW)), CCT (AW) и T_ все не сойдутся к стабильному решению.

   После того, как интерполяция была выполнена, T_ наследует нормализацию уравнения. (34). Однако теперь AW может быть выражено с использованием цветового пространства CIE XYZ, поэтому T_ можно перенормировать, чтобы удовлетворить уравнению. (31).

   Если в смартфоне используется датчик цвета, который может непосредственно оценивать WP освещенности сцены с точки зрения координат цветности (x, y), то требуются только шаги 2 и 3, указанные выше.

   5.

   Традиционные цифровые камеры

   Рассмотрим снова сбалансированное по белому преобразование из необработанного пространства камеры в цветовое пространство RGB с привязкой к выходу. В случае sRGB преобразование определяется формулой. (29):

   [RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена, где CAT_AW → D65 адаптирует оценку WP освещения сцены (AW) к эталонному белому цветовому пространству sRGB D65. Традиционные производители камер обычно переформулируют вышеуказанное уравнение следующим образом:

   Eq.(37)

   [RLGLBL] D65 = R_D_ [RGB] сцена. Это уравнение можно интерпретировать, разложив преобразование на два этапа.

   • 1. Матрица D_ — это диагональная матрица WB, содержащая необработанные множители каналов, подходящие для AW:

     Eq. (38)

     D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. Они применяются к необработанным каналам перед цветной демозаикой. Как показано формулой. (27), умножители необработанных каналов, в частности, служат для хроматической адаптации AW к эталонному белому в необработанном пространстве камеры:

     Eq.(39)

     [R = 1G = 1B = 1] ссылка = сцена D_ [R (AW) G (AW) B (AW)].

   • 2. Матрица R_ — это матрица поворота цвета, оптимизированная для освещения сцены. После выполнения цветовой демозаики R_ применяется для преобразования непосредственно из необработанного пространства камеры в линейную форму выбранного цветового пространства, ориентированного на вывод. По сравнению с уравнениями. (29) и (37), R_ алгебраически определяется как

     Ур. (40)

     R_ = M_sRGB − 1 CAT_AW → D65 T_ D_ − 1. Матрицы поворота цвета обладают тем важным свойством, что сумма каждой из их строк равна единице:

     Eq.

     (41) R (1,1) + R (1,2) + R (1,3) = 1, R (2,1) + R (2,2) + R (2,3) = 1, R (3,1) + R (3,2) + R (3,3) = 1. Следовательно, R_ отображает эталонный белый цвет необработанного пространства камеры непосредственно в эталонный белый цветового пространства, указанного на выходе. ²¹ В случае sRGB

     Eq. (42)

     [RL = 1GL = 1BL = 1] D65 = R_ [R = 1G = 1B = 1] эталон.

   Комбинирование уравнений. (39) и (42) показывают, что общий WB достигается, поскольку необработанный вектор пикселя, соответствующий AW, отображается в опорный белый цвет упомянутого на выходе цветового пространства:

   Eq.(43)

   [RL = 1GL = 1BL = 1] D65 = R_D_ [R (AW) G (AW) B (AW)] сцена.

   Подобно характеристической матрице T_, матрица поворота цвета R_ в принципе должна быть оптимизирована для освещения сцены. Вместо того, чтобы использовать подход, основанный на интерполяции, переформулировка в форме уравнения. (37) позволяет традиционным производителям камер принять альтернативный и простой в вычислительном отношении подход, который может быть напрямую реализован на архитектуре с фиксированной точкой.

   5.1.

   Умножитель и развязка матрицы

   Хотя уравнение.(37) представляется простой переформулировкой уравнения. (29), он имеет несколько преимуществ, которые возникают из-за извлечения необработанных множителей канала, содержащихся в матрице D_ ББ. Как показано на фиг. 8, изменение элементов матрицы поворота цвета относительно CCT очень мало. Стабильность выше, чем у элементов обычной характеристической матрицы T_, как видно из сравнения фиг. 5 и 8.

   Рис. 8

   Изменение элементов матрицы матрицы вращения R_ raw-to-sRGB, используемой камерой Olympus E-M1, в зависимости от CCT.

   Следовательно, достаточно определить небольшой набор из n предварительно установленных матриц поворота цветов, которые покрывают диапазон WP или CCT, при этом каждая матрица оптимизирована для конкретной предварительно установленной WP или CCT:

   Eq. (44)

   R_i = M_sRGB − 1 CAT_AW → D65 T_i D_i − 1, где i = 1… n. Когда AW рассчитывается камерой, может быть выбрана матрица поворота цвета R_i, оптимизированная для наиболее подходящей предустановки WP или CCT. Однако матрица WB D_, соответствующая AW, всегда применяется до R_i, поэтому полное преобразование цвета может быть выражено как

   Eq.(45)

   [RLGLBL] D65 = (M_sRGB − 1 CAT_AW → D65 T_i D_i − 1) D_ [RGB] сцена. Поскольку D_ отделен от матриц вращения, этот подход позволит добиться правильного баланса белого без необходимости интерполировать матрицы вращения .

   Следует отметить, что необработанное пространство камеры правильно представляет сцену (хотя и с помощью нестандартной цветовой модели) и что множители необработанного канала, содержащиеся в D_, не применяются для «исправления» чего-либо, касающегося представления истинного белого цвета сцены посредством необработанное пространство камеры, как это часто предполагается.Множители применяются для хроматической адаптации AW к эталонному белому в необработанном пространстве камеры как часть общей CAT, необходимой для достижения WB, путем имитации механизма хроматической адаптации HVS. Как показано на рис. 4, эталонный белый цвет необработанного пространства камеры обычно является пурпурным цветом при использовании колориметрии CIE, но он служит полезным промежуточным этапом в требуемом преобразовании цвета, поскольку он облегчает выделение компонента масштабирования канала, который может быть отделен от матричной операции. Другие преимущества переформулировки включают следующее.

   • • Множители необработанных каналов, содержащиеся в D_, могут быть применены к необработанным каналам до выполнения цветной мозаики. В результате получается демозаика лучшего качества. ²¹

   • • Метод может быть эффективно реализован в архитектуре с фиксированной точкой. ⁴⁷

   • • При желании, часть масштабирования необработанного канала может быть выполнена в аналоговой области с использованием аналогового усиления.Это полезно для качества изображения, если аналого-цифровой преобразователь (АЦП) не имеет достаточно высокой битовой глубины. Обратите внимание, что этот тип аналогового усиления будет влиять на коэффициенты преобразования единицы, относящиеся к входу и выходу gi, определенные формулой. (80) в Приложении.

   • • Необработанные множители каналов, содержащиеся в D_, которые появляются в уравнении. (37) хранятся в метаданных проприетарных необработанных файлов и применяются внутренним механизмом обработки изображений JPEG камеры. Поскольку множители необработанных каналов не влияют на необработанные данные, они могут использоваться внешним программным обеспечением для преобразования необработанных данных, предоставляемым производителем камеры, и могут быть легко настроены пользователем.

   • • Предварительные настройки освещения сцены, которые включают в себя цветовой оттенок, могут быть легко реализованы путем сохранения соответствующих предварительно установленных матриц поворота цветов и множителей необработанных каналов, как показано в разд. 5.2.

   5.2.

   Пример: Olympus E-M1

   Хотя цветовые матрицы, используемые производителями камер, как правило, неизвестны, некоторые производители, такие как Sony и Olympus, раскрывают информацию о матрицах поворота цвета, используемых их камерами, которую можно извлечь из необработанных метаданных. .

   В таблице 1 перечислены данные, показанные на рис. 8, для предварительно установленных матриц поворота цвета, используемых цифровой камерой Olympus E-M1, а также диапазоны CCT освещения сцены, в которых применяется каждая матрица. На рисунке 9 показано, как множители необработанных каналов для одной и той же камеры изменяются в зависимости от CCT. Данные были извлечены из необработанных метаданных с помощью бесплатного приложения ExifTool. ⁴⁸ Стратегию преобразования цвета камеры можно резюмировать следующим образом.

   • 1.Камера определяет оценку WP освещения сцены (AW), используя алгоритм автоматического баланса белого, выбранную предустановку освещения сцены или настраиваемую CCT, предоставленную пользователем. AW используется для расчета соответствующих множителей необработанных каналов по формуле. (38) так, чтобы диагональная матрица WB D_ могла быть применена к необработанным каналам. В частности, D_ служит для адаптации AW к эталонному белому в необработанном пространстве камеры.

   • 2. После выполнения цветовой демозаики камера выбирает предварительно заданную матрицу поворота цвета R_i, оптимизированную для освещения с помощью CCT, которая обеспечивает наиболее близкое соответствие CCT, связанного с AW, или наиболее близкую предустановку освещения сцены.

   • 3. Камера применяет R_i для преобразования в цветовое пространство с привязкой к выходу, выбранное пользователем в камере, например sRGB. В частности, эталонный белый цвет необработанного пространства камеры отображается на эталонный белый цвет выбранного цветового пространства, ориентированного на вывод, которым является D65 в случае sRGB.

   Камера Olympus E-M1 также включает несколько предустановок освещения сцены. Матрицы поворота цвета и связанные множители необработанных каналов для этих предустановок сцены перечислены в таблице 2.Обратите внимание, что для данного CCT предварительно заданные матрицы и множители сцены не обязательно совпадают с теми, что перечислены в таблице 1. Это связано с тем, что предустановленные визуализации сцены включают цветовой оттенок вдали от планковского локуса, поэтому координаты цветности не обязательно являются такие же, как перечисленные в таблице 1 для данной CCT. По той же причине обратите внимание, что предустановки сюжетных режимов «хорошая погода», «подводный» и «вспышка» фактически используют одну и ту же матрицу поворота цветов, но используют очень разные множители необработанных каналов.

   Таблица 1

   Матрицы поворота цвета Raw-to-sRGB, соответствующие диапазонам настраиваемых CCT в камере для камеры Olympus E-M1 с объективом 12-100 / 4 и прошивкой v4.1. В среднем столбце перечислены матрицы, извлеченные из необработанных метаданных, которые представляют собой 8-битные числа с фиксированной точкой. При делении на 256 в правом столбце отображаются одни и те же матрицы с четырьмя десятичными знаками, так что сумма каждой строки равна единице, а не 256.

   5600248

   Диапазон CCT (K)	Матрица вращения (фиксированная точка)	Матрица вращения
   2000 → 3000	[320−36−28−683081614−248490]	[1.2500-0.1406-0.1094-0.26561.20310.06250.0547-0.96881.9141]
   3100 → 3400	[332-52-24-58320-612-192436]	[1. 2969-0.2031-0.0938-0.22661 −0.02340.0469−0.75001.7031]
   3500 → 3700	[340−60−24−56324−1212−172416]	[1.3281−0.2344−0.0938−0.21881.2656−0.04690.0461−0.67 6250]
   3800 → 4000	[346−68−22−52332−2410−160406]	[1,3516−0,2656−0,0859−0,20311,2969−0.09380.0391−0.62501.5859]
   4200 → 4400	[346−68−22−48332−2812−160404]	[1,3516−0,2656−0,0859−0,18751.2969−0.10940.046251,5
   4600 → 5000	[354−76−22−44336−3610−148394]	[1,3828−0,2969−0,0859−0,17191,3125−0,14060,0391−0,57811,5391]
   [366−88−22−42340−4210−136382]	[1. 4297−0,3438−0,0859−0,16411,3281−0,16410,0391−0,53131,4922]
   5800 → 6600	[374−96 −42348−508−124372]	[1.4609-0,3750-0,0859-0,16411,3594-0,19530,0313-0,48441,4531]
   6800 → 14000	[388-108-24-38360-668-112360]	[1.5156-0.42 .4063−0.25780.0313−0.43751.4063]

   Рис. 9

   Множители необработанных каналов, используемые камерой Olympus E-M1, как функция CCT. Камера использует одинаковые множители для обоих зеленых каналов.

   Таблица 2

   Матрицы поворота цвета Raw-to-sRGB и соответствующие множители необработанных каналов, соответствующие режимам сцены в камере для камеры Olympus E-M1 с объективом 12-100 / 4 и v4.1 прошивка. Все значения представляют собой 8-битные числа с фиксированной запятой, которые можно разделить на 256. Поскольку предустановки режима сцены включают цветовой оттенок вдали от локуса Планка, множители и матрицы не обязательно имеют те же значения, что и пользовательские предустановки CCT с тот же CCT, указанный в таблице 1.

   5500

   Сюжетный режим	CCT (K)	Множители	Матрица вращения (фиксированная точка)
   Хорошая погода	5300	474 256 414	[36 −22−42340−4210−136382]
   Хорошая погода с тенью	7500	552 256 326	[388−108−24−38360−668−112360]
   Облачно 6000	510 256 380	[374−96−22−42348−508−124372]
   Вольфрам (накаливания)	3000	276 256 728	[320−36−28−683081614−248490]
   Холодный белый люминесцентный	4000	470 256 580	[430−168−6−50300612−132376]
   Под водой		450 256 444	[366−88−22−42340−4210−136382]
   562 256 366	[366−88−22−42340−4210−136382]

   Для любой данной модели камеры все предустановленные матрицы поворота цвета зависят от таких факторов, как цветовое пространство на выходе, выбранное пользователя в настройках камеры (например, sRGB или Adobe ^® RGB), модели объектива, используемой для съемки фотографии, и версии прошивки.Из-за различий в калибровке датчиков между разными примерами одной и той же модели камеры также может быть зависимость от отдельной камеры, использованной для съемки.

   Например, на рис. 10 (а) показана фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. Как и на рис. 6 (a), оттенок зеленого цвета возникает из-за того, что значения RGB необработанного пространства камеры интерпретируются как значения RGB в цветовом пространстве sRGB для целей отображения без применения какой-либо матрицы цветовых характеристик для преобразования цветов.На рисунке 10 (b) показана та же фотография после применения диагональной матрицы баланса белого D_ для хроматической адаптации AW к исходному белому пространству камеры. Множители необработанных каналов удаляют зеленый оттенок, но фотография остается в необработанном пространстве камеры. Примечательно, что цвета кажутся реалистичными, хотя и ненасыщенными. Чтобы проиллюстрировать, что эталонный белый цвет необработанного пространства камеры на самом деле является пурпурным цветом при использовании колориметрии CIE, рис.10 (c) преобразует (b) в цветовое пространство sRGB без какой-либо дальнейшей хроматической адаптации, применяя обычную матрицу характеристик T_, за которой следует M_sRGB. −1.В отличие от этого, рис. 10 (d) был получен путем применения соответствующих умножителей необработанных каналов, за которыми следовала матрица вращения цвета sRGB R_ вместо T_ и M_sRGB-1. Матрица вращения цвета включает в себя CAT, который адаптирует эталонный белый цвет необработанного пространства камеры к эталонному белому цветовому пространству sRGB D65. В этом конкретном случае D_ = D_D65, поэтому матрица поворота цвета R_, определенная формулой. (40) становится

   Ур. (46)

   R_≡R_D65 = M_sRGB − 1 T_D65 D_D65−1 Подставляя в уравнение (37) дает

   уравнение.(47)

   [RLGLBL] D65 = M_sRGB-1 T_D65 D_D65-1 D_D65 [RGB] сцена. Следовательно, матрица поворота обращает эффект матрицы WB, поскольку освещение сцены и дисплея одинаковое.

   Рис. 10

   (а) Фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. (b) После применения соответствующих коэффициентов необработанных каналов. Они убирают зеленый оттенок, но фотография остается в необработанном пространстве камеры. (c) После применения соответствующих умножителей необработанных каналов и преобразования в sRGB без дальнейшей хроматической адаптации.Белое пятно показывает истинный цвет эталонного белого космического пространства камеры. (d) После применения соответствующих умножителей сырых каналов и матрицы поворота цветов sRGB R_.

   6.

   DCRaw Конвертер RAW с открытым исходным кодом

   Широко используемый преобразователь RAW с открытым исходным кодом DCRaw (произносится как «dee-see-raw»), написанный Д. Коффином, может обрабатывать большое количество форматов файлов RAW изображений. Он особенно полезен для научного анализа, так как он может декодировать необработанные файлы без демозаики, он может применять линейные кривые тона и может напрямую выводить в необработанное пространство камеры и цветовое пространство CIE XYZ.Некоторые соответствующие команды перечислены в таблице 3. Однако DCRaw по умолчанию выводит непосредственно в цветовое пространство sRGB с WP подсветкой D65, используя вариант традиционной стратегии цифровой камеры, описанной в предыдущем разделе. ²⁸

   Напомним, что матрица вращения цвета, оптимизированная для использования с освещением сцены, определяется формулой. (40):

   R_ = M_sRGB − 1 CAT_AW → D65 T_ D_ − 1. Хотя цифровые камеры обычно используют небольшой набор предустановленных матриц поворота, оптимизированных для выбора предустановленных источников света, DCRaw вместо этого использует очень простой в вычислительном отношении подход, который использует только матрица одиночного вращения, оптимизированная для освещения сцены D65, R_≈R_D65.Это достигается с помощью характеристической матрицы T_D65, оптимизированной для освещения D65, что означает, что матрица D_-1, содержащаяся в R_, заменяется на D_D65-1, и матрица CAT_AW → D65 не требуется:

   Eq. (48)

   R_D65 = M_sRGB − 1 T_D65 D_D65-1. Диагональная матрица баланса белого D_D65 содержит множители сырых каналов, подходящие для освещения D65:

   Eq. (49)

   D_D65 = [1R (WP) 0001G (WP) 0001B (WP)] D65 = [1R (D65) 0001G (D65) 0001B (D65)]. Общее преобразование необработанного пространства камеры в линейную форму sRGB определяется

   Eq.(50)

   [RLGLBL] D65≈R_D65 D_ [RGB] сцена, которую можно более явно записать как

   Eq. (51)

   [RLGLBL] D65≈M_sRGB − 1 T_D65 [R (D65) R (AW) 000G (D65) G (AW) 000B (D65) B (AW)] [RGB] сцена. Следовательно, вся хроматическая адаптация выполняется выполняется с использованием множителей сырых каналов. Обратите внимание, что матрица WB D_, соответствующая оценке освещения сцены, всегда применяется к необработанным данным в формуле. (50), поэтому WB всегда в принципе достигается правильно.

   Таблица 3

   Выбор соответствующих команд DCraw, доступных в версии 9.28. Обратите внимание, что параметры цветового пространства вывода RGB используют матрицы поворота цветов и поэтому должны использоваться только с правильными множителями сырых каналов из-за встроенного CAT.

   rgbgr- >

   -v	Распечатать подробные сообщения
   -w	По возможности использовать камеру WB
   -A	Среднее значение серого поля для WB
   Установить индивидуальный WB
   + M / -M	Использовать / не использовать встроенную цветовую матрицу
   -H [0-9]	Режим выделения (0 = клип, 1 = отсоединить, 2 = смешивание, 3+ = перестроение)
   -o [0-6]	Выходное цветовое пространство (raw, sRGB, Adobe, Wide, ProPhoto, XYZ, ACES)
   -d	Режим документа ( без цвета, без интерполяции)
   -D	Режим документа без масштабирования (полностью необработанный)
   -W	Не увеличивать автоматически яркость изображения
   -b	Регулировка яркости ( по умолчанию = 1.0)
   -g	Установить пользовательскую кривую гаммы (по умолчанию = 2,222 4,5)
   -q [0-3]	Установить качество интерполяции
   -h	Половина -размер цветного изображения (вдвое быстрее, чем «-q 0»)
   -f	Интерполировать RGGB как четыре цвета
   -6	Записать 16-битный вместо 8-битного
   — 4	Линейный 16-битный, такой же, как «-6 -W -g 1 1»
   -T	Записать TIFF вместо PPM

   Хотя матрица преобразования цвета T_D65 оптимизирована для освещения сцены D65, Применение матрицы поворота цвета R_D65 для преобразования из необработанного пространства камеры в sRGB допустимо для любого CCT освещения сцены, поскольку матрицы поворота цвета изменяются очень медленно в зависимости от CCT, как видно из рис.8. Однако R_D65 является оптимальным выбором для освещения сцены D65, поэтому недостатком этого упрощенного подхода является то, что общее преобразование цвета теряет некоторую точность, когда освещение сцены значительно отличается от D65.

   6.1.

   Пример: Olympus E-M1

   DCRaw использует матрицы поворота цвета, полученные с помощью уравнения. (48), поэтому для данной модели камеры требуется матрица характеристик T_D65. Для этой цели DCRaw использует матрицы Adobe «ColorMatrix2» из конвертера Adobe ^® DNG. ³²

   Из-за требований к логике восстановления, матрицы Adobe отображаются в противоположном направлении по отношению к обычным матрицам характеристик, определенным в разд. 2.4, и, следовательно,

   Ур. (52)

   T_D65 = (1cColorMatrix2 _) — 1, где c — нормировочная константа. Для цифровой камеры Olympus E-M1 исходный код DCRaw хранит записи ColorMatrix2 следующим образом: 7687, −1984, −606, −4327, 11928, 2721, −1381, 2339, 6452. Деление на 10000 и преобразование в матричная форма дает

   Eq.(53)

   ColorMatrix2 _ = [0,7687-0,1984-0,0606-0,43271,19280.2721-0,13810,23390,6452]. Вызов из разд. 2.5 следует, что характеристические матрицы обычно нормализованы так, что WP характеристического источника света отображается на необработанные значения, так что максимальное значение (обычно зеленый канал) просто достигает насыщения, когда 100% нейтральный диффузный отражатель фотографируется под характеристическим источником света. Хотя матрицы ColorMatrix2 оптимизированы для осветителя CIE D65, они по умолчанию нормализованы в соответствии с WP осветителя CIE D50, а не D65:

   Eq.(54)

   [R (WP) G (WP) B (WP)] D50 = ColorMatrix2_ [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, где max {R (WP) , G (WP), B (WP)} = 1. Соответственно, их нужно изменить масштаб для использования с DCRaw:

   Eq. (55)

   [R (WP) G (WP) B (WP)] D65 = 1cColorMatrix2_ [X (WP) = 0.9504Y (WP) = 1.0000Z (WP) = 1.0888] D65, где max {R (WP) , G (WP), B (WP)} = 1. В данном примере найдено, что c = 1,0778, поэтому

   Eq. (56)

   T_D65-1 = [0,7133-0,1841-0,0562-0,40151,10680,2525-0,12810,21700,5987]. С учетом единичного вектора в цветовом пространстве sRGB указанная выше матрица может использоваться для получения необработанных значений трехцветного изображения для D65. освещение WP:

   Eq.(57)

   [R (WP) = 0,4325G (WP) = 1,0000B (WP) = 0,7471] D65 = T_D65−1 M_sRGB [RL = 1GL = 1BL = 1] D65, где M_sRGB преобразуется из линейной формы sRGB в CIE XYZ. Теперь уравнение. (49) можно использовать для извлечения множителей сырых каналов для освещения сцены с помощью D65 WP:

   Eq. (58)

   D_D65 = [2.311700010001.3385]. Наконец, матрица вращения цвета может быть рассчитана по формуле. (48):

   Ур. (59)

   R_D65 = [1,7901−0,6689−0,1212−0,21671,7521−0,53540,0543−0,55821,5039]. Сумма в каждой строке при необходимости сводится к единице. По форме матрица аналогична встроенным в камеру матрицам Olympus, перечисленным в таблице 1.Для целей сравнения соответствующая перечисленная матрица является той, которая действительна для CCT источников света сцены в диапазоне от 5800 до 6600 K. Ожидаются некоторые численные различия, поскольку освещение D65 имеет цветовой оттенок Duv = 0,0032. Другие численные различия, вероятно, связаны с разницей в методах характеризации Olympus и Adobe. Кроме того, Adobe использует таблицы HSV (оттенок, насыщенность и значение) для имитации окончательной цветопередачи встроенного в камеру механизма обработки JPEG.

   6.2.

   DCRaw и MATLAB

   Как показано в таблице 3, DCRaw включает множество команд, которые полезны для научных исследований.Однако важно отметить, что параметры цветового пространства вывода RGB используют матрицы поворота цвета, а не конкатенацию необработанных матриц с CIE XYZ и CIE XYZ с RGB. Поскольку матрицы поворота цвета включают встроенный CAT, эти параметры позволят достичь ожидаемого результата только в сочетании с правильными множителями сырых каналов. Например, установка множителя каждого необработанного канала на единицу не препятствует выполнению некоторой частичной хроматической адаптации, если выбран выход sRGB, поскольку матрица вращения цвета DCRaw включает в себя матрицу D_D65-1, которая является типом CAT_RW → D65.

   Надежным способом использования DCRaw для научных исследований является команда «dcraw -v -D -4 -T filename», которая обеспечивает линейный 16-битный вывод TIFF в необработанном цветовом пространстве без балансировки белого, демозаики или преобразования цвета. . Последующая обработка может быть выполнена после импорта файла TIFF в MATLAB ^® с использованием обычной команды «imread». Ссылка 49 предоставляет учебное пособие по обработке. Цветные диаграммы фотографий в данной статье были получены с использованием этой методики.

   Например, после импорта файла в MATLAB с помощью приведенных выше команд видимое выходное изображение в цветовом пространстве sRGB без какой-либо балансировки белого может быть получено путем применения соответствующей характеристической матрицы T_ после цветовой демозаики с последующим прямым применением стандартная матрица CIE XYZ в sRGB, M_sRGB − 1.

   7.

   Adobe DNG

   Adobe ^® DNG — это формат файлов с открытым исходным кодом, разработанный Adobe. ^{32 , 50} Бесплатная программа DNG Converter может использоваться для преобразования любого необработанного файла в формат DNG.

   Хотя преобразователь DNG не нацелен на создание видимого выходного изображения, он выполняет преобразование цвета из необработанного пространства камеры в пространство соединения профиля (PCS) на основе цветового пространства CIE XYZ с освещением D50 WP. ⁴⁰ (Это не фактический эталонный белый цвет CIE XYZ, который является источником света CIE E.) Следовательно, модель обработки цвета, используемая конвертером DNG, должна обеспечивать соответствующие матрицы характеристик вместе со стратегией для достижения правильного баланса белого по отношению к Шт.При обработке файлов DNG необработанные преобразователи могут напрямую отображать из PCS в любое выбранное цветовое пространство, указанное на выходе, и связанный эталонный белый цвет.

   Спецификация DNG предоставляет две разные модели обработки цвета, называемые здесь методом 1 и методом 2. Метод 1 использует ту же стратегию, что и смартфоны и коммерческие преобразователи необработанных данных, с той разницей, что данные остаются в PCS. Метод 2 с использованием множителей необработанных каналов использует ту же стратегию, что и традиционные цифровые камеры.Однако множители применяются вместе с так называемой прямой матрицей вместо матрицы вращения, поскольку отображение выполняется на PCS, а не на цветовое пространство RGB, относящееся к выходу.

   7.1.

   Метод 1. Цветовые матрицы

   Преобразование из необработанного пространства камеры в PCS определяется следующим образом:

   Ур. (60)

   [XYZ] D50 = CAT_AW → D50 C_ − 1 [RGB] сцена. Здесь C_ — это цветовая матрица Adobe, оптимизированная для сцены AW. Из-за требований логики восстановления выделения, цветовые матрицы Adobe отображаются в направлении от цветового пространства CIE XYZ до необработанного пространства камеры:

   Eq.(61)

   [RGB] scene = C_ [XYZ] scene. Это направление, противоположное обычной характеристической матрице T_, поэтому после обратного преобразования C_ из необработанного пространства камеры в CIE XYZ для адаптации применяется линейная Брэдфордская CAT AW к WP PCS.

   Аналогично проблеме, описанной в гл. 4 для смартфонов, реализация уравнения. (60) усложняется тем, что C_ следует оптимизировать для сцены AW. Оптимизированная матрица C_ определяется путем интерполяции между двумя цветными матрицами, обозначенными ColorMatrix1 и ColorMatrix2, где ColorMatrix1 должен быть получен из характеристики, выполненной с использованием источника света с низким CCT, такого как источник света CIE A, и ColorMatrix2 должен быть получен из характеристики, выполненной с использованием высокого разрешения. Источник света CCT, такой как осветительный прибор CIE D65. ³²

   Оптимизированная матрица C_ вычисляется путем интерполяции между ColorMatrix1 и ColorMatrix2 на основе оценки CCT освещения сцены, обозначенной CCT (AW), вместе с CCT, связанных с каждым из двух характеризующих источников света, обозначенных CCT1 и CCT2, соответственно. , с CCT1

   7.2.

   Нормализация цветовой матрицы

   Напомним из разд. 2.5, что характеристические матрицы обычно нормализованы так, что характеризующий источник света WP в цветовом пространстве CIE XYZ просто насыщает необработанные данные в необработанном пространстве камеры, и что зеленый необработанный канал обычно насыщается первым.Однако в данном контексте матрицы Adobe ColorMatrix1 и ColorMatrix2 требуют общей нормализации, которая удобна для выполнения интерполяции. Аналогично разд. 4.1 AW не известен в терминах цветового пространства CIE XYZ до интерполяции. Вместо этого ColorMatrix1 и ColorMatrix2 по умолчанию нормализованы, так что WP PCS просто насыщает необработанные данные:

   Eq. (63)

   [R (WP) G (WP) B (WP)] D50 = ColorMatrix1_ [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, [R (WP) G ( WP) B (WP)] D50 = ColorMatrix2_ [X (WP) = 0.9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, где max {R (WP), G (WP), B (WP)} = 1. Например, значения по умолчанию ColorMatrix1 и ColorMatrix2 для камеры Olympus E-M1, соответственно, нормализованы следующим образом:

   Eq. (64)

   [R (WP) = 0,5471G (WP) = 1,0000B (WP) = 0,6560] D50 = [1,1528−0,57420,0118−0,24531,02050,2619−0,07510,1890,6539] [X (WP) = 0,9642Y ( WP) = 1,0000Z (WP) = 0,8249] D50, [R (WP) = 0,4928G (WP) = 1,0000B (WP) = 0,6330] D50 = [0,7687-0,1984-0,0606-0,43271,19280,2721-0,13810,23390,6452] [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50.

   Интерполированный C_ изначально наследует эту нормализацию.Однако после определения C_ значения CIE XYZ для AW будут известны. Следовательно, исходный код Adobe DNG SDK позже повторно нормализует Eq. (60), так что AW в необработанном пространстве камеры отображается на WP PCS, когда необработанные данные просто насыщаются:

   Eq. (65)

   [X (WP) = 0,9641Y (WP) = 1,0000Z (WP) = 0,8249] D50 = CAT_AW → D50 C_ − 1 [R (AW) G (AW) B (AW)] сцена, где макс. {R (WP), G (WP), B (WP)} = 1. Это эквивалентно повторной нормализации C_ следующим образом:

   Eq. (66)

   [R (AW) G (AW) B (AW)] сцена = C_ [X (AW) Y (AW) Z (AW)] сцена, где Y (AW) = 1 и max {R (WP ), G (WP), B (WP)} = 1.

   7.3.

   Линейная интерполяция на основе обратной CCT

   Алгоритм интерполяции для метода 1 такой же, как описанный в разд. 4.1, за исключением того, что ColorMatrix1, ColorMatrix2 и C_ заменяют T1_, T2_ и T_ соответственно. Кроме того, спецификация Adobe DNG требует, чтобы метод интерполяции был линейной интерполяцией на основе обратной CCT. ³²

   Опять же, сама интерполяция усложняется тем фактом, что AW обычно рассчитывается камерой в терминах исходных значений R (AW), G (AW) и B (AW), но соответствующие CCT ( AW) требует знания координат цветности (x, y).Это означает преобразование в CIE XYZ через матричное преобразование C_, которое само зависит от неизвестного CCT (AW), которое может быть решено с помощью процедуры самосогласованного итерационного анализа.

   • 1. Сделайте предположение для координат цветности AW, (x (AW), y (AW)). Например, могут использоваться координаты цветности, соответствующие одному из характеризующих осветительных приборов.

   • 2. Найдите значение CCT CCT (AW), которое соответствует координатам цветности (x (AW), y (AW)), используя один из методов, перечисленных в шаге 2 разд.4.1.

   • 3. Выполните линейную интерполяцию:

     Ур. (67)

     C_ = α ColorMatrix1 _ + (1 − α) ColorMatrix2_, где α — зависимое от CCT взвешивание, которое зависит от обратного CCT:

     Eq. (68)

     α = (CCT (AW)) — 1− (CCT2) −1 (CCT1) −1− (CCT2) −1. Эти веса (обозначены g и 1 − g в исходном коде Adobe DNG SDK) проиллюстрированы на рис. 11 для пары примерных значений CCT1 и CCT2. Интерполяция действительна для CCT (1) ≤CCT (AW) ≤CCT (2). Если CCT (AW) CCT2, то C_ должно быть установите равным ColorMatrix2.

   • 4. Используйте C_ для преобразования AW из необработанного пространства камеры в CIE XYZ:

     Eq. (69)

     [X (AW) Y (AW) Z (AW)] сцена = C_ − 1 [R (AW) G (AW) B (AW)] сцена. Это дает новое предположение для (x (AW) , y (AW)).

   • 5. Повторяйте процедуру, начиная с шага 2, пока (x (AW), y (AW)), CCT (AW) и C_ все не сойдутся к стабильному решению.

   • 6. Нормализовать преобразование цвета в соответствии с формулой. (65).

   На рисунке 12 показаны результаты линейной интерполяции на основе обратной CCT с использованием цветовых матриц Adobe, определенных формулой.(64) для камеры Olympus E-M1. Обратите внимание, что ColorMatrix2 такой же, как определено формулой. (53), который был извлечен из исходного кода DCRaw.

   Рис. 11

   Весовые коэффициенты линейной интерполяции α и 1 − α на основе обратной CCT с CCT1 = 2855 K и CCT2 = 6504 K.

   Рис. 12

   Оптимизированная цветовая матрица C_, построенная как функция CCT и полученные с помощью линейной интерполяции на основе обратной CCT матриц преобразования цвета Adobe ColorMatrix1 (источник света A, CCT2 = 2855 K) и ColorMatrix2 (источник света D65, CCT2 = 6504 K) для камеры Olympus E-M1.

   Поскольку C_ отображается в направлении от цветового пространства CIE XYZ к необработанному пространству камеры, инверсию интерполированного C_ можно сравнить с традиционной характеристической матрицей T_ при заданном CCT источника света. На рисунке 13 показан график, обратный интерполированному C_, как функция CCT, и этот рисунок можно сравнить с рис.5, на котором показаны стандартные матрицы характеристик для той же камеры, оптимизированные для выбора CCT. Хотя на этих двух графиках используются разные нормализации, поскольку характеристические матрицы нормализованы в соответствии с их характеристическим источником света WP, а не WP PCS, вариации в отношении CCT аналогичны.Однако очевидно, что интерполированный C_ теряет точность для CCT ниже CCT1.

   Рис. 13

   Инверсия интерполированной цветовой матрицы C_, представленной на рис. 12.

   7.4.

   Метод 2: Прямые матрицы

   Рассмотрим преобразование из необработанного пространства камеры в PCS, определенное уравнением. (60):

   [XYZ] D50 = CAT_AW → D50 C_ − 1 [RGB] сцена, где C_ — это цветовая матрица Adobe, оптимизированная для сцены AW. Метод 2 переформулирует вышеуказанное преобразование следующим образом:

   Ур.(70)

   [XYZ] D50 = F_D_ [RGB] сцена. Преобразование цвета можно разделить на два этапа.

   • 1. Аналогично стратегии преобразования цвета традиционных цифровых камер, описанной в разд. 5 диагональная матрица D_, определенная формулой. (38) содержит множители необработанных каналов, подходящие для AW, т. Е. Оценочную оценку WP освещения сцены:

     D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. В частности, множители необработанных каналов служат для хроматической адаптировать AW к эталонному белому в необработанном пространстве камеры:

     Eq.(71)

     [R = 1G = 1B = 1] = D_ [R (AW) G (AW) B (AW)] сцена. Обратите внимание, что спецификация Adobe DNG также учитывает необработанные множители каналов, применяемые в аналоговой области. ³² Однако в последних цифровых камерах используются АЦП с относительно высокой битовой глубиной порядка 12 или 14, и, следовательно, в цифровой области применяются умножители необработанных каналов.

   • 2. Прямая матрица F_ — это тип характеристической матрицы, которая отображает необработанное пространство камеры в PCS и оптимизирована для освещения сцены.Поскольку PCS основана на цветовом пространстве CIE XYZ с WP освещенности D50, передняя матрица F_ включает встроенный CAT, поскольку она также должна адаптировать эталонный белый необработанного пространства камеры к WP освещения D50:

     Eq . (72)

     [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50 = F_ [R = 1G = 1B = 1].

   Поскольку прямая матрица F_ должна быть оптимизирована для сцены AW, на практике она определяется интерполяцией между двумя прямыми матрицами, аналогичными подходу интерполяции, используемому в методе 1.Спецификация Adobe DNG предоставляет теги для двух прямых матриц, обозначенных ForwardMatrix1 и ForwardMatrix2, которые должны снова быть получены из характеристик, выполненных с использованием источника света с низким CCT и источника света с высоким CCT, соответственно. Следует использовать тот же метод интерполяции, который описан в предыдущем разделе, с ForwardMatrix1, ForwardMatrix2 и F_ вместо ColorMatrix1, ColorMatrix2 и C_, соответственно,

   Eq. (73)

   F_ = α ForwardMatrix1 _ + (1 − α) ForwardMatrix2_. На рисунке 14 показана оптимизированная прямая матрица, интерполированная из ForwardMatrix1 и ForwardMatrix2 и выраженная как функция CCT для камеры Olympus E-M1.

   Рис. 14

   Оптимизированная прямая матрица F_, построенная как функция CCT и полученная с помощью линейной интерполяции на основе обратной CCT матрицы Adobe ForwardMatrix1 (источник света A, CCT2 = 2855 K) и прямой матрицы 2 (источник света D65, CCT2 = 6504 K ) матрицы для фотоаппарата Olympus E-M1. Очевидно, элементы оптимизированной прямой матрицы F_ изменяются очень медленно и стабильно как функция CCT, аналогично элементам матрицы поворота цвета, показанным на рис. 8.

   7.5.

   Спецификация прямой матрицы

   Путем сравнения формул.(60) и (70), F_ алгебраически связана с цветовой матрицей C_ следующим образом:

   Ур. (74)

   F_ = CAT_AW → D50 C_ − 1 D_ − 1. Поскольку на практике F_ интерполируется из ForwardMatrix1 и ForwardMatrix2, они определяются как

   Eq. (75)

   ForwardMatrix1_ = CAT_AW → D50 ColorMatrix1_ − 1 D_ − 1ForwardMatrix2_ = CAT_AW → D50 ColorMatrix2_ − 1 D_ − 1 Согласно уравнению. (72) оптимизированная прямая матрица F_ по определению нормализована так, что единичный вектор в необработанном пространстве камеры отображается на WP D50 PCS. ³² Это означает, что ForwardMatrix1 и ForwardMatrix2 также должны быть нормализованы таким образом. Например, значения по умолчанию ForwardMatrix1 и ForwardMatrix2 для камеры Olympus E-M1, соответственно, нормализованы следующим образом:

   Eq. (76)

   [X (WP) = 0,9643Y (WP) = 0,9999Z (WP) = 0,8251] D50 = [0,47340,36180,12910,27650,68270.04070,21160,00060,6129] [R = 1G = 1B = 1], [X ( WP) = 0.9643Y (WP) = 1.0000Z (WP) = 0.8252] D50 = [0.46330.32440.17660.27790.66610.05600.17220.00330.6497] [R = 1G = 1B = 1]. Официальный WP D50 PCS на самом деле X = 0.9642, Y = 1,0000 и Z = 0,8249, ⁴⁰ , что представляет собой 16-битное дробное приближение истинного D50 WP, определяемого как X = 0,9642, Y = 1,0000 и Z = 0,8251.

   8.

   Выводы

   В первом разделе этого документа показано, как конвертер RAW с открытым исходным кодом DCRaw можно использовать для непосредственного определения характеристик камеры без необходимости определять и инвертировать OECF, а также показано, как матрицы характеристик нормализуются на практике. Как следствие метамерной ошибки камеры, необработанное пространство камеры для типичной камеры оказалось деформированным от треугольной формы, доступной для аддитивных линейных комбинаций трех фиксированных основных цветов на диаграмме цветности xy, а доступная гамма оказалась зависимой. по характеристике осветительного прибора.Также было показано, что эталонный белый цвет типичного необработанного пространства камеры имеет сильный пурпурный оттенок.

   Впоследствии в этой статье исследовались и сравнивались типы стратегий преобразования цвета, используемые камерами смартфонов и коммерческими преобразователями RAW, механизмами обработки изображений традиционных цифровых камер, DCRaw и преобразователем Adobe DNG.

   Смартфоны и приложения для преобразования необработанных данных обычно используют стратегию преобразования цвета, известную в науке о цвете.Это включает в себя применение характеристической матрицы T_ для преобразования из необработанного пространства камеры в цветовое пространство CIE XYZ, CAT для хроматической адаптации оцененного WP освещения сцены к эталонному белому цветового пространства, ориентированного на вывод (например, D65 для sRGB), и, наконец, преобразование из CIE XYZ в линейную форму выбранного цветового пространства, ориентированного на вывод. Поскольку оптимизированная матрица характеристик зависит от CCT, если не выполняется условие Лютера-Айвза, оптимизированная матрица может быть определена путем интерполяции между двумя предварительно установленными характеристическими матрицами, одна оптимизирована для источника света с низкой CCT, а другая оптимизирована для источника света с высокой CCT. .Более простые решения включают использование фиксированной матрицы характеристик, оптимизированной для репрезентативного освещения сцены.

   Для традиционных цифровых камер в этом документе показано, как общее преобразование цвета обычно переформулируется в терминах множителей необработанных каналов D_ вместе с набором матриц поворота цветов R_. Множители необработанных каналов действуют как тип CAT, хроматически адаптируя оценку WP освещения сцены к эталонному белому необработанного пространства камеры. Поскольку каждая строка матрицы поворота цвета равна единице, матрица поворота впоследствии преобразуется из необработанного пространства камеры непосредственно в выбранное цветовое пространство RGB, относящееся к выходу, и в то же время хроматически адаптирует исходный белый цвет исходного пространства камеры к эталонному белому пространству камеры. цветовое пространство, указанное на выходе.Было показано, что вариация элементов матрицы поворота цвета по отношению к CCT очень мала, поэтому требуется лишь небольшой выбор предварительно заданных матриц поворота, каждая из которых оптимизирована для заданного предварительно заданного источника света. Это позволяет применять необработанные множители каналов, подходящие для оценки WP освещения сцены, в сочетании с предварительно установленной матрицей поворота, связанной с наиболее подходящим WP. Основные преимущества переформулировки заключаются в том, что интерполяция не требуется, и метод может быть эффективно реализован в архитектуре с фиксированной точкой.Кроме того, качество изображения может быть улучшено путем применения умножителей необработанных каналов до цветовой демозаики.

   Было показано, что DCRaw использует модель, аналогичную традиционным цифровым камерам, за исключением того, что для каждой камеры используется только одна матрица поворота цветов, в частности матрица R_D65, оптимизированная для освещения D65. Хотя общее преобразование цвета теряет некоторую точность, когда освещение сцены значительно отличается от D65, преимущество отделения множителей сырых каналов от характеристической информации, представленной матрицей вращения цвета, заключается в том, что WB может быть правильно достигнут для любого типа освещения сцены при условии необработанного применяются канальные множители, соответствующие освещению сцены.Было показано, что матрицы вращения, используемые DCRaw, могут быть получены из инверсий матриц цветовых характеристик ColorMatrix2, используемых конвертером Adobe DNG.

   Конвертер Adobe DNG отображает необработанное пространство камеры и оценку WP освещения сцены на промежуточный этап в общем преобразовании цвета, а именно на PCS на основе цветового пространства CIE XYZ с WP D50. Метод 1 определяет подход, который также используется в коммерческих преобразователях необработанных данных и современных смартфонах. Цветовая матрица C_, оптимизированная для освещения сцены, получается посредством интерполяции между предварительно заданными матрицами «ColorMatrix1» с низким CCT и «ColorMatrix2» с высоким CCT.Из-за требований логики восстановления выделения эти цветовые матрицы отображаются в противоположном направлении по сравнению с обычными характеристическими матрицами. Кроме того, матрицы ColorMatrix1 и ColorMatrix2 изначально нормализуются в соответствии с WP PCS, а не их соответствующими характеристическими осветительными приборами. Поскольку цветовые матрицы Adobe находятся в свободном доступе, их соответствующим образом нормализованные инверсии могут служить полезными высококачественными характеристическими матрицами, когда оборудование для определения характеристик камеры недоступно.

   Метод 2, предлагаемый конвертером Adobe DNG, использует множители необработанных каналов аналогично традиционным цифровым камерам. Однако они применяются в сочетании с так называемой прямой матрицей, а не с матрицей вращения, поскольку конвертер Adobe DNG напрямую не сопоставляется с цветовым пространством RGB, указанным на выходе, поэтому сумма строк прямой матрицы не равна единице. Хотя оптимизированная прямая матрица определяется путем интерполяции предварительно заданных матриц «ForwardMatrix1» и «ForwardMatrix2», вариация оптимизированной прямой матрицы относительно CCT очень мала, аналогично матрице вращения.

   9.

   Приложение: Модель необработанных данных

   Рассмотрим необработанные значения, выраженные как интегрирование по спектральной полосе пропускания камеры в соответствии с формулой. (5):

   R = k∫λ1λ2R1 (λ) E˜e, λdλ, G = k∫λ1λ2R2 (λ) E˜e, λdλ, B = k∫λ1λ2R3 (λ) E˜e, λdλ. Хотя E˜ e, λ можно рассматривать как среднюю спектральную энергетическую освещенность на фотосъёмке, это более точно описывается как спектральная освещённость, свёрнутая с функцией рассеяния точки (PSF) системы камеры (x, y, λ) и полученная в позиционных координатах x, y) на плоскости датчика:

   Eq.(77)

   E˜e, λ (x, y) = [Ee, λ, ideal (x, y) * h (x, y, λ)] comb [xpx, ypy], где px и py — пиксель смолы в горизонтальном и вертикальном направлениях. Также может быть включена модель шума. ^{28 , 51} Величина, обозначенная Ee, λ, ideal (x, y), представляет собой идеальную спектральную освещенность в плоскости датчика, которая теоретически могла бы быть получена в отсутствие системы PSF:

   Eq. (78)

   Eλ, ideal (x, y) = π4Le, λ (xm, ym) 1Nw2T cos4 {φ (xm, ym)}, где Le, λ — соответствующая спектральная яркость сцены, m — увеличение системы, Nw — рабочее f-число объектива, T — коэффициент пропускания линзы, а φ — угол между оптической осью и указанными координатами сцены.Если известен профиль виньетирования объектива, четвертый член косинуса может быть заменен коэффициентом относительной освещенности, который представляет собой функцию пространства изображения, описывающую реальный профиль виньетирования. ⁵²

   Константа k, которая появляется в уравнении. (5) устанавливает верхнюю границу величины исходных значений. Можно показать ²⁸ , что k задается как

   , где t — продолжительность воздействия, а gi — коэффициент преобразования между счетчиками электронов и исходными значениями для мозаики i, выраженный в единицах e− / DN. ^{53 , 54} Коэффициент преобразования обратно пропорционален усилению ISO GISO, которое представляет собой аналоговую настройку усиления усилителя с программируемым усилением, расположенного перед АЦП:

   Eq. (80)

   gi = UGISO, i, U = ne, i, FWCnDN, i, clip. Здесь U — единичное усиление, которое представляет собой настройку усиления, при которой gi = 1. Полнолуночная емкость обозначается символами ne, i, FWC и nDN, i, clip — это точка отсечения необработанного сигнала, которая является максимально доступным необработанным уровнем. Это значение не обязательно должно быть таким высоким, как максимальный необработанный уровень, обеспечиваемый АЦП с учетом его битовой глубины M, которая составляет 2M-1 DN, особенно если камера включает смещение смещения, которое вычитается перед записью необработанных данных. ^{28 , 53}

   Наименьшее аналоговое усиление определяется GISO = 1, что соответствует базовому усилению ISO. ^{28 , 51} Числовые значения соответствующих настроек ISO камеры S определяются с использованием выходных данных JPEG, а не исходных данных. ^{55 , 56} Эти пользовательские значения также учитывают цифровое усиление, применяемое через градационную кривую JPEG. При сравнении необработанного вывода с камер, основанных на различных форматах датчиков, по возможности следует использовать эквивалентные, а не одинаковые настройки экспозиции. ⁵⁷

   Как указано в разд. 2.2, фактические необработанные значения, полученные на практике, являются квантованными значениями, смоделированными путем взятия целой части уравнения. (5), и полезно впоследствии нормализовать их в диапазоне [0,1], разделив уравнение. (5) по необработанной точке отсечения.

   Внутренняя матрица обратной камеры для плоскости изображения при Z = -1

   Подобный вопрос задавали раньше, к сожалению, я не могу комментировать ответ Samgaks, поэтому я открываю новый пост с этим. Вот ссылка на старый вопрос:

   Как рассчитать луч в реальной системе координат из изображения с помощью матрицы проекции?

   Моя цель — преобразовать координаты изображения в мировые координаты.-1 * Ppix;

   Pcam_x = P_pix_x / fx — cx / fx;

   Pcam_y = P_pix_y / fy — cy / fy;

   Pcam_z = 1

   Ориентация системы координат камеры и плоскости изображения

   В этом конкретном случае плоскость изображения, вероятно, находится на Z = -1 (однако я немного не уверен в этом). -1 перевернуты.т. вычисляем координаты следующим образом:

   Pcam_x = (Ppix_x / fx) — (cx * (- 1) / fx) = P_pix_x / fx + cx / fx;

   Pcam_y = (Ppix_y / fy) — (cy * (- 1) / fy) = P_pix_y / fy + cy / fy;

   Pcam_z = -1

   Pcam = (Pcam_x, Pcam_y, -1)

   ---

   CameraOpticalCentre = (0,0,0)

   ---

   Луч = Pcam — CameraOpticalCentre

   ---

   Я не понимаю, как создать внутреннюю функцию камеры для случая, когда плоскость изображения имеет отрицательную Z-координату.И я хотел бы получить математическое объяснение или интуитивное понимание того, почему у нас есть переворот знака (P_pix_x / fx + cx / fx вместо P_pix_x / fx — cx / fx).

   Edit: я читал в другом посте, что столбец жажды матрицы камеры должен быть инвертирован в случае, если камера направлена ​​вниз в отрицательном направлении по оси Z. Это объяснило бы переворот знака. Но зачем нам менять знак третьего столбца. Хотелось бы иметь интуитивное понимание этого. Вот ссылка на пост Отрицание третьего столбца

   Заранее большое спасибо, Лиза

   Самокалибровка движущейся камеры по точечным соответствиям и фундаментальным матрицам

4. Ayache, N.1990. Stereovision and Sensor Fusion . MIT Press.

5. Басу А. 1993. Активная калибровка: альтернативная стратегия и анализ. В Proc . конф. . по компьютерному зрению и распознаванию образов , Нью-Йорк, стр. 495–500.

6. Бранд, П., Мор, Р., и Бобет, П., 1993. Оптические искажения: исправление в моделировании. Технический отчет RR-1933, INRIA.

7. Кокстер, Х. С. М. 1987. Проективная геометрия .SpringerVerlag, второе издание.

8. Кроули Дж., Бобет П. и Шмид К. 1993. Поддержание стереокалибровки путем отслеживания точек изображения. В Proc . конф. . по компьютерному зрению и распознаванию образов , Нью-Йорк, стр. 483–488.

9. Дериче Р. и Блашка Т. 1993. Восстановление и определение характеристик изображения с использованием эффективного подхода на основе модели. В Proc . Международная конференция по компьютерному зрению и распознаванию образов .

10. Дериш Р., Вайян Р. и Фогерас О. 1992. От точек зашумленных краев к трехмерной реконструкции сцены: надежный подход и его анализ неопределенности , Vol. 2. С. 71–79. World Scientific. Серия по машинному восприятию и искусственному интеллекту.

    Google ученый

11. Дрон, Л. 1993. Динамическая самокалибровка камеры на основе контролируемых последовательностей движений. В Proc . из конф. . по компьютерному зрению и распознаванию образов , Нью-Йорк, стр. 501–506.

12. Ду Ф. и Брэди М. 1993. Самокалибровка внутренних параметров камер для систем активного зрения. В Proc . из конф. . по компьютерному зрению и распознаванию образов , Нью-Йорк, стр. 477–482.

13. Фанг, Дж. К. и Хуанг, Т. С. 1984. Некоторые эксперименты по оценке параметров трехмерного движения твердого тела из двух последовательных кадров изображения. Транзакции IEEE по анализу шаблонов и машинному анализу , 6: 545–554.

    Google ученый

14. Фогерас, О. Д. 1993. Трехмерное компьютерное зрение: геометрическая точка зрения . MIT Press.

15. Фогерас, О. Д. и Тоскани, Г. 1986. Проблема калибровки стерео. В Труды ЦВПР’86 , стр. 15–20.

16. Фогерас, О. Д., Люстман, Ф., и Тоскани, Г.1987. Движение и структура по точкам и линиям. В Proc . Международная конференция по компьютерному зрению , стр. 25–34.

17. Фаугерас, О. Д. и Мэйбанк, С. Дж. 1990. Движение от точек совпадений: множественность решений. Международный журнал компьютерного зрения , 4 (3): 225–246, также INRIA Tech. Отчет 1157.

    Google ученый

18. Faugeras, О. Д., Луонг, Q.-T., и Maybank, S.J. 1992. Самокалибровка камеры: теория и эксперименты. В Proc . Европейская конференция по компьютерному зрению , Санта-Маргерита, Италия, стр. 321–334.

19. Гарнер, Л. Э. 1981. Очерк проективной геометрии . Эльзевир: Северная Голландия.

    Google ученый

20. Голуб, Г. Х., Ван Лоан, К. Ф. 1989. Matrix Computations . Издательство Университета Джона Хопкинса.

21. Хартли, Р.I. 1992. Оценка относительного положения камер для некалиброванных камер. В Proc . Европейская конференция по компьютерному зрению , стр. 579–587.

22. Хартли Р. И. 1994a. Алгоритм самокалибровки с нескольких точек зрения. В Proc . Конференция по компьютерному зрению и распознаванию образов , Сиэтл, Вашингтон, стр. 908–912.

23. Хартли Р. И. 1994b. Самокалибровка из нескольких изображений с помощью вращающейся камеры. В Proc . Европейская конференция по компьютерному зрению , Стокгольм, Швеция, стр. 471–478.

24. Хорн, Б. К. П. 1990. Относительная ориентация. Международный журнал компьютерного зрения , 4 (1): 59–78.

    Google ученый

25. Хуанг, Т. С. и Фаугерас, О. Д. 1989. Некоторые свойства Ematrix при оценке движения в двух представлениях. Транзакции IEEE по анализу шаблонов и машинному анализу , 11: 1310–1312.

    Google ученый

26. Язвински А. М. 1970. Стохастические процессы и теория фильтрации . Академическая пресса: Лондон.

    Google ученый

27. Канатани К. 1991. Вычислительная проективная геометрия. Компьютерное зрение, графика и обработка изображений . Понимание изображений , 54 (3).

28. Канатани К. 1992. Геометрические вычисления для машинного зрения .Издательство Оксфордского университета.

29. Kruppa, E. 1913. Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung. Sitz . -Бер . Акад . Висс . , Вена, математика . naturw . Кл . , Abt . IIa ., 122: 1939–1948.

    Google ученый

30. Кумар Р. и Хансон А. 1990. Чувствительность проблемы уточнения позы к точной оценке параметров камеры.В материалах Труды международной конференции по компьютерному зрению , Осака, Япония, стр. 365–369.

31. Кумар, Р. В., Тирумалай, А., и Джайн, Р. К. 1989. Нелинейный алгоритм оптимизации для оценки параметров конструкции и движения. В Proc . Международная конференция по компьютерному зрению и распознаванию образов , стр. 136–143.

32. Лонге-Хиггинс, Х. С. 1981. Компьютерный алгоритм для восстановления сцены из двух проекций. Nature , 293: 133–135.

    Google ученый

33. Luong, Q.-T. 1992. Matrice fondamentale et auto-calibration en vision par ordinateur. Кандидатская диссертация, Universite de Paris-Sud, Орсе.

    Google ученый

34. Luong, Q.-T. и Фогерас, О. Д. 1992. Самокалибровка камеры с использованием множественных изображений. В Proc . Международная конференция по распознаванию образов , Ден Хаг, Нидерланды, стр.9–12.

35. Luong, Q.-T. и Viéville, T. 1996. Канонические представления геометрии множественных проективных представлений. Компьютерное зрение и понимание изображений , 64 (2): 193–229.

    Google ученый

36. Luong, Q.-T. и Фаугерас, О. Д. 1994. Структура оптимизации для эффективной самокалибровки и определения движения. В Proc . Международная конференция по распознаванию образов , Иерусалим, Израиль, стр.А-248 – А-252.

37. Luong, Q.-T. и Фогерас, О. Д. 1994. Анализ устойчивости фундаментальной матрицы. В Proc . Европейская конференция по компьютерному зрению , Стокгольм, Швеция, стр. 577–588.

38. Luong, Q.-T. и Фогерас, О. Д. 1996. Фундаментальная матрица: теория, алгоритмы и анализ устойчивости. Международный . Журнал компьютерного зрения 7 (1): 43–76.

    Google ученый

39. Luong, Q.-Т., Дериш, Р., Фаугерас, О. Д., и Пападопуло, Т. 1993. Об определении фундаментальной матрицы: анализ различных методов и экспериментальных результатов. Технический отчет RR-1894, INRIA

40. Maybank, S. J. 1990. Проективная геометрия неоднозначных поверхностей. Proc . Лондонского королевского общества A , 332: 1–47.

    Google ученый

41. Мэйбанк, С. Дж. И Фогерас, О. Д. 1992. Теория самокалибровки движущейся камеры. Международный журнал компьютерного зрения , 8 (2): 123–151.

    Google ученый

42. Maybeck, P. S. 1979. Стохастические модели, оценка и управление . Академическая пресса: Лондон.

    Google ученый

43. Манди, Дж. Л. и Зиссерман, А. (ред.) 1992. Геометрическая инвариантность в компьютерном зрении . MIT Press.

44. Роберт Л.1993. Реконструкция курб и поверхностей par Vision stéréoscopique. Приложения а-ля робот-мобильный. Кандидатская диссертация, Политехническая школа.

45. Семпл, Дж. Г. и Колено, Г. Т. 1979. Алгебраическая проективная геометрия . Clarendon Press: Oxford, 1952 (перепечатано).

    Google ученый

46. Спецакис М. Э. и Алоимонос Дж. 1988. Оптимальное вычисление конструкции на основе движения с использованием точечных соответствий в двух кадрах.В Proc . Международная конференция по компьютерному зрению , стр. 449–453.

47. Триведи, Х. П. 1988. Может ли несколько изображений компенсировать отсутствие регистрации камеры? Image and Vision Computing , 6 (1): 29–32.

    Google ученый

48. Цай, Р. Ю. 1989. Краткий обзор последних достижений в калибровке камеры для трехмерного машинного зрения. У Усама Хатиба, Джона Дж. Крейга и Томаса Лосано-Переса (ред.), Обзор робототехники . MIT Press: стр. 147–159.

49. Цай Р. Ю. и Хуанг Т. С. 1984. Уникальность и оценка параметров трехмерного движения твердых объектов по криволинейным поверхностям. Транзакции IEEE по анализу шаблонов и машинному анализу , 6: 13–27.

    Google ученый

50. Ullman, S. 1979. Интерпретация визуального движения . MIT Press.

51. Вивиль, Т.1994. Автокалибровка параметров визуального датчика на голове робота. Image and Vision Computing , 12.

52. Wampler, C. W., Morgan, A. P., и Sommese, A. J. 1988. Методы численного продолжения для решения полиномиальных систем, возникающих в кинематике. Технический отчет GMR-6372, General Motors Research Labs.

53. Вен, Дж., Ахуджа, Н. и Хуанг, Т. С. 1989. Оптимальное движение и оценка конструкции. В Proc . Международная конференция по компьютерному зрению и распознаванию образов , стр.144–152.

54. Чжан З. и Фаугерас О. Д. 1992. Анализ динамической трехмерной сцены . Springer-Verlag.

55. Zhang, Z., Deriche, R., Faugeras, O., and Luong, Q.-T. 1995. Надежный метод сопоставления двух некалиброванных изображений посредством восстановления неизвестной эпиполярной геометрии. Журнал искусственного интеллекта 78: 87–119.

    Google ученый

% PDF-1.6 % 227 0 объект> endobj xref 227 238 0000000016 00000 н. 0000006706 00000 н. 0000006824 00000 н. 0000006859 00000 н. 0000007065 00000 н. 0000007308 00000 н. 0000007357 00000 н. 0000007378 00000 н. 0000007399 00000 н. 0000008087 00000 н. 0000008591 00000 н. 0000009145 00000 н. 0000009780 00000 н. 0000010361 00000 п. 0000010920 00000 п. 0000011514 00000 п. 0000012083 00000 п. 0000012214 00000 п. 0000012438 00000 п. 0000012662 00000 п. 0000012887 00000 п. 0000013017 00000 п. 0000013149 00000 п. 0000013279 00000 п. 0000013408 00000 п. 0000013539 00000 п. 0000013762 00000 п. 0000013893 00000 п. 0000014025 00000 п. 0000021480 00000 п. 0000021727 00000 н. 0000022344 00000 п. 0000022816 00000 п. 0000023297 00000 п. 0000023565 00000 п. 0000023824 00000 п. 0000024035 00000 п. 0000024342 00000 п. 0000024567 00000 п. 0000024759 00000 п. 0000024979 00000 п. 0000025245 00000 п. 0000025422 00000 п. 0000025600 00000 п. 0000025847 00000 п. 0000026152 00000 п. 0000026431 00000 п. 0000026761 00000 п. 0000027025 00000 п. 0000027276 00000 н. 0000027493 00000 п. 0000027751 00000 п. 0000028017 00000 п. 0000028289 00000 п. 0000028499 00000 п. 0000028764 00000 п. 0000028985 00000 п. 0000029221 00000 п. 0000029444 00000 п. 0000029768 00000 п. 0000030021 00000 п. 0000030216 00000 п. 0000030519 00000 п. 0000030695 00000 п. 0000031008 00000 п. 0000031218 00000 п. 0000031532 00000 п. 0000031841 00000 п. 0000032121 00000 п. 0000032410 00000 п. 0000032647 00000 п. 0000033026 00000 п. 0000033317 00000 п. 0000033643 00000 п. 0000033863 00000 п. 0000034124 00000 п. 0000034434 00000 п. 0000034811 00000 п. 0000035160 00000 п. 0000035405 00000 п. 0000035647 00000 п. 0000035925 00000 п. 0000036126 00000 п. 0000036400 00000 п. 0000036668 00000 н. 0000036920 00000 н. 0000037120 00000 п. 0000037379 00000 п. 0000037637 00000 п. 0000037838 00000 п. 0000038001 00000 п. 0000038164 00000 п. 0000038355 00000 п. 0000038653 00000 п. 0000038958 00000 п. 0000039216 00000 п. 0000039512 00000 п. 0000039825 00000 п. 0000040092 00000 п. 0000040427 00000 п. 0000040598 00000 п. 0000041445 00000 п. 0000041847 00000 п. 0000042360 00000 п. 0000042626 00000 п. 0000042887 00000 п. 0000043112 00000 п. 0000043446 00000 п. 0000043673 00000 п. 0000043865 00000 п. 0000044108 00000 п. 0000044283 00000 п. 0000044541 00000 п. 0000044867 00000 п. 0000045200 00000 н. 0000045421 00000 п. 0000045667 00000 п. 0000045930 00000 п. 0000046144 00000 п. 0000046401 00000 п. 0000046621 00000 п. 0000046850 00000 п. 0000047069 00000 п. 0000047338 00000 н. 0000047530 00000 п. 0000047836 00000 п. 0000048007 00000 п. 0000048340 00000 п. 0000048663 00000 п. 0000048982 00000 п. 0000049266 00000 п. 0000049581 00000 п. 0000049816 00000 п. 0000050203 00000 п. 0000050506 00000 п. 0000050839 00000 п. 0000051061 00000 п. 0000051327 00000 п. 0000051567 00000 п. 0000051851 00000 п. 0000052120 00000 н. 0000052381 00000 п. 0000052635 00000 п. 0000052905 00000 п. 0000053171 00000 п. 0000053384 00000 п. 0000053549 00000 п. 0000053721 00000 п. 0000053913 00000 п. 0000054220 00000 п. 0000054478 00000 п. 0000054783 00000 п. 0000055053 00000 п. 0000055234 00000 п. 0000055875 00000 п. 0000056298 00000 п. 0000056755 00000 п. 0000057046 00000 п. 0000057342 00000 п. 0000057579 00000 п. 0000057930 00000 н. 0000058167 00000 п. 0000058368 00000 п. 0000058624 00000 п. 0000058914 00000 п. 0000059091 00000 п. 0000059370 00000 п. 0000059731 00000 п. 0000060036 00000 п. 0000060412 00000 п. 0000060711 00000 п. 0000060989 00000 п. 0000061221 00000 п. 0000061504 00000 п. 0000061801 00000 п. 0000062108 00000 п. 0000062339 00000 п. 0000062632 00000 п. 0000062875 00000 п. 0000063118 00000 п. 0000063354 00000 п. 0000063724 00000 п. 0000064010 00000 п. 0000064201 00000 п. 0000064547 00000 п. 0000064895 00000 п. 0000065251 00000 п. 0000065555 00000 п. 0000065892 00000 п. 0000066147 00000 п. 0000066468 00000 п. 0000066843 00000 п. 0000067075 00000 п. 0000067467 00000 п. 0000067724 00000 п. 0000068026 00000 п. 0000068328 00000 п. 0000068627 00000 н. 0000068911 00000 п. 0000069148 00000 п. 0000069451 00000 п. 0000069745 00000 п. 0000069964 00000 н. 0000070129 00000 п. 0000070304 00000 п. 0000070500 00000 п. 0000070836 00000 п. 0000071164 00000 п. 0000071450 00000 п. 0000071734 00000 п. 0000071918 00000 п. 0000072609 00000 п. 0000080110 00000 п. 0000080430 00000 п. 0000080752 00000 п. 0000093092 00000 п. 0000093421 00000 п. 0000093905 00000 п. 0000094043 00000 п. 0000094118 00000 п. 0000094433 00000 п. 0000094746 00000 п. 0000094792 00000 п. 0000105251 00000 п. 0000105485 00000 н. 0000105840 00000 н. 0000121782 00000 н. 0000122092 00000 н. 0000122726 00000 н. 0000130227 00000 н. 0000130444 00000 н. 0000130486 00000 н. 0000137773 00000 н. 0000138002 00000 н. 0000138193 00000 н. 0000148166 00000 п. 0000148390 00000 н. 0000005056 00000 н. трейлер ] >> startxref 0 %% EOF 464 0 obj> поток xW PSg} $ + B8En DEE (ZC x «ZVi» W27 * B «m jkg: L;:} o {

сложная матрица проекции — Технология с Front Line

В последнее время я работал над проектами компьютерного зрения, включая Tensorflow для глубокого обучения, OpenCV для компьютерного зрения и OpenGL для компьютерной графики.Меня особенно интересуют гибридные подходы, в которых я смешиваю материалы глубокого обучения, материалы opencv и классический конвейер OpenGL. Основная идея состоит в том, чтобы не рассматривать проблемы как проблемы черного ящика, использовать нейронную сеть и надеяться на лучшее. Основная идея состоит в том, чтобы выполнять максимальный объем работы с проверенными технологиями и позволять глубокому обучению работать только над четко определенной подмножеством проблемы.

На этот раз я работал над проблемой дополненной реальности, где у меня есть изображение, и я хочу наложить на него что-то.В OpenCV из изображения вы можете оценить параметры камеры, которые называются «внутренними параметрами камеры». В модели камеры-обскуры OpenCV этими параметрами являются: fx (горизонтальное фокусное расстояние), fy (вертикальное фокусное расстояние), cx (координата X центра камеры), cy (координата Y центра камеры).

Это матрица камеры OpenCV:

Вы хотите наложить какой-либо материал на исходное изображение. Теперь, когда вы оценили параметр камеры OpenCV, вам нужно превратить его в матрицу проекции OpengL, чтобы вы могли рендерить материал поверх исходного изображения с помощью графического конвейера OpenGL.Эта проблема вычисления матрицы проекции OpenGL из матрицы камеры OpenCV НЕ проста.

Прежде всего, матрица камеры OpenCV проецирует вершины непосредственно в координаты экрана. (ПРИМЕЧАНИЕ: не забудьте затем разделить на компонент z). Матрица проекции OpenGL проецирует вершины в пространство отсечения. Преобразование из пространства клипа в NDC (что означает деление на компонент w) выполняется OpenGL, а преобразование из NDC в пространство экрана также обрабатывается OpenGL. Итак, первая проблема заключается в том, что мы не рассматриваем одни и те же преобразования в точности.

Вторая проблема заключается в том, что в OpenGL вы обычно предполагаете, что центр вашей камеры находится в начале координат (это соглашение). В OpenCV это не так, параметры вашей камеры cx и cy позволяют располагать центр камеры где угодно, это такая же степень свободы, как и любая другая. 90% формул матриц проекции OpenGL, которые вы найдете в Интернете, не учитывают это.

В итоге проверил много источников:

https://blog.noctua-software.com/opencv-opengl-projection-matrix.html
http://kgeorge.github.io/2014/03/08/calculating-opengl-perspective-matrix-from-opencv-intrinsic-matrix
http://ksimek.github.io/2013/06/03/ calibrated_cameras_in_opengl /

https://jsantell.com/3d-projection

Но тот, который спас мне день, был этот: https://strawlab.org/2011/11/05/augmented-reality-with-OpenGL

Формула там точная (можно заменить K на матрицу камеры OpenCV).

Вот пример исходного кода, демонстрирующий, как можно спроецировать точку с помощью OpenCV и OpenGL и получить те же результаты (тем самым проверяя свои матрицы):

	импортное CV2
	импорт numpy как np
	импорт математики
	cx = 88 # главная точка x координата
	cy = 109 # главная точка координата y
	w = 178 # ширина изображения
	h = 218 # высота изображения
	near = 10 # около плоскости
	far = 20 # дальний самолет
	fovy = 45.0 / 360.0 * 2.0 * np.pi # 45 ° в радианах
	f = h / 2 * math.tan (fovy / 2) #cf http://paulbourke.net/miscellaneous/lens/ (ПРИМЕЧАНИЕ: фокусное расстояние в пикселях)
	# вычисляем матрицу камеры OpenCV
	camera_mtx = np.array ([
	[f, 0, cx],
	[0., f, cy],
	[0., 0., 1.]
	], dtype = np.float64)
	# вычисляем соответствующую матрицу проекции opengl
	#cf https://strawlab.org/2011/11/05/augmented-reality-with-OpenGL
	# ПРИМЕЧАНИЕ: K00 = K11 = f, K10 = 0,0, K02 = cx, K12 = cy, K22 = 1,0
	opengl_mtx = np.array ([
	[2 * ширина / ширина, 0,0, (ширина — 2 * ширина) / ширина, 0.0],
	[0,0, –2 * кадр / ч, (ч — 2 * цикл) / ч, 0,0],
	[0.0, 0.0, (–далее — близко) / (далеко — близко), –2.0 * далеко * близко / (далеко – близко)],
	[0,0, 0,0, –1,0, 0,0]
	])
	# точка находится в пространстве камеры opencv (по оси Oz)
	точка = np.array ([1.0, 2.0, 15.0]) # Примечание: координаты должны быть числами с плавающей запятой
	#### OpenCV проекция
	screen_point, _ = cv2.projectPoints (np.array ([point]), np.zeros (3), np.zeros (3), camera_mtx, np.zeros (5))
	печать (screen_point)
	# Примечание: мы получаем тот же результат с этим: (вот что cv2.projectPoints в основном делает: умножает точки на матрицу камеры, а затем делит результат на координату z)
	печать (camera_mtx.dot (точка) / точка [2])
	#### Проекция OpenGL
	# переворачиваем точку z координатой, т.к. в opengl камера ориентирована по оси -Oz
	балла [2] = –балл [2]
	точка2 = нп.hstack ([point, 1.0]) # добавляем координату вершины w (обычно выполняется в вершинном шейдере перед умножением на матрицу проекции)
	# мы получаем точку в пространстве клипа
	clip_point = opengl_mtx.dot (point2)
	# ПРИМЕЧАНИЕ: следующее «моделирует» то, что происходит в OpenGL после вершинного шейдера.
	# Это необходимо, чтобы мы могли убедиться, что наша матрица проекции даст правильный результат при использовании в OpenGL
	# получаем точку в NDC
	ndc_point = clip_point / clip_point [3]
	# получаем координаты экрана
	viewport_point = (ndc_point + 1.0) /2.0 * np.array ([w, h, 1.0, 1.0])
	#opencv Соглашение Oy противоположно OpenGL, поэтому мы меняем координату y
	viewport_point [1] = h — viewport_point [1]
	печать (viewport_point)
	# Теперь вы можете видеть, что viewport_point и screen_point имеют одинаковые координаты x / y!
	# Это означает, что теперь вы можете из матрицы камеры OpenCv использовать OpenGl для рендеринга материала поверх изображения,
	# спасибо матрице проекции opengl, вычисленной из матрицы камеры opencv
	# ПРИМЕЧАНИЕ: когда ближняя плоскость мала (несколько единиц) и когда фокусное расстояние маленькое (например: 10-12),
	# оба результата имеют тенденцию расходиться. No related posts. Опубликовано в Разное alexxlab Больше в РазноеБольше записей в Разное » Можно ли есть хурму при грудном вскармливании: польза, вред и правила употребления Поза для сна новорожденного: рекомендации Комаровского и педиатров Во сколько месяцев можно сажать ребенка в ходунки: рекомендации и противопоказания Как помочь грудничку избавиться от газиков: эффективные способы и советы Станьте первым комментатором Добавить комментарий Отменить ответ Ваш адрес email не будет опубликован. Обязательные поля помечены * Комментарий Имя* Email* Web-сайт