Сколько памяти занимает 1 секунда зрения
Очень часто фотографы, а иногда и люди из других специальностей, проявляют интерес к собственному зрению.
Вопрос, казалось бы, простой на первый взгляд… можно погуглить, и всё станет ясно. Но практически все статейки в сети дают либо «космические» числа — вроде 400-600 мегапикселей (Мп), либо это и вовсе какие-то убогие рассуждения.
Поэтому постараюсь кратко, но последовательно, чтобы никто ничего не упустил, раскрыть эту тему.
Начнём с общей структуры зрительной системы
Сетчатка состоит из трёх типов рецепторов: палочки, колбочки, фоторецепторы(ipRGC).
Нас интересуют только колбочки и палочки, так как они создают картинку.
- Колбочки воспринимают синий, зелёный, красный цвета.
- Палочки формируют яркостную составляющую с наибольшей чувствительностью в бирюзовом цвете.
Практически все колбочки расположены в центральной ямке FOVEA (жёлтое пятно в центре сетчатки). Именно fovea отвечает за самую чёткую область зрительного поля.
Для лучшего понимания проясню - fovea покрывает ноготь на мизинце на вытянутой руке, разрешающий угол примерно 1,5 градуса. Чем дальше от центра fovea, тем более размытую картинку мы видим.
Плотность распределения палочек и колбочек в сетчатке.
Палочки отвечают за восприятие яркости/контраста. Наибольшая плотность палочек — примерно по-середине между центральной ямкой и краем сетчатки.
Интересный факт — многие из вас замечали мерцание старых мониторов и телевизоров при взгляде на них «боковым зрением», а когда смотрите прямо, то всё отлично, было, да?)
Это происходит по причине наибольшей плотности палочек в боковой части сетчатки. Чёткость зрения там паршивая, зато чувствительность к изменению яркости — самая высокая.
Как раз эта особенность и помогала нашим предкам быстро реагировать на самые мелкие движения на периферии зрения, чтобы тигры не пооткусывали им задницы)
Итак, что мы имеем — сетчатка содержит суммарно около 130 Мп. Ура, вот и ответ!
Нет… это только начало и цифра далека от верного значения.
Вернёмся снова к центральной ямке fovea.
Колбочки в самой центральной части ямки «umbo» имеют каждая свой аксон (нервное волокно).
Т.е. эти рецепторы, можно сказать, самые приоритетные — сигнал от них почти напрямую поступает в зрительную кору мозга.
Колбочки, расположенные дальше от центра, уже собираются в группы по несколько штук — они называются «рецептивные поля».
Например, 5 колбочек соединяются с одним аксоном, и дальше сигнал идёт по зрительному нерву в кору.
На этой схеме как раз показан случай такой группировки нескольких колбочек в рецептивное поле.
Палочки, в свою очередь, собираются в группы по несколько тысяч — для них важна не резкость картинки, а яркость.
Итак, промежуточный вывод:
- каждая колбочка в самом центре сетчатки имеет свой аксон,
- колбочки на границах центральной ямки собираются в рецептивные поля по несколько штук,
- несколько тысяч палочек соединяются с одним аксоном.
Да, всего один миллион!
В фотиках матрицы по 100500 мегапикселей, а наши глаза всё равно субъективно круче!
Сейчас и до этого доберёмся)
Значит, 130 Мп превратились в 1 Мп, и мы каждый день смотрим на мир вокруг… хорошая графика, не так ли?)
Есть пара инструментов, помогающих нам видеть мир вокруг почти постоянно почти чётким:
1.Наши глаза совершают микро- и макросаккады — что-то типа постоянных перемещений взгляда.
Макросаккады — произвольные движения глаз, когда человек рассматривает что-то. В это время происходит «буферизация» или слияние соседних изображений, поэтому мир вокруг нам кажется чётким.
Микросаккады — непроизвольные, очень быстрые и мелкие (несколько угловых минут) движения.
Они необходимы для того, чтобы рецепторы сетчатки банально успевали насинтезировать новых зрительных пигментов — иначе поле зрения просто будет серым.
2.Ретинальная проекция
Начну с примера — когда мы читаем что-то с монитора и постепенно крутим колёсико мышки для перемещения текста, то текст не смазывается… хотя должен) Это очень занятная фишка — здесь в работу подключается зрительная кора.
Она постоянно держит в буфере картинку и при резком смещении объекта/текста перед зрителем быстро смещает эту картинку и накладывает на реальное изображение.
А как же она знает, куда смещать?
Очень просто — Ваше движение пальцем по колёсику уже изучено моторной корой до миллиметров… Зрительная и моторная области работают синхронно, поэтому Вы не видите смаза.
А вот когда кто-то другой крутанёт колёсико. )
Зрительный нерв
С каждого глаза выходит зрительный нерв плотностью ~1 Мп (от 770 тысяч до 1,6 млн пикселей — кому как повезло), дальше нервы с левого и правого глаз пересекаются в оптической хиазме — это видно на первой картинке — происходит смешение аксонов примерно по 53% с каждого глаза.
Потом два этих пучка попадают в левую и правую части таламуса - это такой «распределитель» сигналов в самом центре мозга.
В таламусе происходит, можно сказать, первичная «ретушь» картинки — повышается контраст.
Далее сигнал из таламуса поступает в зрительную кору.
И здесь происходит невероятное количество процессов, вот основные:
- слияние картинок с двух глаз в одну — происходит что-то типа наложения (1 Мп так и остаётся),
- определение элементарных форм — палочек, кружочков, треугольников,
- определение сложных шаблонов — лица, дома, машины и т.д.,
- обработка движения,
- покраска картинки. Да, именно покраска, до этого в кору просто поступали аналоговые импульсы разной частоты,
- ретушь слепых зон сетчатки — без этого мы бы видели постоянно перед собой два тёмно-серых пятна размером с яблоко,
- ещё уйма «фотошопа»,
- и наконец, вывод финального изображения — то, что вы и называете зрением — феномен зрения.
В этом и заключается суть феноменологии зрения — у вас ОДНА зрительная система. Вы не можете посмотреть на свою же картинку со стороны.
Если бы человек обладал двумя зрительными системами и по желанию мог переключиться с системы 1 на систему 2 и оценить как работает первая система — тогда да, ситуация была бы печальная :)
Но имея одну зрительную систему ВЫ сами и являетесь этой картинкой, которую видите!
Зрительная кора сама осознаёт процесс зрения. Перечитайте это несколько раз.
При травме первичной зрительной коры человек не понимает, что он слеп — это называется анозогнозия, т.е. картинку он совершенно не видит, но при этом может нормально ходить по коридору с препятствиями(первая ссылка в списке).
Здесь я сделаю небольшое отступление и дам краткое пояснение, почему же свет, проходя через роговицу, хрусталик, стекловидное тело и все слои нейронов сетчатки не искажается так сильно, как мы предполагаем. Если сравнивать чистоту и степень аберраций, то нашему глазу далеко до хорошей оптики в современной фото-видео технике.
Всё дело в рецептивных полях — РП (имеются ввиду поля в сетчатке, ЛКТ и отделе коры V1). Одна из задач РП — увеличение микро-контраста изображения. Сетчатка получает слегка размытую картинку, а после этого в процессе нескольких этапов повышения контраста мы видим вполне детализированное изображение. Сама суть увеличения контраста состоит в сужении градиентов, как на примере ниже:
Завершая эту, надеюсь, краткую и понятную статью, хочу напомнить — мы все имеем картинку в ~1 Мп… живите с этим :)
Литература:
Дэвид Хьюбел — «Глаз, мозг, зрение»
Стивен Палмер — «От фотонов к феноменологии»
Баарс Б., Гейдж Н. — «Мозг, познание, разум»
Джон Николлс, А. Мартин, Б. Валлас, П. Фукс — «От нейрона к мозгу»
Майкл Газзанига — «Кто за главного?»
Как раз у меня появился вопрос, сколько информации в секунду получает человек, сколько бит, байт, а может быть и терабайт анализирует наш мозг каждую секунду, когда мы просто идем по улице, в самый обычный для нас день? Чтобы дать ответ на данный, казалось бы простой вопрос, я полез в гугл, но не нашел ничего путного (а может не очень хорошо поискал, если кто-то что-то найдет, кидайте в комменты), поэтому я решил попробовать подсчитать данное число самостоятельно, скажу заранее, я не биолог, не понимаю и не знаю принципы работы нашей «волшебной коробочки», поэтому прошу не кидать в меня камнями, а если вас раздражает дилетантство, то и вовсе советую закрыть эту статеечку, не претендующую ни на что. Если же вам интересны измышления простого программиста, то желаю приятного прочтения.
Первое, что приходит в голову, года мы говорим о поглощение информации человеком, - это зрение. Этот факт не является удивительным, ведь до 80% всей информации, человек получает через зрение. Для того, чтобы произвести расчет того, сколько информации человек получает через зрительный канал нам необходимо узнать:
1) «Разрешение» наших глаз;
3) Количество цветов, которое каждый «пиксель» может различить;
4) Способ кодирования информации.
Покопавшись немного в интернете, я нашел всю необходимую информацию.
3) С этим пунктом было разобраться сложнее всего, так как интернет наполнен крайне противоречивыми данными. В одних источниках была информация «Глаз обычного человека различает около 150 основных цветов, профессионала - до 10-15 тысяч цветов», в других же «Если верить источнику - "Биология в вопросах и ответах" - Цветовое пространство" нормального человека содержит примерно 7 млн. различных валентностей, включая небольшую категорию ахроматических (серых, бесцветных) и весьма обширный класс хроматических. », что очень сильно сбивало столку, согласитесь, тут идет различие не на 5-10%, даже не 50%, тут речь идет о нескольких порядках. Однако, почитав различные форумы биологов и статьи на данную тему, я пришел к выводу, что в сущности все дело в формулировке и проведению экспериментов, а реальные цифры таковы: человек способен различать около 150 цветов и 25 степеней насыщенности данных цветов, как итог мы получаем 150*25 ≈ 3800 различных цветов и оттенков.
Интересный факт: «Возможен феномен, когда у человека есть дополнительная колбочка сетчатки глаза. Она может быть выработана только Х-хромосомой, а это означает, что данный феномен наблюдается только у женщин. Ген способен придать человеческому глазу дополнительный набор хромосом. У здорового человека их 3, а когда образуется дополнительная колбочка – становится 4. При этом причина, по которой возникает дополнительная колбочка сетчатки – мутация генов. Данное явление называется тетрахроматизмом. Люди, которые имеют тетрахроматизм — эту редкую аномалию в генетике, воспринимают намного больший диапазон оттенков. Если человек пройдется по обычной гравийной дорожке, которая кажется нам серой, он увидит мерцание желтых, зеленых, розовых и синих камней. Дополнительная колбочка сетчатки глаза позволяет воспринимать мир чуточку другим, а именно — позволяет видеть еще 100 оттенков каждого цвета.»
Таким образом мы подсчитали все необходимые параметры получения (оооооочень и оооооооочень) примерных данных для получения ответа на поставленный вопрос, поэтому давайте перейдем к простой математике.
Что нам известно на данном этапе?
1) разрешение = 576Мпикс;
2) частота = 50Гц;
3) количество цветов = 3800;
Первым делом необходимо узнать, сколько информации храниться в 1 «кадре», для этого нужно понять, сколько битов занимает 1 цвет:
Умножим 12бит на 576Мпикс: 12 * 576.000.000 = 6.912.000.000бит требуется для кодировки 1 кадра, чтобы получить итоговое число достаточно домножить полученное ранее число на 50Гц.
Итак, каждую секунду человек получает более 43Тбайт информации через зрение, что является колоссальным количеством информации, для хранения информации, полученной в течении одной секунды с помощью зрения человеком, в течении месяца в облаке потребуется более 430$.
Однако мы все еще не ответили на главный вопрос «Сколько информации в секунду получает человек?». Учитывая тот факт, что через зрение человек получает около 80% информации, а остальные 20% распределены между осязанием, обонянием, слухом, болевыми и температурными рецепторами, чувством равновесия и положения в пространстве, ускорения, ощущения веса, то для получение окончательного результата нам нужно решить простейшую пропорцию.
Таким образом получается, что в секунду человек получает более 53Тбайт.
Как я писал выше, данная статья не имеет никого отношения к науке и является бредом, однако она может немного вас развлечь и заставить задуматься о том, насколько совершенен наш мозг, что есть цвет, и не является ли наш мир всего лишь хорошо проработанной компьютерной симуляцией.
Они изменили мир запись закреплена
Артём Чак
Алим Жемухов
Ну если прибавить ещё разрешения (примерно 20) то наверное да, плюс они заполняют память а это ещё несколько мб.
Тут подмена системы измерения. Зрение аналоговое а не цифровое. Так что это полностью не корректно.
У глаза НЕТ такого понятия, как FPS , но есть его аналог - инертность палочек и колбочек — фоторецепторов светочувствительных клеток сетчатки глаза.
При сравнении FPS компьютера с инертностью палочек и колбочек возникают следующие проблемы:
- Палочки и колбочки по-разному воспринимают движение и цвет. Палочки в 100 раз менее чувствительны к цветам , но имеют значительно меньшую инертность(ну т.е. их FPS больше) . Но они практически не способныразличать цвета . Колбочки, соответственно, наоборот - лучше различают цвета , но имеют бОльшую инертность(т.е. FPS ниже) .
- Эти фоторецепторы размещаются на сетчатке неравномерно . Колбочки расположены в центре , а палочки расположены по бокам сетчатки.
Идея нашей матушки природы довольно проста - по бокам расположено то, что максимально чувствительно к движению. Задача этих рецептором просто сигнализировать о том, что "что-то движется вон в тех кустах сбоку". Потом мы уже повернём голову и более чувствительными рецепторами проанализируем ситуацию - перед нами большой, красивый, голодный Лёва :D
Очевидно, что человек, работающий на компьютере использует по большей части центр сетчатки, поэтому в данном случае целесообразно говорить исключительно о среднем FPS именно смеси палочек и колбочек. Вот на одном сайте удалось найти инфу: минимальная инертность составила 20 мс . Иначе говоря, мы получаем FPS 50 кадров/сек . Означает ли это, что FPS выше этого значения никак не будет ощущаться глазом?
FPS глаза и ощущение реалистичности
Зрительная система человека не ограничивается глазом. Глаз это лишь "сенсор", информация из которого воспринимается не напрямую, а проходит сложный и до конца не изученный процесс постобработки . Этим объясняется существование оптических иллюзий.
Для примера взгляните на эту картинку:
Очевидно, что здесь всего 1 кадр , однако мозг воспринимает сигналы получаемые от палочек (с периферии зрения) и трактует их как признаки движения. Это позволяет ему самому "дорисовывать" кадры и делать плавное движение всего из 1 кадра .
При чём не надо забывать, что изображение, выводимое на монитор, не является "идеальным": оно содержит артефакты.
Артефакт — нежелательные особенности сгенерированного компьютером изображения, появляющиеся в определённых условиях (переходы яркости или цветности, движение изображения, режимы вывода, предназначенные для ускорения работы, недостаточно качественная компрессия текстур и.т.д.)
Взгляните на график ниже. На нем изображена зависимость светимости пикселя от времени.
Сначала он был темным. Затем пришла команда изменить цвет (40 мс) . Современные игровые матрицы заточены на максимальную скорость, которая достигается усиленным сигналом. В результате цвет пикселя "перескакивает" нужное значение и выравнивается следующие 50 (. ) мс . Вдумайтесь, значение достаточно большое, ведь при FPS 60 на 1 кадр приходится всего 16 мс . Это значит что в динамичных сценах пиксели НИКОГДА не попадут в те значения, которые физически должны быть . Потому что им нужно 50 мс чтобы попасть точно в заданное значение, а кадр сменится уже через 16 мс .
Иными словами, формально мы можем получить 60 кадров в секунду, но физически это не "чистые" и "четкие" 60 кадров, а кадры со "шлейфом", "промахами" и артефактами . Человеческий же глаз видит изображение не просто без каких-либо подобных провалов, а очень даже чётко и плавно.
Итак, думаю, уже всем понятно, почему мы не можем сравнивать FPS человеческого глаза с компьютерным, но остаётся вопрос: а из-за чего всё же пошёл миф, что человек может видеть именно 24 кадра/сек ?
Всё просто. Это телевизионный и кинематографический стандарт, из-за которого люди привыкли считать, что раз они смотрят видео с FPS, равным 24 , то и человеческий глаз может различать только 24 кадра/сек , однако, мы только что доказали, что это - МИФ .
Миф про 25-й кадр хоть раз слышал каждый. До сих пор многие уверены, что человеческий глаз способен воспринимать максимум 24 кадра в секунду. Однако это огромное заблуждение. И, что интереснее всего, в байку про 24 кадра люди верили даже лет 15-20 назад, когда повсеместно встречались ЭЛТ-мониторы, наглядно опровергающие это утверждение своим мерцанием.
Сколько кадров в секунду в действительности видит глаз
Человеческое зрение – это не дискретная система, возможности которой можно описать простыми цифрами. Это про камеру можно сказать: пишет видео в разрешении 3240х2160 точек, с частотой 60 кадров в секунду. А человеческий глаз видит именно кадры только в том случае, если смотрит на проявленную пленку или раскадровку цифрового видео в редакторе.
Зрительная система воспринимает картинку целостно, замечая только ее изменения. Поэтому никакой конкретной цифры, указывающей на пределы возможностей глаза, нет. Если картинка не меняется – разницы нет, будет за секунду меняться 5 кадров, 25, или 250. Пределы восприятия сильно зависят от особенностей наблюдаемого объекта. Чем быстрее он движется, чем резче эти движения – тем выше предельная частота.
Сравнение 5, 10, 15 и 30 кадров в секунду на медленной картинке
Наблюдая видео, на котором человек медленно идет по прямой, глаз не заметит существенной разницы между 24 и 60 кадров в секунду, так как движения плавные. Если этот человек быстро бежит – разница уже будет, ролик в 60 FPS покажется намного плавнее и приятнее, чем в 24 FPS. А если этот человек не просто бежит, а бежит зигзагом, попутно прыгая через препятствия – то даже разница между 60 и 120 FPS будет заметна, в пользу большей частоты.
Сравнение 12, 18, 25 и 60 кадров в секунду на динамичном видео
Чтобы проверить это, не нужно далеко ходить. Достаточно запустить на компьютере тяжелую игрушку сначала на низких настройках, чтобы FPS был высоким, а потом – на высоких или максимальных, чтобы получить меньше 30 FPS. Вы сразу заметите разницу: в первом случае объекты хоть и будут менее детальными, но движения – гораздо более плавными.
Увидев разницу между 30, 60 и 100 FPS, можно наглядно убедиться, что человеческий глаз видит гораздо больше 24 кадров в секунду. Предел, после которого разница становится не видна, зависит от индивидуальных особенностей зрения, и в случае с видео или игрой составляет 80-150 кадров в секунду, а иногда и больше.
Пределы восприятия зрительной системы
Помимо кадровой частоты, имеют значение и амплитуда смены кадра, резкость цветовых переходов, время показа каждого кадра. Если просто набрать разноцветных картинок, склеить их в видеоролик и менять со скоростью 120 кадров в секунду, человек хоть и не заметит все цвета, но будет испытывать дискомфорт.
Причина дискомфорта – напряжение глаз, которые пытаются зафиксировать каждую смену, и зрительного центра в мозге. Если долго смотреть на такое, могут заболеть глаза и голова, а у человека с эпилепсией может случиться приступ.
При коротком времени показа кадра (1 миллисекунду показывает – 10 мс не показывает) чувствительность глаз становится еще выше. Даже если человек не видит (не воспринимает сознательно) смены кадра, и картинка плавная, резкие цветные вспышки (когда кадр показывается), чередующиеся с черным фоном (кадр не показывается), зрительная система улавливает.
Именно этим обусловлен дискомфорт, который испытывают некоторые люди при наблюдении AMOLED-экранов Samsung на сниженной яркости. Ведь в режиме снижения яркости включается ШИМ-регулятор подсветки, который быстро включает и гасит пиксели. Циклов включения-гашения за секунду происходит 240, то есть их частота – 240 Гц или 240 кадров в секунду.
Полосы на экране - эффект от мерцания, которое замечает камера
Человек вроде и не видит смену кадров с такой частоты, картинка кажется плавной, но чувствительная зрительная система все же фиксирует этот процесс. То есть, сознание хоть и видит за секунду меньше кадров, но глаза способны уловить и больше. Просто из-за очень высокой частоты мозг напрягается, но не обрабатывает эту информацию до конца.
Незаметными для людей с высокочувствительным зрением становятся только частоты смены кадра и мерцания порядка 1000 Гц. Именно от 1 кГц (1000 кадров в секунду) – предел восприятия, преодолеть который большинство человеческих глаз не может. Таким образом, при наблюдении движущегося изображения, в большинстве случаев, человеческий глаз видит максимум около 100-150 кадров в секунду, но воспринимать способен на порядок больше.
Откуда взялся миф про 24 кадра
Миф о том, что человеческий глаз видит максимум 24 кадра в секунду, имеет вековую историю. Он уходит корнями в эпоху зарождения кинематографа. Первые фильмы, снятые в конце XIX века братьями Люмьер, имели 16 кадров в секунду. Эту цифру выбрали потому, что расход стандартной пленки 35 мм при такой частоте составлял ровно 1 фут в секунду. Таким образом упрощались расчеты необходимого количества пленки для съемок.
Потребность в увеличении частоты возникла с переходом от немого кино к звуковому. Дорожка в те времена писалась на пленку рядом с картинкой в виде полосок, каждая из которых соответствовала определенной частоте. Малая длина пленки, прокручиваемой за секунду (всего 30 см), не позволяла записать звук достаточно четко, поэтому длину нужно было увеличивать.
Увеличить показатели FPS именно до 24 решили тоже не просто так. Секундный расход пленки теперь составлял 1,5 фута, минутный – 90 футов или 30 ярдов. Эти цифры тоже оказались удобными для расчетов при планировании бюджета съемок. Частоту пытались увеличить и больше, до 30, 48 и даже 60 кадров за секунду, но возникли проблемы.
Для такой скорости требовалось более точное и выносливое оборудование (как для съемки, так и воспроизведения в кинотеатрах), а расход пленки существенно увеличивался. Помимо затрат на саму пленку, увеличивались также стоимость монтажа, время на его произведение. В итоге все так и остановились на 24 кадрах, эта частота стала отраслевым стандартом на много десятилетий.
Окончательно утвердили частоту около 25 кадров в секунду тотальная электрификация Европы и появление телевидения. При частоте переменного тока 50 Гц (смен направления в секунду) 24-25 кадров удобно привязывать к параметрам тока. При таком подходе смена кадра происходит один раз на период синусоиды. А вот в США, где вместо привычных нам 220-230 вольт 50 Гц используется 110-120 вольт 60 Гц, телевизионный стандарт NTSC работает с частотой 30 (29,97) кадров в секунду.
Читайте также: