Rolling shutter repair adobe premiere что это
DSLR video has improved dramatically over the last few years, but rolling shutter is still an issue. Deal with it using these three tips.
No one likes the look of rolling shutter artifacts. They’re a pesky side effect of shooting on DSLRs (or other cameras using CMOS sensors) and have the potential to ruin otherwise fantastic footage. Rolling shutter issues can plague footage in any number of ways, but most often by causing a horizontal skew when whip panning, or the “jello effect” when shooting on long lenses (or handheld). Here’s an example of the jello effect:
Rolling shutter skew is simply a result of the speed at which a frame is scanned and captured on a CMOS sensor. Unlike global shutters, which capture an entire frame all at once, a rolling shutter will scan the frame from top to bottom, leaving room for visual artifacting in the frame.
In other words, the top and bottom points of any given frame are not captured at the exact same moment, which is why images can appear skewed under certain circumstances.This can be seen in the image below.
Image from Engadget
You might wonder why more manufacturers don’t use global shutter sensors on their cameras, and there are a number of reasons for this. In a nutshell, there is usually a tradeoff in terms of performance between rolling and global shutters. A rolling shutter has issues with skew and distortion (as touched on above), but can have better low light performance and dynamic range.
On the other hand, the global shutter may never be able to achieve the same DR as its rolling shutter counterpart, but it would perform much better for handheld work, action scenes, and visual effects work.
Image from DSLR Video College
VFX shots in particular can be very challenging to deal with when working with footage suffering from rolling shutter artifacts. For a VFX artist to do their work best, they need to be able to accurately track footage and match 2D/3D elements to the source footage – which can be a huge challenge when the source material isn’t stable enough.
But even if you aren’t doing VFX work or shooting action sequences, you still need to be careful when shooting on a camera that is prone to rolling shutter problems. A handheld shot using a long lens can turn into complete jello under the wrong conditions, and the skew associated with any number of shooting situations can be a huge distraction in the editing room.
The good news is that there are ways to offset the rolling shutter issues associated with many CMOS sensors. Here are three of the simplest ways to work around it:
Use a Rig
Image from 2355 Productions
This first point applies most specifically to micro-jitters, which can be an issue with nearly any camera, but can be exaggerated by rolling shutter.
Using any sort of stabilizer or rig will always be your best bet when it comes to minimizing micro-jitters. Obviously a tripod or monopod can work perfectly in most instances, but for handheld work things get a bit trickier. As you might imagine, using a shoulder rig is one of the best ways to eliminate rolling shutter (or at least reduce it significantly), but it needs to be set up just right.
I have used some DSLR rigs that didn’t have enough counter weight or just weren’t built well enough to absorb some of the shock that would cause micro-jitters, and ultimately they weren’t much better than actually holding the camera. Rigs that are heavier but still well balanced are an absolute must for even the most basic handheld work.
Alternatively, you might want to consider a small gimbal-based stabilizer like the Movi M5 (pictured above) or a device like the Nebula 4000. Or, if you are unable to use a rig for any reason, the next best thing would be to use a stabilized lens. Any lens with built-in image stabilization will decrease rolling shutter artifacts substantially, but a well-balanced rig is always going to give better results.
Know Your Angles
Image from GSI Engineering
Sometimes knowing how not to use a tool is just as valuable as knowing how to use it. Every camera has its limitations, whether in the areas of dynamic range, sharpness, detail, color accuracy, or otherwise. If your particular camera struggles with rolling shutter, then sometimes the best option is to work around its limitations and avoid shooting in situations where the camera is going to have issues.
One example of this might involve shooting a moving train. If you were to point your camera at a train that is moving horizontally from screen left to screen right, the image would be very skewed, even if you weren’t moving the camera at all. Just like a whip pan, the sensor would be unable to read the entire image at once and would therefore cause a horizontal skew in the image.
While you’re on set, the only option you have (other than shooting on a different camera) is to change your angle. Instead of shooting head on, you could opt to shoot from a 3/4 angle or any number of other positions that would help you avoid the skew entirely. It may feel frustrating that your creative choices are limited, but knowing your limitations will always help you get the best results and avoid issues down the road.
Fix It in Post
Image from the Connecticut School of Broadcasting
The term “Fix It In Post” has become a cliche at this point, but when it comes to rolling shutter, sometimes it actually is the best option. Depending on the severity of the rolling shutter artifacts, you may be able to fix the image during post-production by using any number of different plug ins for various NLE systems or compositing software. There are dozens of options out there, so I would recommend doing a quick google search to see which tools work best for your camera and software combination. Here’s a video tutorial from TheHowToMac that demonstrates how to reduce rolling shutter in Final Cut Pro X.
With all of that said, I would never rely on fixing your rolling shutter in post. The best results will always be achieved by avoiding rolling shutter artifacts in the first place. But if you are in a sticky situation, it’s great to know that there are some editing tools that can help you deal with these problem shots. If you’re interested in more info on shutters, rolling or otherwise, check out these articles from the PremiumBeat Blog.
How do you deal with rolling shutter issues? Got any tips for your fellow filmmakers and videographers? Share your thoughts in the comments below.
Узнайте о новых функциях в Premiere Pro, которые помогают устранить проблемы с плавающим затвором, которые возникают в исходных медиаданных с камер DSLR и с других камер, оснащенных датчиками CMOS.
Типичная проблема в отношении камер DSLR и других камер на базе датчика CMOS заключается в том, что, как правило, возникает отставание по времени при сканировании строк видеоданных. Из-за этого не все части изображения записываются в одно время, что вызывает такие искажения, как эффект плавающего затвора. Эти искажения могут возникать при движении камеры или предмета.
Для удаления этих искажений можно использовать эффект «Устранение эффекта плавающего затвора» в Premiere Pro.
После применения этого эффекта становятся доступны следующие свойства:
Скорость плавающего затвора: задает процент кадровой частоты, то есть, время сканирования. Для камер DSLR это значение составляет 50-70%, для iPhone - близко к 100%. Настройте скорость плавающего затвора, чтобы искаженные строки стали вертикальными.
Направление сканирования: задает направление сканирования для плавающего затвора. Большинство камер выполняют сканирование датчика в направлении сверху вниз. Камеры смартфонов можно переворачивать сверху вниз или поворачивать. Для этого необходимо задать другое направление сканирования.
Раздел расширенных настроек:
Метод: определяет использование анализа оптического потока и изменение времени движения пикселей для создания кадров без искажения («Движение пикселей») или распределенное отслеживание точки и деформации («Деформация»).
Детальный анализ: анализ точки в пределах деформации с более высоким уровнем детализации. Доступно при использовании метода деформации.
Элемент движения пикселей: определяет необходимую детализацию вычислений векторного поля оптического потока. Доступно при использовании метода «Движение пикселей».
Несмотря на то что эффект стабилизатора деформации имеет встроенную функцию устранения эффекта плавающего затвора, автономная версия последнего включает больше настроек. В отдельных случаях требуется только устранение эффекта плавающего затвора без стабилизации снимка.
Появление роллинг шаттера совпадает с моментом, когда в фото/видеосъемочной технике стали применяться матрицы CMOS (КМОП-сенсор). В отличие от матриц CCD (ПЗС-сенсор), CMOS обычно фиксирует изображение построчно, сверху-вниз. Таким образом, при движении в кадре матрица не успевает зафиксировать информацию со всего кадра, и на обработку подается лишь информация с нескольких строк. Тем временем объект в кадре уже изменил свое положение, соответственно, изменилось и его положение на матрице. Такое нескончаемое запаздывание матрицы за движением в кадре приводит к появлению роллинг шаттера.
Скорость снятия информации в разных сенсорах может различаться. Более того — разные CMOS-матрицы имеют разное же количество пикселей, и, соответственно, строк, с которых требуется снять информацию. Неизбежный вывод: чем медленнее матрица, тем медленней происходит снятие информации с ее строк. Аналогично и с количеством пикселей — чем бо́льшим количеством пикселей обладает матрица, тем медленней происходит снятие с нее информации, строк-то ведь больше.
Как проявляется роллинг шаттер?
- наклон отдельных объектов, когда камера неподвижна, а снимаемый объект перемещается по горизонтали
- наклон всего кадра, когда сама камера движется по горизонтали
Следующие ролики покажут оба типа дефекта во всей красе:
2. Желе. Зрительно проявляется в виде нестабильной картинки, так, словно перед камерой колышется абсолютно прозрачная желеобразная масса, хаотично искажая весь кадр. Этот дефект возникает при неупорядоченном перемещении камеры во все стороны, или, иначе говоря, когда при съемке оператор машет камерой, словно метлой. Степень желейности зависит как от быстродействия матрицы, так и от скорости «подметания». В некоторых, особо запущенных случаях, когда матрица откровенно медленная и/или имеет слишком большое количество пикселей, желе может проявляться даже при почти, казалось бы, статичной съемке с рук. Дело в том, что мелкая дрожь, идущая от руки, преобразуется встроенным стабилизатором в более плавное перемещение, которого оказывается достаточно для появления роллинг шаттера.
3. Горизонтальные пересвеченные полосы в кадре. Возникают при срабатывании фотовспышки (молнии и пр.). Это абсолютно неизбежный дефект, который возникает всегда при резком изменении освещенности, и если камера оснащена CMOS-матрицей с построчным снятием информации. Появление этих полос гарантируется независимо от скорости считывания с матрицы. Медленная ли она, быстрая ли — неважно. Полосы обязательно будут, только длительность их присутствия в кадре окажется разной.
- Фотоаппараты. Они имеют медленную многомегапиксельную матрицу, предназначенную для фотосъемки. Видеосъемка в фотоаппаратах была и остается лишь опцией, которую оператор использует на свой страх и риск
- Видеорегистраторы и экшн-камеры, а также карманные камеры и прочие сотовые телефоны. Ввиду того, что экшн- и карманные камеры обычно являются бюджетными, они оснащаются медленными матрицами. То же относится и к смартфонам либо планшетам: даже в дорогих моделях этой техники присутствуют медленные экономичные матрицы, гарантирующие бульдожий роллинг шаттер. Исключение из данного списка составляют редкие модели дорогих экшн-камер, где установлены новые скоростные матрицы
- в съемке обычными видеокамерами с CMOS-матрицами. Здесь роллинг шаттер проявляется реже, чем в двух перечисленных случаях. Просто потому, что эти аппараты предназначены для правильной, высококачественной видеосъемки. Однако и тут редкие исключения портят безмятежную картину: в погоне за мегапикселями разработчики забывают о неизбежном появлении роллинг шаттера. К сожалению, с годами ситуация не улучшается. А даже наоборот.
Резюмируем: чем бо́льшим количеством пикселей обладает матрица видеокамеры или фотоаппарата, и чем ниже скорость передачи данных с этой матрицы, тем сильнее выражен роллинг шаттер. Касаемо видеокамер хотелось бы отметить: для видеосъемки с разрешением Full HD вполне достаточно двух-мегапиксельной матрицы. Если же такая матрица окажется еще и быстрой, то роллинг шаттер проявится только в случае с фотовспышкой. А бороться с фотовспышками несложно: достаточно выгнать всех назойливых фотографов из помещения, где производится видеосъемка, это самый надежный способ борьбы с фотовспышечным роллинг шаттером.
Способы борьбы с роллинг шаттером
Сделаем вывод: избежать роллинг шаттера в ваших съемках поможет только отсутствие тряски, фотовспышек, и быстродвижущихся объектов. Звучит смешно, однако факт. Где-то глубоко в душе — очень глубоко — теплится надежда, что разработчик наконец-то одумается, и перестанет встраивать медленные многомегапиксельные матрицы в видеосъемочные гаджеты. Но, поразмыслив, понимаешь, что это из области фантастики. Так как маркетологи, у которых задача продавать, немедленно вмешаются в ситуацию с быстрыми матрицами, и заставят инженеров довести количество пикселей в датчиках до очередных космических величин. Продажи таких камер, конечно же, вырастут:
— Ого, гляди-ка, 100 мегапикселей! Дайте две!
Но что станет результатом подобного увеличения количества пикселей в быстрых матрицах? Правильно!
If you shoot with a DSLR or camera phone you’ll notice that the image integrity is sacrificed if there is movement in the shot. In this post we’ll address how to repair “Rolling Shutter” problems in Premiere Pro.
CMOS sensors used in DSLR and mobile phone cameras are notorious for introducing distorition when the camera moves or pans. This type of video distorition is called rolling shutter. Luckily there are tools within Adobe Premiere Pro (and after effects) to repair rolling shutter issues in your video footage.
Understanding Rolling Shutter
First, it may be helpful to explain what’s going on with ‘Rolling Shutter’ in your video image…
Image as it Should Look with No Panning
Footage ‘Wobbling’ During a Pan
As your camera scans an image, it scans in lines starting at the top and works its way to the bottom of the frame. This means that if you are panning or moving the camera as the image is being recorded, the lines at the top of the screen are being recorded at a different point in time than the lines at the bottom of the screen. So, if the camera moves the lines no longer match up. This will end up with a wobbly look to your footage.
If you look for it, any time you are shown mobile phone footage and the camera is moving a lot you will see the picture warping all over the place. This is ‘Rolling Shutter’. Additionally, the problem seems to be directly proportional to the quality of the sensor your camera is using. For example, the images I’m using in this blog where taken on my mobile phone.
To see the changes we are going to make it is often helpful to have some kind of reference on screen. So if you can’t see the ‘Safe Margins’ button in your Premiere Pro Program Monitor, click the little ‘+’ button at the bottom right of the program monitor and choose the ‘Safe Margin’ button as shown.
Choosing the Safe Margin Button
Drag the button into your buttons menu bar so that you can quickly toggle it on and off as you need. When you’re done, click the ‘+’ button again to shut the button editor and then hit the ‘Safe Margins’ button to turn them on.
Safe Margins On
Now we are ready to find and apply the ‘Rolling Shutter Repair’ effect to our wobbly footage.
Rolling Shutter Repair in Premiere Pro
Finding the Rolling Shutter Repair Effect
Before we jump in, it is worth noting that to some extent you can add rolling shutter repair through the use of the ‘Warp Stabilizer’ effect in Premiere Pro prior to the latest release. If you delved deeper into its controls you would have found that there was a section that offered some rolling shutter repair. However, from version CS6 the ‘Rolling Shutter Repair’ effect was brought over from After Effects and is the best way to deal with this problem.
It is also worth noting that this is a ‘repair’ effect and not a guarantee to fix all your rolling shutter problems. Although my experience of this effect is that it usually sorts out my problems simply by being applied with its default settings, there can be times when the rolling shutter damage is so great that it cannot be repair – only improved. Bear that in mind as you deal with your footage. And, if you are responsible for the shooting it is worth keeping in mind that fast pans can cause problems and should be avoided in most cases.
Now, let’s apply the Premiere Pro ‘Rolling Shutter Repair’ effect to our footage either by dragging it on to the footage or (if your footage is already selected) by double clicking the effect in the Effects Panel:
Rolling Shutter Repair Applied
Original Shot
Default Settings Show Some Improvement
As you can see, if you compare the before and after– which are the same frame – there is some improvement with the default settings. But let’s look at the settings and see if we can make it even better.
Rolling Shutter Rate
The level of the Rolling Shutter Rate setting is going to depend on the extent of your problem. In other words, lower quality cameras such as camera phones will probably need to have this set at 100% while higher quality DSLRs will need lower levels. Experiment with you footage to see what works best for you. As this footage was taken on a camera phone, I’m going to increase my rate to 100%.
Rolling Shutter Rate at 100%
Under ‘Rolling Shutter Rate’ you have the ‘Scan Direction’ setting which refers to how the camera or camera phone is being held to record the footage. For example, it is quite common now for camera phones to be rotated 90 degrees and be used to film ‘widescreen’ as opposed to straight up and down. You can see that I have done that with my own footage in this blog. The idea is that the sensor will only film from top to bottom, so if you turn the phone 90 degrees it will be now either be scanning Right to Left or Left to Right.
A word of warning though at this point; with my own camera phone, even though I have turned it 90 degrees I still find the best result is had with Top to Bottom. While I don’t know for sure why this is, it could be that with newer camera phones that the scan direction is linked to the rotation sensor of the phone? But whatever it may be, try the various settings to see which will give you the best results – you have all four options just in case.
At this point most footage will now look significantly better and may well be at a point where it has become usable. However, for a small minority of clips this won’t be the case and further repair will be needed. This is where we move into the ‘Advanced’ setting, starting with the ‘Method’.
Rolling Shutter Advanced Settings
Advanced Settings – Method Options
Warp is the standard setting but as you can see above, we also have another option called ‘Pixel Motion’ which comes in with a default setting (Pixel Motion Detail) of 20%.
Pixel Motion at 20%
As you can see, this makes a big difference but it will also significantly slow down render times because I am now asking Premiere Pro to process significantly more data than with the ‘Warp’ method.
In short, what we are now saying to Premiere Pro is this, ‘Look at 20% of the pixels across this image and work out how they are moving frame to frame and then correct for rolling shutter based on your analysis’. So, obviously, Premiere Pro is working much harder to correct the image and everything will slow down. And it goes without saying that the larger the percentage you ask Premiere Pro to analyze the slower everything will go!
There is one more option for the ‘Warp’ method called ‘Detailed Analysis’. While this may make some difference and is always worth trying, I find that using the ‘Pixel Motion’ method is usually much better in comparison to ‘Detailed Analysis’
100% Pixel Motion
Original For Comparison
Lastly, if you must use Pixel Motion try and keep it as low as possible. You can see the end result with 100% Pixel Motion above is great when compared to the original, but be careful not to get bogged down by the technical possibilities of any effect that in the process you lose the importance of storytelling.
Yes, I can make the clip much much better at the cost of rendering time and playing with the effect. But, if this clip is on screen for only a short period of time a small amount of Rolling Shutter likely won’t distract my audience. Make your aim to deal with problems to the point where they won’t distract or confuse your audience and then can get on with telling them the story. That is after all, what video editing is all about!
Adobe Premiere After Effects DaVinci Resolve запись закреплена
Joe Dawson
Ребят, добрый вечер, не подскажете, как проблему эту решить? Хочу чтобы обводка сохраняла свою ширину при масштабировании, но никак не могу найти способ. Пожалуйста, подскажите что делать? Че то такого тупняка я не ожидал.
Поможете с проблемой? Когда я перекидываю видео файл в premier он перекидывает только звук, а самой картинки нету! Что делать?
Роман Кондратюк
Нужна помощь,как мне убрать мой голос при записи на микрофон(в тот момент,когда я начинаю записывать,голос воспроизводится в колонках на пк)от этого появляется эхо при записи,уже все перепробовал,но найти ответа не могу,помогите.
Алексей, у меня было что видео без звука ложилось, удалил файл из программы, в папке переименовал и заново закинул, проблема ушла с названием. Не знаю почему, но это факт.
Читайте также: