Fixing dropped frames in digital video

erlehmann — Sun, 10 Jun 2012 23:32:28 +0000

Occasionally, when capturing DV, data is generated faster than it can be saved, thus audio and video frames are dropped. The resulting small gaps in the recording are noticeable at playback time as footage appears sped up and choppy, AV-sync being lost occasionally. For most people, those recordings are unwatchable.

Obviously the lost data cannot be recovered. The symptoms however – stuttering and uncomfortable playback speed – can be remedied somewhat by interpolating the missing audio frames. Assuming a file with a nominal framerate of 25 FPS that had every second frame dropped, this can easily be achieved using mplayer for playback at half speed:

mplayer -af scaletempo=stride=16:overlap=.25:search=10 -speed 0.5 -fps 25 example.dv

The important piece is the scaletempo filter, which can change audio speed without altering the pitch. Without it, speech played at half its original speed has more resemblance to Goa’uld utterances than to real-world language. Unfortunately, this approach is limited by the sampling theorem: If too many audio frames are missing, the result will sound like it was created using a bad mobile phone.

Though missing video frames could also be interpolated to smooth jerky movements, simply duplicating frames is adequate for real-world usage. The following shell script utilizes mplayer and mencoder to interpolate audio and duplicate video frames, creating a file that should be easier on viewers’ eyes and ears than the original – broken – recording.

mplayer -af scaletempo=stride=16:overlap=.25:search=10 -speed 0.5 -fps 25 example.dv -vc null -vo null -ao pcm:waveheader:file=example.wav && mencoder -fps 12.5 -ofps 25 -ovc copy -oac copy -o example-fixed.dv example.dv -audiofile example.wav && rm example.wav

For an example recording processed using this method, see the video of the Fickileaks talk me and fotografiona gave at the Spackeriade; the original file was missing about every second frame.

Mehrfachvideo mit Gstreamer

erlehmann — Fri, 12 Mar 2010 14:01:04 +0000

Der wetter meinte neulich, es könnte doch ganz nützlich sein, mehrere Videostreams in einem Container zu verkapseln; auf diese Weise wäre es etwa bei Vorträgen möglich, eine Ansicht mit Folien und eine weitere mit den Dozenten zu haben. Glücklicherweise geht das tatsächlich.

Um ein derartiges Video zu erhalten, habe ich zunächst mit Gstreamer ein Testbildvideo produziert (dieser Blogeintrag war sehr hilfreich) und dieses dann mit Hilfe der oggz-tools auf 20 Sekunden geschnitten und mit einem von mir vorher aufgenommenen Video zu einem zweispurigen Video (~~Download~~) gemixt:

gst-launch-0.10 videotestsrc ! video/x-raw-yuv,width=640,height=480 ! ffmpegcolorspace ! theoraenc bitrate=500 ! oggmux ! filesink location=testbild.ogv ^C oggz-chop -o testbild-20s.ogv -e 20 testbild.ogv oggz-merge -o testbild-stereo.ogv MD000410.ogv testbild-20s.ogv

Schneller kann man ein eigenes Video mit zwei Testbildern mit folgendem Pipelinemonster erstellen:

gst-launch-0.10 videotestsrc pattern=circular ! queue ! videorate ! video/x-raw-rgb,rate=15/1 ! ffmpegcolorspace ! theoraenc ! oggmux name=mux ! filesink location=testbild2.ogv videotestsrc ! queue ! videorate ! video/x-raw-rgb,rate=15/1 ! ffmpegcolorspace ! theoraenc ! mux. ^C

Testweise abspielen kann man dieses dann wiederum mit:

gst-launch-0.10 filesrc location=testbild2.ogv ! decodebin name=d ! queue ! xvimagesink d. ! queue ! xvimagesink

Ein praktisches Problem derartiger Dateien ist die Behandlung der Videostreams durch gewöhnliche Abspielsoftware, die im Allgemeinen davon ausgeht, dass verschiedene Streams gleichen Typs nicht gleichzeitig abgespielt werden sollen: Nur VLC media player öffnet für jeden Videostream ein weiteres Fenster, während Totem, mplayer und Webbrowser mit Unterstützung für das -Element jeweils immer nur einen der beiden Videostreams anzeigen — im besten Fall ist ein Wechsel des abgespielten Streams möglich, ähnlich dem Wechsel der ausgewählten Audiospur.

Das obige, mit oggz-merge erstellte Video ist laut oggz-validate leider nicht valide, ein guter Grund für ein Abspielprogramm, den Dienst zu verweigern. Ein valides, mit der Gstreamer-Monsterpipeline erstelltes Video findet ihr hier.

Ich werd nicht mehr: Das valide Video wird zwar immer noch von der passenden Gstreamer-Pipeline abgespielt, VLC hingegen stürzt in den meisten Fällen ab — oder versagt sowas von komplett …

So, das valide Testvideo hat jetzt zwei unterschiedliche Streams, einer zeigt jetzt konzentrische Kreise. Nur, damit niemand verwirrt wird.

Die Welt ist gar nicht so. » mplayer

Fixing dropped frames in digital video

Mehrfachvideo mit Gstreamer