  SDL+Direct Rendering - отрисовка в видеопамять.

Причина(ы): для максимальной производительности распакованные кадры нужно отрисовывать
 в обход X Window, используя специальное API для этого (direct rendering); SDL - это
 кроссплатформенная медиа-библиотека, в частности, для отрисовки видео и воспроизведения
 звука.

Тех. детали: 
 - сначала надо научиться отрисовывать видео в любое X-окно.
 - пример есть в mpeg2dec,- libs/mpeg2dec/libvo/video_out_sdl.c . 