Se você quer acessar o framebuffer do Linux via user-space, mas quer algo mais leve que o DirectFB, então o EZFB pode ser o que você está procurando:
http://www.akrobiz.com/ezfb/index.html
Ele possui uma API que implementa desenho de linhas, poligonos e circulos, além de suporte a imagem e conversão de paleta de cores.
Alan C. Assis 