Очень понравилась статья "Алгоритмы тесселляции треугольников" Алексея Борескова (автора множества классных книг по компьютерной 3D графике и CUDA).
В статье рассмотрены наиболее распространенные алгоритмы тесселяции на GPU с реализацией на GLSL. Очень рекомендую.