Я так же хотел написать свой 3D-растерайзер. Писать я его буду на лайси, а он-то позволяет очень хорошо распараллелить вычисление, в т. ч. и на ГПУ. И у лайси будет библиотека math, которая будет включать в себя очень много математики. И тригонометрия, и комбинации, наверное, и геометрия всякая, в том числе пересечение фигур и всё такое. Я ещё хотел добавить уравнения, то есть y = sin(x), y = x^2 и подобное и по табличным данным находить от них производные и первичные, где получится, а это даст возможность производить расчёты с фигурами, созданными данными уравнениями. Но я не уверен насколько это нужно.