Due problemi simili sorti nel corso del secolo furono quello della trisezione di un angolo e quello del raddoppiamento di un cubo, cioè della costruzione di un cubo di volume doppio di quello di un cubo dato. Essi furono risolti in diversi modi, ricorrendo a metodi notevolmente complessi, ma per molto tempo la questione se fosse o meno possibile realizzare tali costruzioni esclusivamente con l'ausilio di righello e compasso impegnò i più grandi matematici senza trovare risposta.

Verso la fine del V secolo a.C., un matematico di identità sconosciuta scoprì l'impossibilità di misurare con la stessa unità di misura il lato e la diagonale di un quadrato; in altri termini vennero scoperti i numeri irrazionali e, come conseguenza, furono riformulati i concetti fondamentali della geometria, in particolare le nozioni di punto, retta, piano e spazio, e si pervenne a una nuova concezione, più astratta e razionale, della matematica; si comprese l'importanza dei postulati, a partire dai quali potevano essere dedotti i teoremi necessari per ogni applicazione pratica. Le nuove scoperte di buona parte della geometria, introdotte intorno al IV secolo a.C., furono attribuite a Eudosso di Cnido e incluse negli Elementi di Euclide.

L'odierna distinzione dei numeri può essere così schematizzata:

Il secolo seguente fu particolarmente fecondo per lo sviluppo della matematica, grazie agli studi di Archimede di Siracusa. Gli scritti di Archimede, che peraltro contengono discussioni su importanti problemi di fisica, quali la determinazione del centro di massa dei corpi e delle loro condizioni di galleggiamento in acqua, sono i più antichi che ci siano pervenuti; si conosce inoltre un trattato sulle coniche del suo contemporaneo Apollonio di Perge.
Dopo Euclide, Archimede e Apollonio, la Grecia non conobbe altri studiosi di geometria di simile valore. Nel III sec. d.C., Diofanto di Alessandria fondò il calcolo algebrico, che egli sviluppò fino alla soluzione numerica delle equazioni di secondo grado.