Er is een klein betekenisverschil.

 

geregeld

tamelijk frequent
Met dat soort ongein hebben we hier geregeld te maken.

 

regelmatig

tamelijk frequent, met gelijke tussenpozen
In die kroeg kom ik regelmatig, elke eerste vrijdag van de maand.

 

Beide woorden in één zin: ik bezoek mijn ouders geregeld, maar niet regelmatig, gewoon als ik toevallig in de buurt ben. En de woorden hebben ook nog andere betekenissen: een zootje ongeregeld, een regelmatig patroon.