O odvolanie vtedajšej vlády sa v roku 2003 Robert Fico, ako opozičný poslanec, pokúšal prostredníctvom predčasných parlamentných volieb. Už v marci 2003 zvolal Fico mimoriadnu schôdzu parlamentu, na ktorej tvrdo kritizoval vtedajšie vládnuce strany. V júni 2003 začal hovoriť o predčasných voľbách do Národnej rady. Bol si vedomý neúspechu cestou vyslovenia nedôvery v parlamente, preto vyjadril podporu petícií za vypísanie referenda o predčasných voľbách organizovanou Konfederáciou odborových zväzov Slovenska, ktorá sa tiež usilovala o vyhlásenie predčasných volieb. K podpore o vypísanie referenda sa pripojila aj Komunistická strana Slovenska, ktorá sa v tom čase nachádzala aj v parlamente.

Svoje vtedajšie kroky Fico taktiež obhajoval slovami: „Je to legitímny nástroj každej opozície, ktorá s vládou nie je spokojná.“

V apríli 2004 sa súčasne s prvým kolom prezidentských volieb konalo i referendum, v ktorom sa občania mali vyjadriť k predčasným voľbám. Účasť na referende bola 35,8 %, platné nebolo. Následne po neúspechu Fico vyhlásil: "Domnievam sa, že aj tak dôjde k obrovskému útoku na pána Dzurindu zvnútra vládnej koalície. Pretože pán Dzurinda je zapojený do rôznych škandálov a je už neakceptovateľný."