Po roku 2005, keď Kiska nebankovku a splátkové firmy predal, ale naďalej pôsobil v Dozornej rade Consumer Finance Holdingu, čelil holding pokutám od Slovenskej obchodnej inšpekcie. Tá mala viacero výhrad k rôznym produktom. „O skutočnej cene a podmienkach spotrebiteľského úveru sa spotrebiteľ dozvedá až zo splátkového kalendára, ktorý je mu však doručovaný až po podpise zmluvy, kedy už nemôže zrušiť účinky svojho konania,“ napísala Slovenská obchodná inšpekcia v rozhodnutí o udelení pokuty pre Consumer Finance Holding.
Voči Consumer Finance Holdingu bolo vedených viacero konaní, najmä Slovenskej obchodnej inšpekcie. Mimo iného boli holdingu vytknuté aj spomenuté nekalé obchodné praktiky, viď napr. rozhodnutie Krajského súdu v Prešove: