Wie bekomme haustürdrücker vierkant raus

Ich habe eine Haustür, an welcher der "Schnapper" klemmt. Nun möchte ich das gesamte Schloss ausbauen. Von innen habe ich den Türdrücker soweit runter bekommen, die Verblendung auch und der Schließzylinder ist ebenfalls raus. Die Metallschiene, durch welcher der "Schnapper" und auch der Schließbolzen gehen ist ebenfalls demontiert. Nun schaue ich also auf einen Vierkant. Um das Schloß seitlich herauszuziehen, muß der aber weg. Nach außen kann ich ihn nicht schieben, da dort kein Knauf ist, sondern die normale Außenseite der Tür. Er muß also irgendwie nach innen raus gehen. Die Schraube die in den Vierkant geht habe ich ebenfalls gelöst und die "Überwurfschraube" die um den Viekant von außen ist, habe ich auch entfernt. Wie bekomme ich nun den Vierkant aber raus?