"Alle meine Dateien"
ist nichts anderes als eine Suchabfrage, die Deinen Benutzerordner nach Dateien durchsucht, Bildern, Dokumenten, etc..
Wenn Du Daten dort löschst, sind sie weg (bzw. erst einmal im Papierkorb und wenn Du den leerst, weg).
Um rauszufinden, was Deinen Rechner langsamer macht, ist ein Blick in Programme/Dienstprogramme/Aktivitätsanzeige hilfreich.
Welche Prozesse verschlingen dort viel CPU-Zeit.
Hast Du irgendwelche Anti-Viren-Programme installiert? Oder MacKeeper oder ähnlichen Schrott?
4GB RAM sind arg wenig, das solltest Du aufrüsten lassen, mindestens 8GB oder mehr.
Wahrscheinlich arbeitet Dein Rechner permanent mit virtuellem Speicher und muss somit dauernd Daten von der Festplatte lesen, die eigentlich im Arbeitsspeicher sein sollten, das macht den Rechner (gerade wenn er nach keine SSD hat) sehr langsam.
So etwas ist in einem Forum schwer zu lösen, Du solltest Dir mal einen fachkundigen Mac-Supporter in Deiner Nähe suchen und den mal über denk Rechner drüber schauen lassen, wenn er wirklich sehr langsam ist.
Es gibt da so viele Faktoren, die das auslösen können, das würde hier im Forum Tage brauchen.