UPDATE2: Problem gelöst, Ursache unbekannt (aber ich habe eine Vermutung)

Also was was genutzt hat war der Terminal-Tipp von hier:
https://www.sir-apfelot.de/anleitung-quicklook-fehler-unter-macos-beheben-25448/
Die Ordner gibts zwar so wohl nicht mehr (jedenfals bei mir unter Big Sur), aber was wohl was gebracht hat ist hinternander:
qlmanage -r
qlmanage -r cache

(dann Neustart)

Ich habe auch eine Ahnung wie das passiert sein könnte, dass der QL-Cache korrupt wurde, und zwar sind die Dateien über Dropbox (Business) zu mir gekommen. Und zunächst war die Einstellung von DB wohl so, dass dateien erstmal nur runtergeladen werden, wenn sie wirklich geöffnet wwerden sollen. Was möglicherweise QL in Schwierigkeiten bringt, denn es sieht so aus, als ob die Dateien da wären, wirklich runtergeladen werden sie aber nur wenn sie geöffnet / kopiert oder so werden sollen und Dropbox läuft, sonst gibt es Fehler -36 (siehe unten).

Jedenfalls ist das meine Vermutung, denn das Problem war reproduzierbar, auch über mehrere Neustarts. Seit dem Dropbox grundsätzlich alles wirklich auch lokal speichert und der QL-Cache gezappt wurde taucht das Problem nicht mehr auf.