Ich habe die Radeon RX 580 in einem MacPro 5,1, die läuft zuverlässig und "stumm"…

du musst nur beachten, dass Karten, die eine Mac-Firmware haben, so gut wir gar nicht oder nur sehr teuer zu bekommen sind.

Die handelsüblichen Karten sind für PCs, die laufen zwar im Mac, aber du musst dich damit abfinden, dass du z.B. nicht mit gedrückter ⌥-Taste starten kannst um ein anderes Startlaufwerk auszuwählen. Das heisst, du kannst schon so starten, aber du siehst nichts, weil die Grafiktreiber der Karte erst später geladen werden.
----------
Gruss

Stefan