Vielleicht trägt das zu deiner Überzeugung bei:

» Die Oberfläche sieht ganz gut aus, aber das Programm ist noch
» unausgereift.

Nach dieser Entwicklungszeit ist das auch nicht anders zu erwarten...

"Unausgereift" halte ich gerade bei DEVONthink für eine gewagte Behauptung. Schon die nicht öffentliche Beta-Version von DEVONthink 3 war in einer Weise brauchbar, dass ich damit recht bald bereits DEVONthink 2 ersetzt habe
»
» Die rechte Textspalte möchte ich sehr schmal haben, so dass DT nur einen
» kleinen Hochkantbereich vom Bildschirm füllt. Scheint in der 3er-Version
» nicht so gut zu gehen wie in der 2er.

Ja, dann mach das doch. Einfach schmaler ziehen - das geht nicht anders als im Finder auch

» Das Programmfenster wird bei mir vom Dock überlagert und ich kriege den
» unteren Rand nicht weiter nach oben.

Das dürfte ein nutzerspezifisches problem sein. Kann ich hier nicht nachstellen

» Am meisten stört mich, das Verhalten beim Auf- und Zuklappen von Gruppen.
» In der alten Version öffnet sich die Gruppe und zeigt die Dateien
» eingerückt ("nested"), aber die hierarchische Struktur in der Leiste
» bleibt voll sichtbar. In der Beta verschwindet die und nur die Dateien
» werden angezeigt. Das ist nicht so intuitiv wie bisher und hat sich
» verschlechtert.

Die Gruppen verhalten sich diesbezüglich in V 3 genauso wie in V 2, nur dass noch ein paar weitere Möglichkeiten der Individualisierung hinzugekommen sind (was das anfangs zugegebenermaßen nicht einfacher und intuitiver macht, aber das ist der Preis des Fortschritts)