Download komplett (im alten Thread zum leichteren Ausblenden für Nichtbetroffene)
Anhand der Finderdaten hat der vollständige Download der 50 GB Teile nun 1 1/2 Tage gedauert.
Laut der Fritzbox habe ich diesen Monat bereits 500 GB mehr übertragen als den gesamten letzten. Das Archiv ist 250 GB groß und die andere 250 GB sind die ganzen erfolglosen Versuche.
Man erhält eine Reihe an ZIP Files, in meinem Fall 5 x 50 GB
takeout-20200806T141512Z-001.zip
takeout-20200806T141512Z-002.zip
takeout-20200806T141512Z-003.zip
takeout-20200806T141512Z-004.zip
takeout-20200806T141512Z-005.zip
die man dann entpacken muß.
Da mein iMac 2011 auch nur USB 2 Schnittstellen hat, wie der noch ältere Mini und die Hauptleistung beim Entpacken das Kopieren ist, habe ich an den Mini eine weitere Platte ThinkPadHD angeschlossen und entpacke von der Downloadplatte auf die ThinkPadHD
ditto -x -k -V $(ls /Volumes/MusicBackup/GTO/takeout*.zip) /Volumes/ThinkPadHD
Auf der Platte entsteht die Struktur
wobei in Tracks alle Dateien (Audio und Metadaten CSV) einfach flach drinliegen.
USB 2 bedingt erfolgt der Transfer sehr langsam
Um den Fortschritt zu kontrollieren ohne per VNC auf den headless Mini gehen zu müssen, habe ich mein BitBar Skript vom ersten Beitrag minimal angepaßt. Dort wurde der Downloadfortschritt anhand der veränderter Ordnergröße ermittelt. Auf Grund der großen Anzahl an Dateien auf der Festplatte und um dem Kopierprozeß nicht aufzuhalten, wird jetzt der kleinerwerdende freie Platz der Festplatte anhand der Information aus diskutil ermittelt.
diskutil info /Volumes/ThinkPadHD/
(...)
Total Size: 999.9 GB (999860912128 Bytes) (exactly 1952853344 512-Byte-Units)
Volume Free Space: 939.4 GB (939384983552 Bytes) (exactly 1834736296 512-Byte-Units)
(...)
das wird dann von der Gesamtgröße abgezogen und ergibt den belegten Platz.
aus Zeile 15
mb_akt=$(echo "$(ssh -q du -s /Volumes/MusicBackup/GTO | grep -o [^/]*)/2048" | bc)
wird
mb_fre=$(ssh -q diskutil info /Volumes/ThinkPadHD/ | grep Free | sed 's/.*(\([0-9]*\) Bytes.*/\1/')
mb_akt=$(echo "(999860912128-$mb_fre)/1048576"| bc)
Rest bleibt unverändert.
Keine Rakete aber zumindest ist das schneller als der Download
Und wenn es dann irgendwann fertig ausgepackt ist, wird es richtig spannend, wie matche ich das mit den lokalen Dateien.
Die flache Struktur und Googles eigene Benamung machen es nicht einfach die lokale Entsprechnung sicher zu erkennen.
Laut der Fritzbox habe ich diesen Monat bereits 500 GB mehr übertragen als den gesamten letzten. Das Archiv ist 250 GB groß und die andere 250 GB sind die ganzen erfolglosen Versuche.
Man erhält eine Reihe an ZIP Files, in meinem Fall 5 x 50 GB
takeout-20200806T141512Z-001.zip
takeout-20200806T141512Z-002.zip
takeout-20200806T141512Z-003.zip
takeout-20200806T141512Z-004.zip
takeout-20200806T141512Z-005.zip
die man dann entpacken muß.
Da mein iMac 2011 auch nur USB 2 Schnittstellen hat, wie der noch ältere Mini und die Hauptleistung beim Entpacken das Kopieren ist, habe ich an den Mini eine weitere Platte ThinkPadHD angeschlossen und entpacke von der Downloadplatte auf die ThinkPadHD
ditto -x -k -V $(ls /Volumes/MusicBackup/GTO/takeout*.zip) /Volumes/ThinkPadHD
Auf der Platte entsteht die Struktur
wobei in Tracks alle Dateien (Audio und Metadaten CSV) einfach flach drinliegen.
USB 2 bedingt erfolgt der Transfer sehr langsam
Um den Fortschritt zu kontrollieren ohne per VNC auf den headless Mini gehen zu müssen, habe ich mein BitBar Skript vom ersten Beitrag minimal angepaßt. Dort wurde der Downloadfortschritt anhand der veränderter Ordnergröße ermittelt. Auf Grund der großen Anzahl an Dateien auf der Festplatte und um dem Kopierprozeß nicht aufzuhalten, wird jetzt der kleinerwerdende freie Platz der Festplatte anhand der Information aus diskutil ermittelt.
diskutil info /Volumes/ThinkPadHD/
(...)
Total Size: 999.9 GB (999860912128 Bytes) (exactly 1952853344 512-Byte-Units)
Volume Free Space: 939.4 GB (939384983552 Bytes) (exactly 1834736296 512-Byte-Units)
(...)
das wird dann von der Gesamtgröße abgezogen und ergibt den belegten Platz.
aus Zeile 15
mb_akt=$(echo "$(ssh -q du -s /Volumes/MusicBackup/GTO | grep -o [^/]*)/2048" | bc)
wird
mb_fre=$(ssh -q diskutil info /Volumes/ThinkPadHD/ | grep Free | sed 's/.*(\([0-9]*\) Bytes.*/\1/')
mb_akt=$(echo "(999860912128-$mb_fre)/1048576"| bc)
Rest bleibt unverändert.
Show Plain Text
- #!/bin/bash
- BitBarDarkMode=${BitBarDarkMode}
- if [ "$BitBarDarkMode" ]; then
- COLOR0="#666666"
- COLOR1="#ffffff"
- else
- COLOR0="#333333"
- COLOR1="#000000"
- fi
- dl_alt_loc="/Volumes/RamDiskCache/dl_alt.txt"
- ts_akt=$(date +"%s")
- mb_fre=$(ssh -q mini@192.168.666.666 diskutil info /Volumes/ThinkPadHD/ | grep Free | sed 's/.*(\([0-9]*\) Bytes.*/\1/')
- mb_akt=$(echo "(999860912128-$mb_fre)/1048576"| bc)
- if [ -f "$dl_alt_loc" ]; then
- mb_loc=$(cat $dl_alt_loc) # utime mb
- ts_alt="${mb_loc% *}" # utime
- mb_alt="${mb_loc##* }" # mb
- dif_sec=$((ts_akt-ts_alt))
- dif_mb=$((mb_akt-mb_alt))
- echo "$mb_akt $(echo "scale=1; $dif_mb/$dif_sec" |bc) MB/s"
- echo "---"
- echo "Dif $dif_sec s $dif_mb MB"
- else
- echo "n/a"
- echo "---"
- echo "Ermittele Daten, bitte warten"
- fi
- echo "$ts_akt $mb_akt" > "$dl_alt_loc"
- exit 0
Keine Rakete aber zumindest ist das schneller als der Download
Und wenn es dann irgendwann fertig ausgepackt ist, wird es richtig spannend, wie matche ich das mit den lokalen Dateien.
Die flache Struktur und Googles eigene Benamung machen es nicht einfach die lokale Entsprechnung sicher zu erkennen.