Muss ich mal wieder testen. Lief ganz ok - aber halt nicht so smooth wie online.

Für gezielte Aufgaben aber machbar, wenn man Zeit und Toleranz mitbringt.

https://locallyai.app/

Für die Wahl des richtigen Modells ist mir die Tage dieser Dienst untergekommen:

https://canirun.ai/

Praktisch.