Ok, hätte ich mir denken können, dass die -vvv Option nichts bringt...
Dr.Tux schrieb: Nach der Passwortabfrage komme ich wie gewohnt auf den Server drauf. Das Problem taucht ja nicht direkt, sondern "nur" ca. 1x/Tag auf. Sogar unabhängig davon, ob Datenverkehr oder idle. So bin ich sogar schon mal beim Ansehen eines Videos rausgeschmissen worden. 
Hmm, wenn das
inmitten einer laufenden Verbindung passiert hat das Problem nichts mit Keepalive zu tun.
Das ist dann ein Verbindungsproblem.
Vorstellbar wäre z.B. das der DSL Router an dem der Client hängt die DSL Verbindung neu aufbaut. Damit ändert sich die SSH Client Public IP Adresse (durch NAPT am DSL Router) und die TCP Session zum SSH Server ist dann natürlich weg und muss neu aufgebaut werden. Je nach dem wie der Server angebunden ist (DSL mit DynDNS z.B.) könnte das auch Serverseitig passieren.
Wenn es über LTE oder HSDPA passiert hat vielleicht ein Location- oder Serviceareawechsel stattgefunden und dabei ist ebenfalls die TCP Session verloren gegangen. Oder das Endgerät hat den PDP Context verloren (IP Verbindung zum Netz).
Gegen solche Verbindungsprobleme kann man leider nicht viel machen, ausser die Session versuchen automatisch neu aufzubauen.
Hast du schonmal die Option "-o reconnect" bei sshfs ausprobiert? Ich denke das könnte sein, wonach Du suchst.
/KlaRen