Betriebsmodus ohne lokale Datenbank

[tuxpoldo]

Auf sehr langsamen Geräten ist der Betrieb mit lokaler Datenbank nicht zumutbar. Es soll geprüft werden, inwieweit ein DB-Backend welches auf einen Dienst wie MediathekVIewWeb zugreift, ein brauchbares Subset an Funktionalität erlaubt.

[Siggi0904]

Ich würde hierzu sagen, dass es nicht unbedingt an der Datenbank liegt.
Das entpacken des Download files dauert halt sehr lange.

Vielleicht könnte vorab mal das Addon um genaueres reporting erweitert werden.
Dann kann man mal sehen, was da im Detail so lange dauert.

[tuxpoldo]

Das Reporting gibt es. Den genauen Vorgang kann man im Kodi-Logfile beobachten. Das Entpacken geht vergleichsweise schnell vonstatten. Es ist wirklich das Einpflegen in die SQL Datenbank, was eine Ewigkeit dauert.

Am Beispiel meines Macs (das ist natürlich alles sehr schnell, aber die Verhältnisse kann man sehen) hier erst mal herunterladen und entpacken:

2018-08-06 16:14:50.996250 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Opening https://res.mediathekview.de/akt.xml
2018-08-06 16:14:51.063886 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror http://verteiler1.mediathekview.de/Filmliste-akt.xz (Priority 1)
2018-08-06 16:14:51.063946 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror http://verteiler2.mediathekview.de/Filmliste-akt.xz (Priority 2)
2018-08-06 16:14:51.063976 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror http://verteiler3.mediathekview.de/Filmliste-akt.xz (Priority 1)
2018-08-06 16:14:51.064002 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror http://verteiler4.mediathekview.de/Filmliste-akt.xz (Priority 2)
2018-08-06 16:14:51.064028 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror http://verteiler5.mediathekview.de/Filmliste-akt.xz (Priority 1)
2018-08-06 16:14:51.064053 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror http://verteiler6.mediathekview.de/Filmliste-akt.xz (Priority 1)
2018-08-06 16:14:51.064077 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror https://verteiler.mediathekviewweb.de/Filmliste-akt.xz (Priority 2)
2018-08-06 16:14:51.064101 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Found mirror https://verteiler2.mediathekviewweb.de/Filmliste-akt.xz (Priority 2)
2018-08-06 16:14:51.064127 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Cleaning up old downloads...
2018-08-06 16:14:51.064206 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Trying to download Filmliste-akt.xz from http://verteiler1.mediathekview.de/Filmliste-akt.xz...
2018-08-06 16:14:53.221195 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Trying to decompress xz file...
2018-08-06 16:14:55.485138 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Return 0

Herunterladen: von 16:14:50 bis 16:14:53 = 3 Sekunden
Entpacken: von 16:14:53 bis 16:14:55 = 2 Sekunden

Und nun das importieren in die SQL Datenbank:

2018-08-06 16:14:55.485740 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Starting import of approx. 247057 records from ./Filmliste-akt
2018-08-06 16:14:55.485828 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Initializing update...
2018-08-06 16:14:55.490363 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Filmliste dated 06.08.2018, 15:25
2018-08-06 16:14:55.490820 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: In progress (0%): channels:0, shows:0, movies:0 ...
2018-08-06 16:14:55.711739 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: In progress (0%): channels:1, shows:15, movies:1000 ...
...
2018-08-06 16:15:56.854842 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: In progress (98%): channels:20, shows:3931, movies:242998 ...
2018-08-06 16:15:56.929731 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Added: channels:20, shows:3949, movies:243326 ...
2018-08-06 16:15:57.192073 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Deleted: channels:0, shows:0, movies:0
2018-08-06 16:15:57.192111 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Total: channels:20, shows:3949, movies:243326
2018-08-06 16:15:57.192264 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Import of ./Filmliste-akt in update cycle 0 finished
2018-08-06 16:15:57.192297 NOTICE [mvupdate-0.4.4.9:MediathekViewUpdater]: Cleaning up downloads...

Importieren: von 16:14:55 bis 16:15:57 = 1 Minute und 2 Sekunden

Bereits auf meinem MacBook Pro welches eine der schnellsten SSDs hat, die es überhaupt gibt, braucht der Import über 1 Minute.

Diese kleinen ARM-Android-Devices, die in der Regel sehr stromsparend sind, und nur einen sehr langsamen Massenspeicher haben, kollabieren bei einer solchen Operation.

[Siggi0904]

Oh ok, das erklärt das super.

Danke für die Infos. Dann bin ich mal auf die Optimierungen im anderen Issue gespannt.

[Wikinaut]

Siehe hier #50 Database updates need hours on OSMC / Raspberry Pi. Solution: directly use MediathekViewWeb API

[tuxpoldo]

Ups! Hatte wohl übersehen, dass es den Feature-Request schon gab.....

[tuxpoldo]

Das Problem wurde in Version 0.6.0 entschieden entschärft durch Issue #85, Pull Request #110 und ist im wesentlichen das Gleiche wie im Issue #50 beschrieben. Aus diesem Grunde werden wir das so nicht mehr implementieren.
Andere Features, wie z.B. eine Kategorisierung (Issue #76, Issue #21) oder eine Liste kürzlich gesehener Filme (Issue #99) lassen sich wesentlich besser oder überhaupt nur mit einer lokalen Datenbank realisieren.