MyMDb-CE 2.3.0

[tbengel]

Hallo zusammen,

der Osterhase ist hier gerade vorbei gelaufen und hat dabei etwas fallen lassen, was für
den einen oder anderen eine nette Überraschung sein könnte, weshalb ich diese Euch nicht
vorenthalten möchte ...

es ist ... die neue Version von MyMDb-CE 

Der IMDb-Import hat seit Jahresbeginn immer wieder Schwierigkeiten gemacht. Mal lief er
nicht, dann lief er für ein paar Tage wieder, um danach wieder nicht zu laufen. Letztlich
hat er nun die letzten drei Wochen gar nicht mehr geklappt, so dass ich leider annehmen
muss, dass deren Umstellung nun vollendet ist.

Die IMDb hat sich nun dazu entschieden, dass Zugriffe auf deren Daten nicht mehr außerhalb
eines Browsern erfolgen dürfen.

Ist es deren gutes Recht? --> ja
Finde ich es toll? ... nein
Ist es für uns ein großes Problem? --> nun nicht mehr

Da wir ahnten, was auf uns zukommen könnte, haben wir deshalb schon Anfang des Jahres nach
einer tragfähigen Lösung für MyMDb-CE gesucht und diese in der OMDb-Schnittstelle gefunden.

Diese benutzt die Daten der IMDb und stellt diese kostenlos über eine Schnittstelle zur
Verfügung. Es gibt jedoch Einschränkungen:

Vorteile:

- Wir sind nun komplett unabhängig von Änderung seitens der IMDb
- Wir erhalten nun sogar mehr Infos als früher
- Die Zugriffe erfolgen schnell und sind wenig fehlerbehaftet

Nachteile:

- Die OMDb enthält nicht die aktuellsten Daten der IMDb, sondern einen Datenbestand,
  den Sie in regelmäßigen Abständen aktualisieren.
- Die Abrufe sind auf 1.000 Abrufe pro Tag und API-Key begrenzt. Dies bedeutet, dass
  unser Programm nur maximal 1.000 Abrufe pro Tag für alle User ausführen kann, es sei
  denn, man verwendet einen eigenen API-Key (doch dazu später mehr).
- Alle Infos sind auf drei Elemente begrenzt, also drei Schauspieler, Regisseure, ....
  Also werden bei Filmen mit vielen Schauspielern, nur die ersten drei Schauspieler
  angeboten. Dieses Limit wurde wohl eingeführt, damit es noch genug Leute gibt, die
  die kostenpflichtige Variante der IMDb-API benutzen wollen ... aber nicht wir .

Da wir nicht mit diesem Limit leben wollten, haben wir zusätzlich zur OMDb auch noch die
TMDb-Schnittstelle mit angebunden, welche zum Teil auch noch bessere Daten als die IMDb /
OMDb liefert. Dadurch benutzen wir je nach Anwendungsfall nun entweder die Daten der
OFDb, OMDb, TMDb oder auch IMDb (falls diese doch noch wieder funktioniert). Dies
geschieht, nach klaren Regeln, die Ihr hier:

https://my-movie-database.de/download/MyMDb-CE_Prioritaeten_Daten_Import.pdf

oder im Handbuch nachlesen könnt. Kurz gesagt, es wird das Beste aller vier
Anbieter genommen, je nanchdem ob die OFDb / IMDb / OMDB oder TMDb bessere
Daten liefern. Also liefert die OMDb nur drei Schauspieler, die TMDb hingegen
zehn, werden die zehn Schaupieler der TMDb importiert.

Dies erklärt die lange Entwicklungszeit, denn die Schnittellen waren (Dank KI)
verhältnismäßig schnell implementiert, aber bei den Prioritäten der einzelnen
Systeme untereinander konnte uns keine KI helfen, da diese nicht alle Daten hinter
den Schnittstellen kennt. Wir mussten dafür mehrere tausend Filme, Serien,
Cartoons und Dokus testen ... die Daten vergleichen und dann erst einmal auf
ein einheitliches Datenformat bringen, da z.B. die TMDb-FSK's, -Länder und -Genres
zum Teil völlig anders aussehen, als die der IMDb oder OFDb. Hier ist es zum
großen Teil der Arbeit im Team zu verdanken, dass dies überhaupt bewerkstelligt
werden konnte, da eine Person viel zu viel übersehen würde. Daher war es uns ganz
recht, dass die IMDb an manchen Tagen wieder funktioniert hat ... so hatten wir Zeit
Euch ein richtig gut durchgetestetes Programm zur Verfügung stellen zu können.

Kommen wir nochmal zur OMDb-Schnittstelle und deren Begrenzung auf 1.000 Zugriffe pro
Tag. Natürlich haben wir die OMDb angeschrieben und darum gebeten für MyMDb-CE
einen speziellen Zugang einzurichten, welcher kein Limit mehr hat, aber leider
hat keiner der OMDb-Verantwortlichen auf unser Anliegen geantwortet. Daher haben wir
im Programm eine kleine Sperre auf 10 Aufrufe pro User und Programmstart eingeführt,
damit man bei mehr Abfragen animiert wird, sich selber einen OMDb-API-Key zuzulegen.
Dies ist nicht sonderlich schwer und kann eigentlich jeder machen. Hier oder im Handbuch
findet Ihr auch eine kleine Anleitung:

https://my-movie-database.de/download/MyMDb-CE_Erstellung_OMDb-API-Key.pdf

Bei der TMDb-Schnittstelle gibt es kein Limit. Wir hoffen sehr, dass dies so bleibt und
diese uns nicht, aufgrund der nun großen Menge an Abfragen, sperren wird. Auch hier haben
wir versucht Kontakt aufzunehmen, aber leider erfolglos. Falls die Schnittstelle
irgendwann dennoch gesperrt werden sollte, hat man jedoch bereits auch jetzt schon die
Möglichkeit, sich einen eigenen TMDb-API-Key zu besorgen und diesen ins Programm
einzutragen. Hierzu ist im Programm alles bereits vorbereitet. Sollte es soweit kommen,
geben wir auch dazu eine Anleitung, wie man dies macht, da dies ein wenig komplizierter
ist, als bei der OMDb.

Durch die Anbindung der OMDb, haben wir nun erstmalig auch die Möglichkeit, dass wir die
Filmpreise der Filme direkt mit importieren können:

Die OMDb liefert zur Zeit folgende Filmpreise:

- Filmpreise (gesamt)
- Nominierungen (gesamt)
- Oscars
- Oscar Nominierungen
- Emmys
- Emmy Nomierungen
- British Academy Film Award (BAFTA)
- British Academy Film Award (BAFTA) Nominierungen

Auch wird nun, wenn vorhanden, der Werbeslogan des Films in die Alternativtitel-Auflistung
mit importiert.

Weiterhin habt Ihr nun auch eine vielfältigere Coverauswahl, da nun zusätzlich
(neben dem OFDb- und wenn es wieder funktionieren sollte dem IMDb-Cover) auch die
Cover der TMDb und OMDb zur Auswahl mit angezeigt werden.

So dies sind erst einmal die Highlights dieser Version. Damit leidet die Datenqualität
wegen des Wegfall der IMDb in keinster Weise und ist im Gegenteil nun noch erweitert und
verbessert worden.

Im nächsten Post schreibe ich noch kurz über weitere Erweiterungen, die im Rahmen der
Anpassungen noch umgesetzt werden konnten.

Frohe Ostern

MyMDb-CE Team

[tbengel]

Hallo,

das Handbuch wurde mit viel Arbeit und Liebe zum Detail von Old.Obelix und MeJake auf dem neusten Stand gebracht.
Ehrlich gesagt, kenne ich kein Soiftwareprodukt, wo das Handuch so Up-To-Date ist, wie das Unsrige. Daher findet Ihr zu allen Neuerungen und Änderungen im Handbuch noch viel mehr spezifische Informationen.

Kommen wir nun noch zu den größten Neuerungen:

1. Man kann nun bei der Front- / Back- / und Cover-Auswahl direkt eine Bild-Adresse aus
  dem Internet eintragen, dann wird die Bilddatei automatisch für das Programm heruntergeladen.
  Manche Bilder-Server blockieren diese Möglichkeit, dann muss man das Bild vorher manuell
  downloaden, aber bei vielen klappt es ohne Probleme (z.B https://www.videobuster.de).
2. Uwe59 hier aus dem Forum hat sich eine unglaubliche Arbeit gemacht und alle 153 Mediumtypen
  neu designed. Ihr findet diese nun zur Direktauswahl in den Einstellungen. Ein Wahnsinn, wie viele Stunden
  oder eher Tage Arbeit dies gekostet hat.
3. Bei der Film-Suche kann nun auch statt des Titels ein OFDB- oder IMDb-Link des Filmes direkt
  eingetragen werden.
4. Es können mehrere "Eigene Cover" in der Cover-Auswahl hinzugefügt werden, um sich dann aus mehr
  Auswahl entscheiden zu können.
5. Es gibt in den Einstellungen erweiterte Möglichkeiten in den: "Text statt Grafiken"-Settings. Auch ist
  es nun möglich bei Inhaltsangaben mit Genderstrenchen oder nicht in deutsch gewarnt zu werden.
6. Die Stapel-IMDb-Aktualisierung kann nun zusätzlich mit Filmpreisen durchgeführt werden.
7. Es gibt neue Nominierungs-Filmpreise und auch neue Icons für Filmpreise bzw. Nominierungen gesamt
8. Im Bearbeiten-Fenster wird unter dem Cover die Herkunft des Covers (OFDB- / IMDb / ODMv- / TMDb- /
    Eigenes- /  Front- oder Back-Cover) angezeigt

... dann gibt es noch vieles Weitere mehr ... Genaueres findet Ihr wie immer im Changelog.

Euch einen fleißigen Osterhasen ...

MyMDb-CE Team

[Glubschke]

Hallo tbengel,

schon als Kind habe ich die großen bunten Präsent-Eier geliebt, die mit allerlei leckeren Überraschungen gefüllt waren.
Und nun dieses "Dicke Präsent-Ei"!

Dir, dem ganzen Team (und natürlich dem Osterhasen!) ein ganz dickes Dankeschön dafür!

Ich habe die neue Version zwar noch nicht heruntergeladen, werde dies aber zeitnah nachholen und dann ausprobieren.

Allen ein frohes Osterfest!
Glubschke

[DerSteppenwolf1977]

Danke an ALLE, die soviel Mühen in das Projekt für uns stecken!!! Toll.

Frohe Ostern!

[Barnabas]

Das Team hat offenbar recht frivol mit der üblichen Weihnachtstradition gebrochen oder zumindest dieses Jahr einen Osterevent eingeschoben.

Egal, Ergebnis gefällt sehr 

[tbengel]

Das Team hat offenbar recht frivol mit der üblichen Weihnachtstradition gebrochen oder zumindest dieses Jahr einen Osterevent eingeschoben.

Egal, Ergebnis gefällt sehr 

Ist "nur" ein Oster-Event , da die (schnelle) Lösung der IMDb-Problematik
einigen User sehr am Herzen lag ... aber Ostern hin und Weihnachten her ...
sind beides christliche Feiertage    ... und es gibt Geschenke ...

Grüße

tbengel

[Uwe59]

2. Uwe59 hier aus dem Forum hat sich eine unglaubliche Arbeit gemacht und alle 153 Mediumtypen
  neu designed. Ihr findet diese nun zur Direktauswahl in den Einstellungen. Ein Wahnsinn, wie viele Stunden
  oder eher Tage Arbeit dies gekostet hat.

Es waren ca. 3 Wochen. 
Es hat mir sehr viel Spaß gemacht und ist ein Geschenk an euch, für die großartige Arbeit, die ihr immer wieder geleistet habt. Dass die anderen User davon auch profitieren können, ist natürlich noch die Sahne obendrauf.

Über --- Einstellungen --- Programm-Skins --- könnt ihr die Medientypen auswählen. Sie sind es auf jeden Fall Wert, dass ihr mal einen Blick darauf werft.

Gruß
Uwe

[tbengel]

Hallo zusammen,

@ingi hat sich nun die Mühe gemacht und eine Anleitung geschrieben, wie man
neben dem OMDb-API-Key, auch einen persönlichen TMDb-API-Key erstellen kann:

https://my-movie-database.de/download/MyMDb-CE_Erstellung_TMDb-API-Key.pdf

Ist ein wenig komplizierter aber auch durchaus machbar, gerade mit dieser
Anleitung.

Wie bereits gesagt, ist dies nicht notwendig, aber für Power-User ist es
immer angenehm zu wissen, die volle Kontrolle über sein Programm zu haben.
Es werden damit die Abfrage-Lasten auf mehrere API-Accounts verteilt, wodurch
das Risiko einer vollständigen Sperrung des MyMDb-CE-TMDb-API-Keys reduziert
wird.

Danke @ingi für die Bereitstellung Deiner Anleitung für alle 

tbengel

[ingi]

...null problemo...

Ich hake das als "Win-Win Aktion" ab.

OT: Kurz vor diesem kleinen "Projekt" hatte ich mich von Photoshop getrennt und zum "Reinwuseln" in das aktuelle Folgeprogramm eh' was gebraucht (zumindest hier mal im Grafikbereich...).

Gruß,  ingi

[brt]

Hallo,

ich habe festgestellt, daß in der neuen Version keine Originaltitel mehr übernommen werden.
Andere Felder wie Schauspieler, Regie und Jahr funktionieren.

Zudem werden mir bei vielen Einträgen die Vorschaubilder zwar noch in der Liste angezeigt, wenn ich aber auf "bearbeiten" gehe ist kein Bild mehr vorhanden. Könnte das damit zusammenhängen, dass die Bilder jetzt anders gespeichert werden?
Bisher wurden die Bilder ja immer mit Original-Dateinamen+Ziffernfolge gespeichert. Jetzt erhalten die Bilder den Namen der (importierten) Filmdatei+Ziffernfolge.

[Rhanie]

Ganz grosses Schulterklopf!!   

Paar Fragen bleiben bei mir noch hängen:
a) Beim Eintragen des API Keys funktioniert Rechtsklick nicht (Ok, die 8 Zeichen habe ich ah noch so hingekriegt.)

b) Extras IMDB Einträge aktualisieren kommt bei mir kein Auswahlfenster, (siehe Bilder)
Das PGM beginnt sofort zu rödeln, schnappt sich eine Weile nahezu 100% des Prozessors, danach kommt dann das Fenster Datenaktualisierung 0% und dabei bleibt es dann auch, Prozessorlast geht auf 0% und Größe >1GB,
Programm bleibt bedienbar.
Siehe Bilder.

#1 https://www.directupload.eu/file/d/9250/vzis6ujt_jpg.htm
#2 https://www.directupload.eu/file/d/9250/bj5wz9qv_jpg.htm
#3 https://www.directupload.eu/file/d/9250/qwyu6ntx_jpg.htm
#4 https://www.directupload.eu/file/d/9250/b9zlv5x5_jpg.htm
#5 https://www.directupload.eu/file/d/9250/j7wht4zc_jpg.htm

c) Android Version: ist zwingend der Serverkontakt nötig oder kann ich die gesamte Datei offline auf dem Handy lassen? Wenn ja wie?

[tbengel]

Hallo brt,

ich habe festgestellt, daß in der neuen Version keine Originaltitel mehr übernommen werden.
Andere Felder wie Schauspieler, Regie und Jahr funktionieren.

Das wäre ja gruselig, wenn dies nicht mehr funktionieren würde ... also was machst Du
und bei welchen Filmen klappt es nicht.

Zudem werden mir bei vielen Einträgen die Vorschaubilder zwar noch in der Liste angezeigt, wenn ich aber auf "bearbeiten" gehe ist kein Bild mehr vorhanden. Könnte das damit zusammenhängen, dass die Bilder jetzt anders gespeichert werden?
Bisher wurden die Bilder ja immer mit Original-Dateinamen+Ziffernfolge gespeichert. Jetzt erhalten die Bilder den Namen der (importierten) Filmdatei+Ziffernfolge.

Beim Dateinamen der Cover wurde nichts verändert. Zu jedem Cover im Ordner "movies" gibt es auch
eine Datei im Ordner "thumbs" mit dem dem präfix "thumb_*". Überprüfe mal, ob Du diese Dateien
auf bei Dir findest.

Grüße

tbengel

[tbengel]

Hi Rhanie,

a) Beim Eintragen des API Keys funktioniert Rechtsklick nicht (Ok, die 8 Zeichen habe ich ah noch so hingekriegt.)

Strg-V funktioniert aber ... ja ich weiß, der Mensch ist ein Gewohnheitstier ...
ich glaube aber in den gesamten Einstellungen funktioniert das Mauskontextmenü nicht, nur im
Bearbeiten-Fenster ... ist also ein Feature   ...

b) Extras IMDB Einträge aktualisieren kommt bei mir kein Auswahlfenster, (siehe Bilder)

Komisch ... kann ich leider nicht reproduzieren ... ist nicht verschwunden und wird
bei mir ganz normal angezeigt. Welches Betriebssystem benutzt Du?

c) Android Version: ist zwingend der Serverkontakt nötig oder kann ich die gesamte Datei offline auf dem Handy lassen? Wenn ja wie?

Was meinst Du ... zum Upload der Daten an das Handy brauchst Du eine Serververbindung. Wenn
die Daten synchronisiert sind, sind diese lokal auf Deinem Handy verfügbar.

Grüße

tbengel

[brt]

... also was machst Du und bei welchen Filmen klappt es nicht.

IMDB-Link kopiert, eingefügt, Update und dann bleibt das Feld für den Originaltitel leer.

Beispiel: https://www.imdb.com/title/tt0688086

Deutscher Titel: Die Rückkehr der Canyon Rocker
Originaltitel sollte sein: The Return of the Black Shadow

[tbengel]

Hi brt,

du schreibst, dass KEINE Originaltitel mehr übernommen werden, dies klingt,
als wenn Du bei keinem Film einen Original-Titel findest, dem ist anscheinend
nicht so ... oder?

Dein sehr spezieller Film ist nur in der OMDb-vorhanden und diese liefert,
wie Du in dieser Prioritätenliste sehen kannst:

https://my-movie-database.de/download/MyMDb-CE_Prioritaeten_Daten_Import.pdf

keinen Originaltitel, daher bleibt das Feld leer.

In der OFDb und TMD ist der Film auch nicht bekannt und die IMDb hat uns gesperrt,
von daher muss man sich mit den Daten der OMDb begnügen.

Grüße

tbengel

[franklyn]

die IMDb hat uns gesperrt

Bedeutet es genau das, wie es dort steht?

Verstehe ich das richtig, dass auch trotz all der Mühen und Keys jetzt die IMDb für unser Programm gar nicht mehr erreichbar ist?
Also völlig tote Hose, ohne jeglichen Datenzugang, als gäbe es keine IMDb ?

[tbengel]

Hallo Franklyn,

die IMDb hat nicht nur uns gesperrt (wir sind da so ein kleines Licht, dass unsere Zugriffe da
überhaupt keine Rolle gespielt haben). Es wurden alle Programme und Skripte weltweit gesperrt,
welche versuchten, sich außerhalb eines Browsers Zugriff auf die Daten zu verschaffen.

Genau, hat die IMDb auf allen Ihren Seiten einen Schutzmechanismus (AWS WAF + Bot Detection)
eingebaut, der aktiv verhindert, dass einfache HTTP-Clients ihre Seiten scrapen / parsen können,
so wie wir es die ganze Zeit (immerhin mehr als 8 Jahre) machen konnten.

Sobald Du auf der IMDb eine Seite anschauen möchtest, würdest Du gar nichts sehen, wenn nicht im
Hintergrund ein Script geladen würde, welche erst einmal die Daten von den Serven bereitstellt
und dies geschieht nur im Browser.

Natürlich könnte man jetzt wieder versuchen, programmatisch einen Browserzugriff zu simmulieren,
aber die IMDb will Ihre offizielle IMDb API verkaufen (diese beginnt mit Kosten in Höhe von $150.000
pro Jahr) und würde deshalb dann auch dort wieder irgendwann einen Riegel davor schieben (wenn
Sie es nicht schon getan hat, ...., habe es selber noch gar nicht getestet).

Die Keys (bzw. die Schnittstellen die dahinter hängen) haben nichts mit der IMDb zu tun, sondern
sind separate noch kostenlose Datenanbieter, wobei die OMDb die abgespeckten Daten der IMDb benutzt
und die TMDb völlig eigene Daten zur Verfügung stellt, die Du auch ganz normal auf:

https://www.themoviedb.org

browsen kannst.

Somit haben wir über die OMDb weiterhin noch Zugang zu den IMDb Daten, wenngleich diese nicht
tagesaktuell sind und nur in regelmäßigen Abständen aktualisiert werden.

Der alte Datenweg zu den IMDb-Daten ist in MyMDb-CE weiterhin aktiv, also sobald sie die
"AWS WAF + Bot Detection" abschalten, erhalten wir zusätzlich auch wieder IMDb Daten (wie
im Januar bis März diesen Jahres, wo es ab und an immer mal wieder für ein paar Tage
funktioniert hat).

Aber ja, ich würde sagen, der direkte Weg über die IMDb ist uns nun für immer versperrt,
es sein denn, die IMDb rudert mit Ihrem Schutzmechanismen zurück oder wir finden einen
großzügigen Sponsor .

Grüße

tbengel