Menu

Softwareupdates

Neue Funktionserweiterung: Neues sFTP für Verlage und Airflow

In der letzten Woche wurde das aktuellste Update von DeepGreen in das Produktivsystem eingespielt. Mit diesem Update wurde ein neues sFTP für die Ablieferung der Verlagsdaten implementiert, sowie das Prozessüberwachungstool Airflow. Mit Airflow wird das Routing in DeepGreen zukünftig effizienter steuerbar sein.

Infolge von Feedback das wir auf der BiblioCon erhalten haben, wurde mit dem Update das Metadatenmapping nach METS-MODS so angepasst, dass die jeweiligen corresponding authors erkennbar sind. MODS bietet kein vordefiniertes XML-Feld oder -Attribut, um die Angabe des corresponding authors weiterzugeben, sodass dies nun in das roleTerm-Feld eintragen wird.

Update auf neue Python Version abgeschlossen

Am 25.07.2025 wurde ein wichtiges Update für die DeepGreen-Datendrehscheibe fertiggestellt. Das Produktivsystem wurde auf eine neue Server-Infrastruktur umgezogen und in diesem Zusammenhang wurde DeepGreen auf die Python Version 3.11 aktualisiert. Dieses Update war für die Wartbarkeit und die Stabilität des Dienstes unverzichtbar.
Nach dem Abschluss der Wartungsarbeiten wurden die SWORD-Schnittstellen der Anwender:innen sukzessive wieder aktiviert.

Neue Funktionserweiterung: Exclusion Matching für Namensvariationen

Wir freuen uns sehr, eine lang erwartete funktionelle Erweiterung für DeepGreen vorzustellen. Ab sofort ist es möglich, über die Affiliationsdatei im DeepGreen-Konto der Repositorien, Namensvariationen beim Matching auszuschließen.

Kommt es bei einer bestimmten Institution immer wieder zu Verwechslungen oder bekommt beispielsweise Hochschule XY immer wieder Artikel der Medizinischen Hochschule XY zugeteilt, kann die Hochschule XY nun die Namensvariation „Medizinische Hochschule XY“ über die Affiliationsdatei dezidiert ausschließen.

Sie können in der Affiliationsdatei Namensvariationen ausschließen, indem Sie in der Spalte „Excluded Name Variants“ Namensvariationen eintragen, zu denen Sie keine Artikel beziehen wollen.

Zwei neue Funktionserweiterungen für DeepGreen: Institutionelle Identifier und Datumsfilter für die Routing History

Wir freuen uns sehr über zwei neue und lang erwartete Funktionserweiterungen der DeepGreen-Datendrehscheibe. Ab sofort ist es möglich, in der Affiliationsdatei der Repositorienkonten institutionelle Identifier zu ergänzen und die Routing History nach Datum zu filtern.

Institutionelle Identifier

Zusätzlich zu Namenvariationen, Domains und Förderkürzeln berücksichtigt DeepGreen nun auch RoR und Ringgold IDs beim Matching der Publikationen.

Mit dieser Erweiterung wollen wir den Matchingprozess zukünftig noch genauer machen. Aktuell sind institutionelle Identifier in den Verlagsdaten nicht flächendeckend hinterlegt.

Wir werden diese Funktionserweiterung nutzen, um bei den Verlagen Werbung für mehr institutionelle Identifier in den Verlagsmetadaten zu machen.

Eine Anleitung, wie sie die institutionellen Identier in der Affiliationsdatei hinterlegen, finden Sie in unserem neuesten Screencast.

Datumsfilter der Routing History

Ab sofort ist es außerdem möglich, die Routing History in den Repositorienkonten nach Datum zu filtern und sich auf diese Weise, alle Artikel in der Routing History in Etappen anzuschauen. Bis jetzt war die Anzeige auf 10.000 Artikel begrenzt, was Repositorien mit vielen Lieferungen vor Herausforderungen gestellt hat. Nun kann durch die Angabe eines Anfangs- und eines Enddatums genau bestimmt werden, für welchen Zeitraum die Notifikationen der Routing History angezeigt werden sollen. Dieser Zeitraum kann dann als CSV-Datei gedownloaded werden.

Der Datumsfilter der Routing History ist auch über die Web-API anwendbar.

Technische Weiterentwicklung: Anzeige ISSNs im Repositorienkonto

Ab sofort gibt es eine neue technische Weiterentwicklung im DeepGreen-Router. Repositorien können sich nun in Ihrem DeepGreen-Konto die ISSNs anzeigen lassen, die sie von den einzelnen Verlagen geliefert bekommen.
Mit einem Klick auf „View License“ hinter einer der Lizenzen im Filter öffnet sich eine ISSN-Liste mit den Informationen „Titel“, „Verlag“, „Embargo“, „EZB-ID“, „Print-ISSN“ und „E ISSN“.

Zusätzlich ist es möglich, sich die Liste als Json Record anzeigen zu lassen.

 

Technische Weiterentwicklung: Anzeige ISSNs im Repositorienkonto
Technische Weiterentwicklung: Anzeige ISSNs im Repositorienkonto

Anpassungen an der Speicherinfrastruktur

Seit Beginn des Pilotbetriebs im Jahr 2021 hat der DeepGreen Router ca. 1,5 Mio Dokumente und eine Datenmenge von rund 7 TB verarbeitet. Diese Daten werden weiterhin für potentielle neue Teilnehmer-Repositorien vorgehalten, um ihnen einen direkten Datenabzug zu ermöglichen.
Um die Durchsuchbarkeit und die Durchführung fehlerfreier Backups dieser großen Datenmenge weiterhin zu gewährleisten wurde Anfang September die Speicherinfrastruktur reorganisiert und in eine Baumstruktur gebracht.

Rollout Metadaten-Mapping und weitere technische Neuerungen

Anfang dieser Woche wurden einige technische Anpassungen am DeepGreen Router vorgenommen. Das in der letzten DeepGreen-Sprechstunde erwähnte Metadaten-Mapping wurde nun in das Produktivsystem integriert. Mit diesem Mapping werden etliche Fehler bei der Transformation der JATS-Dateien ins OPUS- bzw. METS-Metadatenformat behoben, wie zum Beispiel fehlende Autor:innen Namen oder Affiliationsinformationen. Im Zuge dieser Maßnahme wurde auch ein Tool entwickelt und in die Benutzeroberfläche integriert, welches es den Betreibern von DeepGreen ermöglicht, die Transformationen anhand von XML-Dateien zu testen.

Eine weitere wichtige technische Neuerung in diesem Rollout ist ein Logging-Mechanismus, der es ermöglicht, die Verarbeitung der vom Verlag bereitgestellten ZIP-Dateien zu überwachen. Dies ermöglicht nun eine einfache und transparente Fehlersuche, die zuvor sehr kompliziert und zeitaufwändig war.

Neue Funktionserweiterungen für die Administration

Ende Dezember 2022 wurden zwei neue funktionelle Erweiterungen in das DeepGreen-Produktionssystem übernommen. Diesmal handelt es sich um zwei Administrations-Funktionen, das bedeutet, sie erleichtern die Arbeit für die DeepGreen-Mitarbeiter:innen und in diesem Fall sind sie für die Nutzer:innen nicht sichtbar.

Zum einen wurde eine Funktion zur Vereinfachung des Lizenzmanagements entwickelt. Ab jetzt ist es für die Administration möglich, die Lizenz- und Teilnehmendenlisten in der grafischen Oberfläche des DeepGreen-Routers einzupflegen und zu managen.  Durch eine History-Funktion ist es nun möglich, die verschiedenen Versionen der Lizenz- und Teilnehmendenlisten festzuhalten und nachzuvollziehen, zu welchem Zeitpunkt, welche Lizenzliste aktiv war.

Bei der zweiten Funktion handelt es sich um eine Suchfunktion für Notifikationen, die ebenfalls in die grafische Oberfläche des DeepGreen-Routers implementiert wurde. Die DeepGreen-Administration kann nun verarbeitete Artikel zurückverfolgen und herausfinden, ob ein Artikel wirklich vom Verlag geliefert wurde.

Unterscheidung zwischen grünen und goldenen Inhalten nun auch bei DeepGreen möglich

Anfang  dieser Woche wurde das nächste DeepGreen-Funktionsupdate in das Produktionssystem übernommen. Wir freuen uns sehr, dass DeepGreen  mit dem neuen Update nun in der Lage ist, zwischen goldenen und grünen Inhalten innerhalb einer Zeitschrift zu unterscheiden. Bisher war lediglich eine Unterscheidung auf Zeitschriftenebene möglich. S. Karger wird der erste Verlag sein, der diese neue Funktion nutzen wird. Neben den Inhalten der Nationallizenz und den reinen Gold Open-Access-Zeitschriften, werden von Karger die goldenen und grünen Inhalte des Transformationsvertrages zur Verfügung stehen.

Zusätzlich ist in dem neuen Update eine weitere SWORD-Funktion enthalten. Ab sofort können Artikel über einen Button in der Routing-History erneut via SWORD verschickt werden. In der Routing History gibt es nun die zusätzliche Spalte „Deposit details“. Diese Spalte enthält neben dem „Request deposit“ Button, über den Artikel erneut via SWORD versendet werden können, Informationen zum Versand-Status des jeweiligen Artikels, beispielsweise wie oft der Artikel bereits verschickt wurde, wann er zuletzt verschickt wurde und was der aktuelle Status ist. Es besteht außerdem die Möglichkeit mehrere Artikel auf einmal zu verschicken: Über den Button „Select all on this page“ können alle Artikel auf einer Seite der Routing History ausgewählt werden und über den Button „Deposit selected notifications“ erneut verschickt werden.

Auch die Deposit-Logs, die mit dem letzten DeepGreen-Update in dem Bereich „Manage SWORD Status“ neu dazugekommen sind, wurden mit diesem Update erweitert (Erreichbar über den Button View logs from last deposit). Hier können nun nicht mehr nur die Logs vom letzten Deposit, sondern auch von allen vorherigen Deposits eingesehen werden. 

Auf unserer Webseite finden Sie einen Screencast zu diesem Thema:
https://info.oa-deepgreen.de/hilfe/#Screencasts

SWORD Funktionserweiterungen in Repositorien implementiert

Anfang dieser Woche wurde das nächste DeepGreen Softwareupdate in das Produktionssystem übernommen. Mit diesem Update wurden neue Möglichkeiten zum SWORD Status Management in die Repositorienkonten integriert. Repositorienbetreiber können nun den Status ihrer SWORD-Schnittstelle in ihrem Konto einsehen und sich auflisten lassen, welche Artikel mit der letzten Zustellung erfolgreich an ihr Repositorium geliefert werden konnten bzw. bei welchen Artikeln es einen Fehler gab. Für die nicht zugestellten Artikel kann die Fehlermeldung eingesehen werden, die ihr Repositorium an DeepGreen zurückgegeben hat. Außerdem können Repositorienbetreiber ihre SWORD-Schnittstelle nun selbstständig in DeepGreen aktivieren und deaktivieren.

Auf unserer Webseite finden Sie ab sofort einen Screencast zu diesem Thema:
https://info.oa-deepgreen.de/hilfe/#Screencasts

Das SWORD-Logging wurde insgesamt verbessert und ausgebaut, sodass die DeepGreen-Administration nun besser bei der Fehlersuche unterstützen kann.

Des Weiteren wurde die Abliefermethode von DeepGreen an SWORD konfigurierbar gemacht. Repositorienbetreiber können nun in ihrem Konto einstellen, ob die Artikel (Metadaten, Volltexte und eventuell zusätzliche Materialien) als eine Zip-Datei oder als individuelle Dateien geschickt werden sollen. Als Standardeinstellung empfehlen wir „Single ZIP File“.

Eine ganze Reihe weiterer Bugfixes und Änderungswünsche konnten in diesem Update berücksichtigt werden:

  • Das Embargodatum wird in der Routinghistory der Repositorienkonten nun korrekt und in einer eigenen Spalte angezeigt
  • Die Anzeige der Verlagsangaben wurde korrigiert (wenn kein Verlag in den Metadaten angegeben ist, wird das Verlagsfeld in der Routinghistory nun frei gelassen)
  • Eprints Repositorien können über SWORD beliefert werden
  • In der Affiliationsdatei wurde eine neue Spalte für institutionelle Identifier eingefügt
  • Die Routinghistory in den Repositorienkonten ist nun nach verschiedenen Kriterien sortierbar

Load More