Saxon Version

[tboenig]

Ich nutze kitodo Version 3.8.1.

Ich habe folgende Transformation von pica2kitodo (Ausschnitt) vor.

<xsl:variable name="mapping-root" select="document('mapping.xml')/mappings"/>
    <xsl:key name="map-by-from" match="map" use="@from"/>
    
    <xd:doc>
        <xd:desc>Ersetzungsroutine von Zeichen/Ketten. Definition befindet sich in mapping.xml
            <xd:ul>
                <xd:li>kann in dem jeweiligen Template angewendet werden siehe Block-4000</xd:li>
                <xd:li>im jeweiligen template <xd:pre>xsl:call-template name="replace-placeholders</xd:pre> nutzen</xd:li>
            </xd:ul>
        </xd:desc>
    </xd:doc>
    
    <xsl:template name="replace-placeholders">
        <xsl:param name="text"/>
        <xsl:param name="mastertext"/>
        <xsl:variable name="mapping-root" select="document('mapping.xml')/mappings"/>
        <xsl:analyze-string select="$text" regex="#[́]*\[[a-z]{{1,3}}\]">
            <xsl:matching-substring>
                <xsl:variable name="replacement" select="key('map-by-from', ., $mapping-root)/@to"/>
                <xsl:message>
                    <xsl:text>Text-Mapping: </xsl:text>
                    <xsl:value-of select="."/>
                    <xsl:text> → </xsl:text>
                    <xsl:value-of select="$replacement"/>
                </xsl:message>
                
                
                <xsl:choose>
                    <xsl:when test="$replacement">
                        <xsl:value-of select="$replacement"/>
                    </xsl:when>
                    <xsl:otherwise>
                        <xsl:value-of select="."/>
                    </xsl:otherwise>
                </xsl:choose>
            </xsl:matching-substring>
            <xsl:non-matching-substring>
                <xsl:value-of select="."/>
            </xsl:non-matching-substring>
        </xsl:analyze-string>
        
        <xsl:analyze-string select="$mastertext" regex="#[́]*\[[a-z]{{1,3}}\]">
            <xsl:matching-substring>
                <xsl:variable name="replacement" select="key('map-by-from', ., $mapping-root)/@master"/>
                <xsl:choose>
                    <xsl:when test="$replacement">
                        <xsl:value-of select="$replacement"/>
                    </xsl:when>
                    <xsl:otherwise>
                        <xsl:value-of select="."/>
                    </xsl:otherwise>
                </xsl:choose>
            </xsl:matching-substring>
            <xsl:non-matching-substring>
                <xsl:value-of select="."/>
            </xsl:non-matching-substring>
        </xsl:analyze-string>
    </xsl:template>

**konkrete Ersetzung:**

   <xsl:call-template name="replace-placeholders">
        <xsl:with-param name="text" select="normalize-space($TitleDocMain)"/>
   </xsl:call-template>

und die mapping.xml

<mappings>
    <map from="#[ae]" to="[ae]" master="aͤ"/>
    <map from="#[oe]" to="[oe]" master="oͤ"/>
    <map from="#[ue]" to="[ue]" master="uͤ"/>
    <map from="#[et]" to="[et]" master="et"/>
</mappings>

Nach meinen Tests sollte, die auch so funktionieren. Aber in kitodo nicht.

• eine möglich "Fehlerquelle" oder "Verhinderung" ist die fünf Jahre alte Saxon-Version
• doch noch ein xslt-Fehler
• oder?

Nun meine Frage an die Community:

• Wenn es an der Saxon-Version hängt, sollte die nicht nachgezogen werden auf eine neuere Version? Was spricht dagegen?
• Wer kann helfen den Fehler zu finden?

[BartChris]

Ich bin mir nicht sicher, ob Kitodo die externe Datei unterstützt.

select="document('mapping.xml')/mappings"/>

Mein Verdacht wäre, dass eine Einbindung externer Dateien nicht funktioniert, da Kitodo nur den Inhalt der XSL-Datei ausliest und die Transformation der METS durchführt. Mit dem Verweis "mapping.xm" kann das Programm wohl nichts anfangen.

[tboenig]

mmh, nach meiner Meinung hat die Verarbeitung von XML mit XSL erstmal nichts mit kitodo an sich zu tun, da diese über den fünf Jahre alten Saxon geht. Der aber auch in dieser Version in der Lage ist/war "externe" Dateien zu laden. Es sei denn, dass irgend etwas Hinderliches eingebaut wurde, das nicht dokumentiert wurde.

[BartChris]

Hier mal der entsprechende Code, der die Transformation durchführt:

kitodo-production/Kitodo/src/main/java/org/kitodo/export/XsltHelper.java

Lines 48 to 69 in 62ce27b

	static ByteArrayOutputStream transformXmlByXslt(StreamSource source, URI xslFile)
	throws TransformerException, IOException {
	String xsltPath = xslFile.getPath();
	StreamSource xsltSource = new StreamSource(xsltPath);
	TransformerFactory factory = new TransformerFactoryImpl();
	Transformer transformer = factory.newTransformer(xsltSource);
	if (Objects.isNull(transformer)) {
	throw new IllegalArgumentException("Could not create XSLT transformer. Check " + xsltPath + " for errors.");
	}
	try (ByteArrayOutputStream outputStream = new ByteArrayOutputStream()) {
	StreamResult streamResult = new StreamResult(outputStream);
	transformer.transform(source, streamResult);
	return outputStream;
	}
	}
	static URI getXsltFileFromConfig(Process process) {
	String path = ConfigCore.getParameter(ParameterCore.DIR_XSLT);
	String file = process.getRuleset().getFile().replaceFirst("\\.[Xx][Mm][Ll]$", ".xsl");
	return Paths.get(FilenameUtils.concat(path, file)).toUri();
	}

Evtl. kann @matthias-ronge sagen, was genau hier an Funktionaltität unterstützt wird.

Evtl. einschlägig: https://www.saxonica.com/html/documentation10/functions/fn/base-uri.html

U.U. muss noch xsltSource.setSystemId(xslFile.toString()); aufgerufen werden, um Saxon die Information über den Basis-Pfad zu übergeben.

[BartChris]

Ich habe das gerade mal auf dem Server getestet. Allerdings mit einem simpleren Test-XSL. Ich kann externe Dateien beim Kitodo Export XSL (wie mapping.xml) nutzen, sofern sie im selben Verzeichnis wie die XSL-Datei liegen. Vielleicht funktioniert das nicht in allen Umgebungen. Falls die Möglichkeit besteht, kann versucht werden xsltSource.setSystemId(xslFile.toString()); zu ergänzen, damit Saxon definitiv das Arbeitsverzeichnis kennt.

Allerdings habe ich übersehen, dass das XSL beim Import, um den es hier geht, eine andere Logik verwendet als beim Export:

kitodo-production/Kitodo-XML-SchemaConverter/src/main/java/org/kitodo/xmlschemaconverter/XMLSchemaConverter.java

Line 105 in 9fa6109

private String transformXmlByXslt(String xmlString, InputStream stylesheetFile) {

Hier könnte das Problem darin liegen, dass in

kitodo-production/Kitodo-XML-SchemaConverter/src/main/java/org/kitodo/xmlschemaconverter/XMLSchemaConverter.java

Line 118 in 9fa6109

Transformer xsltTransformer = transformerFactory.newTransformer(new StreamSource(stylesheetFile));

dem Saxon Transformer nur ein anonymer InputStream (innerhalb einer StreamSource) übergeben wird und nicht eine auf einem Pfad basierende StreamSource.

[BartChris]

Die Nutzung externer Dateien ist aktuell nur beim Export, aber nicht beim import möglich. Ich habe mich an einem PR versucht: https://github.com/kitodo/kitodo-production/pull/6738/files

[tboenig]

Die Nutzung externer Dateien ist aktuell nur beim Export, aber nicht beim Import möglich.

Vielen Dank @BartChris. Offen bleibt aber für mich, wie konkret nun die Input und Outut-Transformation in Kitodo realisiert ist? D.h auf welcher XSL/XPath Recommendation.

• offensichtlich auf einem gestutzten Saxon und gestutzten XSL
• wenn In- und Output sich so unterscheiden sollte dies und der erste Punkt dringend dokumentiert sein.

[BartChris]

Import und Export laufen beide auf Saxon HE 9.9.1-8 (XSLT 2.0 / XPath 2.0), also nicht die kommerzielle Variante. Keine 3.0-Features. Ich glaube nicht, dass das unterschiedliche Verhalten von Import- und Export intendiert ist, sondern würde das als Bug sehen. Inwieweit relevante Features gestutzt sind, vermag ich nicht zu beurteilen. Bestimmte Operationen sind per factory.setFeature(XMLConstants.FEATURE_SECURE_PROCESSING, true); unterbunden.

[tboenig]

Hallo,

dieses Problem hat mich nicht losgelassen.
Ohne Änderung der kitodo Version... gibt es eine Lösung, die wohl recht simple ist.
"Die Nutzung externer Dateien ist aktuell nur beim Export, aber nicht beim import möglich. Ich habe mich an einem PR versucht." so @BartChris

Das kann ich nun nicht bestätigen, denn

1. Voraussetzung ist natürlich, dass die mapping-Datei vorhanden ist.
2. <xsl:variable name="mapping-root" select="document('mapping.xml')/mappings"/> sollte geändert werden und hier mit dem entsprechenden Path. der kitodo-instanz z.B. /usr/local/kitodo/xslt/
   <xsl:variable name="mapping-root" select="document('/usr/local/kitodo/xslt/mapping.xml')/mappings"/>