You are viewing a plain text version of this content. The canonical link for it is here.
Posted to users-fr@cocoon.apache.org by philguillard <ph...@gmail.com> on 2006/04/13 19:00:55 UTC

eclaircisssements sur l'encoding?

Bonjour,

Quelqu'un peut-il me donner des eclaircisssements sur l'encoding?

J'ai note que Sylvain et Bertrand precisent dans la liste :
"L'encoding de tous les documents qui participent à la production de la
réponse ne sert qu'à leur lecture, et c'est le serializer qui décide de
l'encoding du résultat."


La plupart de mes XML sont declares sans preciser <?xml version="1.0"?>

et je n'ai rien pour la declaration du serializer html:
     <map:serializer logger="sitemap.serializer.html" 
mime-type="text/html" name="html" pool-max="32" 
src="org.apache.cocoon.serialization.HTMLSerializer">
       <doctype-public>-//W3C//DTD HTML 4.01 
Transitional//EN</doctype-public>
       <doctype-system>http://www.w3.org/TR/html4/loose.dtd</doctype-system>
     </map:serializer>

Je me retrouve au final avec des pages contenant ceci :
<META http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">

Mis a part cette surprise (je croyais que UTF-8 etait le defaut) c'est 
justement ce que je voulais: retrouver un mail en francais dont le 
content-type est text/plain; charset=ISO-8859-1; Malheureusement je n'y 
retrouve pas les accents.


Est-ce possible que dans mon cas le fait de parser XML puis passer 
transformation XSL sur une page contenant ce mail me fasse passer de 
ISO-8859-1 vers UTF-8 puis au final ISO-8859-1 et me fasse perdre mes 
caracteres accentues ??

Merci d'avance pour toute aide ou tout lien d'information sur ce sujet
qui m'a toujours semble dificile !

Phil

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org


Re: eclaircisssements sur l'encoding?

Posted by Sylvain Wallez <sy...@apache.org>.
philguillard wrote:
> Bonjour Jean Baptiste,
>
> Mon sujet quitte le giron cocoon puisque je me suis rendu compte que
> mon document a deja des problemes d'encodage avant de passer par
> cocoon (mod_mbox semble mal gerer les caracteres accentues en sortant
> une mbox(ASCII) en utf-8).
>
> Je n'ai finalement qu'une question qui concernera cocoon :
> Declarer l'encoding dans le serializer est-til une declarattion pour
> la future prise en compte du document (html) par example, ou
> correspond-t-elle a un vrai transformation(ce que je ne crois pas, car
> je crois l'encoding est qqchose a respecter et a ne pas perdre a
> chaque etape de la transformation de la data).
>
> Est-t-il possible de transformer l'encodage d'un document avec cocoon?
> (je crois c'est faisable en java dans certains cas en Java)

Quelques rappels sur l'encoding dans XML/Java:

En Java, les caractères (type char et String) utilisent 2 octets
réprésentant le caractère en UTF-16 [1]. Java ne peut donc théoriquement
pas représenter tous les caractères de l'Unicode, mais dans la pratique
tous les alphabets courants sont présents.

Pour le parser XML, le document texte est un flux binaire qu'il
convertit en charactères selon l'encodage spécifié par <?xml...?> (UTF-8
par défaut). A la sortie du parser, les événements SAX ou le DOM sont
donc des caractères au sens Java, et toute la chaîne de traitement se
déroule avec ces caractères.

Conséquences pratiques : on peut très bien transformer un document
encodé en ISO-8859-1 avec une XSL encodée en UTF-8. Le document et la
XSL sont lus par un parser et tout se retrouve en 'char' Java pour le
traitement.

La serialisation consiste à faire l'inverse du parser, c'est à dire de
convertir des événements SAX ou un DOM en une représentation binaire.
Celle-ci doit donc se faire suivant un encodage. C'est là qu'intervient
la configuration 'encoding' du serializer, et elle n'a aucun rapport et
n'est aucunement influencée par l'encodage d'origine des différents
documents qui ont participé à la constitution du document à sérialiser.

Dans ton cas, le problème semble venir du fait que le document XML est
"mal encodé", c'est à dire que l'encodage effectif n'est pas celui
déclaré dans l'entête (ou pas UTF-8) si ce n'est pas spécifié. Pour ce
genre de problème, il n'y a gère de solution à part de mettre un filtre
en entrée du parser pour remettre les choses d'aplomb (soit mettre le
bon encoding dans l'entête, soit réencoder correctement le flux binaire).

Sylvain

[1]
http://java.sun.com/docs/books/jls/third_edition/html/lexical.html#3.10.4

-- 
Sylvain Wallez
http://bluxte.net
Apache Software Foundation Member


---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org


Re: eclaircisssements sur l'encoding?

Posted by Jean-Baptiste Quenot <jb...@apache.org>.
* Sylvain Wallez:

> Jean-Baptiste Quenot wrote:
>
> > Il faut également penser  à indiquer l'encoding dans l'en-tête
> > HTTP de la réponse.  Pour cela, indiquer mime-type="text/html;
> > charset=UTF-8" par exemple sur la déclaration du serializer.
>
>
> C'est le serializer  qui se charge de ça. Le  serializer HTML se
> charge aussi  de mettre  le tag  <meta http-equiv="content-type"
> content="text/html; charset=..."/>

Le serializer HTML s'occupe en effet de mettre le tag <meta>, mais
il ne positionne pas le  charset dans l'en-tête HTTP Content-Type,
ce qui  peut provoquer un conflit  dans la déclaration des  jeu de
caractères  si on  passe par  Apache  en frontal,  car ce  dernier
l'ajoute s'il n'est pas présent.
-- 
     Jean-Baptiste Quenot
aka  John Banana Qwerty
http://caraldi.com/jbq/

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org


Re: eclaircisssements sur l'encoding?

Posted by philguillard <ph...@gmail.com>.
Merci beaucoup pour toutes ces informations!

Phil

Sylvain Wallez wrote:
> Jean-Baptiste Quenot wrote:
> 
>>* philguillard:
>>
>>  
>>
>>>Declarer l'encoding dans le serializer est-til une declarattion
>>>pour la future prise en compte du document (html)
>>>    
>>
>>Si tu imbriques un élément fils <encoding> dans la déclaration du
>>serializer, cet encoding sera utilisé pour la sérialisation XML du
>>document.
> 
> 
> Yep.
> 
> 
>>Il faut également penser à indiquer l'encoding dans
>>l'en-tête HTTP de la réponse.  Pour cela, indiquer
>>mime-type="text/html; charset=UTF-8" par exemple sur la
>>déclaration du serializer.
>>  
> 
> 
> C'est le serializer qui se charge de ça. Le serializer HTML se charge
> aussi de mettre le tag <meta http-equiv="content-type"
> content="text/html; charset=..."/>
> 
>>Attention, si on passe par Apache, Apache va compléter l'en-tête
>>Content-Type en rajoutant le jeu de caractères par défaut d'Apache
>>s'il n'est pas indiqué.
>>
>>Si on n'indique pas le jeu de caractères dans l'en-tête HTTP
>>Content-Type, le navigateur cherchera un élément
>><meta http-equiv="Content-Type"> pour déterminer le jeu de
>>caractères.
>>  
> 
> 
> Et bien que théoriquement l'entête Content-Type l'emporte sur le <meta>,
> ce n'est pas toujours le cas, selon les navigateurs...
> 
> Sylvain
> 

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org


Re: eclaircisssements sur l'encoding?

Posted by Sylvain Wallez <sy...@apache.org>.
Jean-Baptiste Quenot wrote:
> * philguillard:
>
>   
>> Declarer l'encoding dans le serializer est-til une declarattion
>> pour la future prise en compte du document (html)
>>     
>
> Si tu imbriques un élément fils <encoding> dans la déclaration du
> serializer, cet encoding sera utilisé pour la sérialisation XML du
> document.

Yep.

> Il faut également penser à indiquer l'encoding dans
> l'en-tête HTTP de la réponse.  Pour cela, indiquer
> mime-type="text/html; charset=UTF-8" par exemple sur la
> déclaration du serializer.
>   

C'est le serializer qui se charge de ça. Le serializer HTML se charge
aussi de mettre le tag <meta http-equiv="content-type"
content="text/html; charset=..."/>

> Attention, si on passe par Apache, Apache va compléter l'en-tête
> Content-Type en rajoutant le jeu de caractères par défaut d'Apache
> s'il n'est pas indiqué.
>
> Si on n'indique pas le jeu de caractères dans l'en-tête HTTP
> Content-Type, le navigateur cherchera un élément
> <meta http-equiv="Content-Type"> pour déterminer le jeu de
> caractères.
>   

Et bien que théoriquement l'entête Content-Type l'emporte sur le <meta>,
ce n'est pas toujours le cas, selon les navigateurs...

Sylvain

-- 
Sylvain Wallez
http://bluxte.net
Apache Software Foundation Member


---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org


Re: eclaircisssements sur l'encoding?

Posted by Jean-Baptiste Quenot <jb...@apache.org>.
* philguillard:

> Declarer l'encoding dans le serializer est-til une declarattion
> pour la future prise en compte du document (html)

Si tu imbriques un élément fils <encoding> dans la déclaration du
serializer, cet encoding sera utilisé pour la sérialisation XML du
document.  Il faut également penser à indiquer l'encoding dans
l'en-tête HTTP de la réponse.  Pour cela, indiquer
mime-type="text/html; charset=UTF-8" par exemple sur la
déclaration du serializer.

Attention, si on passe par Apache, Apache va compléter l'en-tête
Content-Type en rajoutant le jeu de caractères par défaut d'Apache
s'il n'est pas indiqué.

Si on n'indique pas le jeu de caractères dans l'en-tête HTTP
Content-Type, le navigateur cherchera un élément
<meta http-equiv="Content-Type"> pour déterminer le jeu de
caractères.
-- 
     Jean-Baptiste Quenot
aka  John Banana Qwerty
http://caraldi.com/jbq/

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org


Re: eclaircisssements sur l'encoding?

Posted by philguillard <ph...@gmail.com>.
Bonjour Jean Baptiste,

Mon sujet quitte le giron cocoon puisque je me suis rendu compte que mon 
document a deja des problemes d'encodage avant de passer par cocoon 
(mod_mbox semble mal gerer les caracteres accentues en sortant une 
mbox(ASCII) en utf-8).

Je n'ai finalement qu'une question qui concernera cocoon :
Declarer l'encoding dans le serializer est-til une declarattion pour la 
future prise en compte du document (html) par example, ou 
correspond-t-elle a un vrai transformation(ce que je ne crois pas, car 
je crois l'encoding est qqchose a respecter et a ne pas perdre a chaque 
etape de la transformation de la data).

Est-t-il possible de transformer l'encodage d'un document avec cocoon? 
(je crois c'est faisable en java dans certains cas en Java)

Phil


PS:Pour la blague, euh.. mon clavier est un querty donc je ne mets 
jamais d'accents.



Jean-Baptiste Quenot wrote:
> * philguillard:
> 
> 
>>Quelqu'un peut-il me donner des eclaircisssements sur l'encoding?
> 
>                                  ^^^
> 
>>J'ai note que Sylvain et Bertrand precisent dans la liste :
> 
>          ^^^                         ^^^
> 
>>"L'encoding de tous les documents qui participent à la production de la
> 
>                                                    ^^^ BRAVO!
> 
>>Mis a part cette surprise (je croyais que UTF-8 etait le defaut) c'est justement ce que je voulais: retrouver un mail en 
>>francais dont le content-type est text/plain; charset=ISO-8859-1; Malheureusement je n'y retrouve pas les accents.
> 
> 
> Salut Phil,
> 
> Pour avoir des accents, il faut qu'ils soient présents dans le
> document.  Il est possible que tu aies tout simplement tapé les
> caractères sans accents.  Par exemple les lignes 1 et 2 de ton
> mail ne possèdent pas d'accent, mais la ligne 3 en a bien un.
> 
> Blague à part, je n'ai pas compris ta question ;-)

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org


Re: eclaircisssements sur l'encoding?

Posted by Jean-Baptiste Quenot <jb...@apache.org>.
* philguillard:

> Quelqu'un peut-il me donner des eclaircisssements sur l'encoding?
                                 ^^^
> J'ai note que Sylvain et Bertrand precisent dans la liste :
         ^^^                         ^^^
> "L'encoding de tous les documents qui participent à la production de la
                                                   ^^^ BRAVO!
> Mis a part cette surprise (je croyais que UTF-8 etait le defaut) c'est justement ce que je voulais: retrouver un mail en 
> francais dont le content-type est text/plain; charset=ISO-8859-1; Malheureusement je n'y retrouve pas les accents.

Salut Phil,

Pour avoir des accents, il faut qu'ils soient présents dans le
document.  Il est possible que tu aies tout simplement tapé les
caractères sans accents.  Par exemple les lignes 1 et 2 de ton
mail ne possèdent pas d'accent, mais la ligne 3 en a bien un.

Blague à part, je n'ai pas compris ta question ;-)
-- 
     Jean-Baptiste Quenot
aka  John Banana Qwerty
http://caraldi.com/jbq/

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org