Idées pour lucene cluster

[philguillard <ph...@gmail.com>]

Bonsoir a tous,

Voici une question concernant le clustering avec Lucene, je n'ai pas de 
réponse sur la liste qui correspond, mais cherchant juste un retour 
d'éxperience/conseils je vais tenter ici:

- J'ai plusieurs servers web (http+tomcat seulement) qui ont chacun leur 
propre index lucene censé etre equivalent (index crée a partir de 
requetes database).
- L'index ne devrait pas grossir démesurement, puisque je n'y stocke pas 
de docuemnts mais juste des urls avec certains mots clefs.
- J'utilise le Lucene block de cocoon
- Il n'y a pas de probleme si les index ne sont pas équivalents a 
l'instant t, je cherche plutot a trouver une solution simple de 
réplication pour m'éviter de rafraichir chacun des index de maniere separée.

Mes solutions semblent etre:
- 1 seul index en NFS ou stocke en database sql en perdant bien sur en 
performance, et au prix d'un travail sur l'intégration existante du 
block cocoon lucene
- 1 serveur pourrait etre dedié a la recherche mais tout dépendrait donc 
d'une seule machine
- je ne connais pas Carrot etc..
- Mon idée pour le moment est de reconstruire de maniere reguliere 
l'index sur 1 serveur et le copier sur les autres. Cette solution me 
paraissait bidon mais semble fonctionner apres qqes tests...

Qu'en pensez-vous?

Phil

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org

Re: Idées pour lucene cluster

[philguillard <ph...@gmail.com>]

Merci Sylvain

Sylvain Wallez wrote:
> philguillard wrote:
> 
>>Bonsoir a tous,
>>
>>Voici une question concernant le clustering avec Lucene, je n'ai pas
>>de réponse sur la liste qui correspond, mais cherchant juste un retour
>>d'éxperience/conseils je vais tenter ici:
>>
>>- J'ai plusieurs servers web (http+tomcat seulement) qui ont chacun
>>leur propre index lucene censé etre equivalent (index crée a partir de
>>requetes database).
>>- L'index ne devrait pas grossir démesurement, puisque je n'y stocke
>>pas de docuemnts mais juste des urls avec certains mots clefs.
>>- J'utilise le Lucene block de cocoon
>>- Il n'y a pas de probleme si les index ne sont pas équivalents a
>>l'instant t, je cherche plutot a trouver une solution simple de
>>réplication pour m'éviter de rafraichir chacun des index de maniere
>>separée.
>>
>>Mes solutions semblent etre:
>>- 1 seul index en NFS ou stocke en database sql en perdant bien sur en
>>performance, et au prix d'un travail sur l'intégration existante du
>>block cocoon lucene
>>- 1 serveur pourrait etre dedié a la recherche mais tout dépendrait
>>donc d'une seule machine
>>- je ne connais pas Carrot etc..
>>- Mon idée pour le moment est de reconstruire de maniere reguliere
>>l'index sur 1 serveur et le copier sur les autres. Cette solution me
>>paraissait bidon mais semble fonctionner apres qqes tests...
> 
> 
> Un bon vieux rsync, on n'a pas encore fait mieux :-)
> 
> Sylvain
> 

---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org

Re: Idées pour lucene cluster

[Sylvain Wallez <sy...@apache.org>]

philguillard wrote:
> Bonsoir a tous,
>
> Voici une question concernant le clustering avec Lucene, je n'ai pas
> de réponse sur la liste qui correspond, mais cherchant juste un retour
> d'éxperience/conseils je vais tenter ici:
>
> - J'ai plusieurs servers web (http+tomcat seulement) qui ont chacun
> leur propre index lucene censé etre equivalent (index crée a partir de
> requetes database).
> - L'index ne devrait pas grossir démesurement, puisque je n'y stocke
> pas de docuemnts mais juste des urls avec certains mots clefs.
> - J'utilise le Lucene block de cocoon
> - Il n'y a pas de probleme si les index ne sont pas équivalents a
> l'instant t, je cherche plutot a trouver une solution simple de
> réplication pour m'éviter de rafraichir chacun des index de maniere
> separée.
>
> Mes solutions semblent etre:
> - 1 seul index en NFS ou stocke en database sql en perdant bien sur en
> performance, et au prix d'un travail sur l'intégration existante du
> block cocoon lucene
> - 1 serveur pourrait etre dedié a la recherche mais tout dépendrait
> donc d'une seule machine
> - je ne connais pas Carrot etc..
> - Mon idée pour le moment est de reconstruire de maniere reguliere
> l'index sur 1 serveur et le copier sur les autres. Cette solution me
> paraissait bidon mais semble fonctionner apres qqes tests...

Un bon vieux rsync, on n'a pas encore fait mieux :-)

Sylvain

-- 
Sylvain Wallez - http://bluxte.net


---------------------------------------------------------------------
Liste francophone Apache Cocoon -- http://cocoon.apache.org/fr/
Pour vous desinscrire : mailto:users-fr-unsubscribe@cocoon.apache.org
Autres commandes : mailto:users-fr-help@cocoon.apache.org