[sdx-developers] SDX et les "Compound Files" de Lucene

[Martin Sevigny]

Bonjour,

Dans sa dernière version, Lucene permet de créer des index qui tiennent
en un seul fichier, au lieu d'un fichier par champ et quelques autres.

Vous voyez sûrement l'avantage principal : réduire de manière
draconienne (8 fois semble-t-il...) le problème des too many files open.

Après étude de tout cela, nous avons constaté qu'il n'y a pas de gros
désavantages à cette solution. Voici tout de même quelques remarques:

- l'utilisation des fichiers composites n'est pas obligatoire, la
structure classique peut être utilisée encore
- si on demande d'utiliser un fichier composite, alors même si au départ
c'était une structure classique, lors de la première modification de
l'index il sera réécrit en fichier composite, ce qui assure une complète
compatibilité arrière
- l'utilisation d'un fichier composite ralentit légèrement l'indexation,
mais de moins de 10% semble-t-il
- avec un seul fichier pour un gros index, la taille limite d'un fichier
sur le système de fichiers pourraient être atteinte plus rapidement

En tenant compte de tout cela, voici ce que nous proposons d'implémenter
ces jours-ci en CVS, en vue de la version 2.3 de SDX:

1) L'utilisation des fichiers composites sera activée par défaut, pour
toute nouvelle application et même pour une application existante, ce
qui signifie qu'à défait d'indication contraire, ce sera la méthode utilisée

2) Un nouveau paramètre sera associé aux bases de documents (de type
Lucene) pour indiquer si l'on veut des fichiers composites ou pas. Je
propose ceci:

<sdx:documentBase type="Lucene" useCompoundFiles="true|false" ...>

Avec une valeur par défaut de "true" bien sûr.

Si vous avez des commentaires, n'hésitez pas.

Martin Sévigny