Page 1 sur 1

Doublons de messages sur serveur, multi-accès

Publié : 29 nov. 2017, 08:25
par Paillepaille
Bonjour,

Dans l'entreprise dans laquelle je travaille, Thunderbird est le client mail utilisé sur la plupart des postes.

L'usage courant est que chacun traite ses e-mails en local.

Certains groupes de travail ont besoin de pouvoir accéder à une boîte commune, à laquelle ils sont abonnés (boîte sur serveur distant auquel je n'ai pas d'accès).
Cette boîte commune est limitée en espace disque, et reçoit énormément de messages, c'est la raison pour laquelle ces messages sont régulièrement triés et déplacés dans un dossier local.
Chaque personne de ce groupe doit pouvoir accéder à ces messages, ce dossier local a donc été placé sur un serveur dans le même LAN (même réseau IP) que le groupe de travail. Ce dossier placé sur un serveur est ensuite ajouté dans chaque client Thunderbird des membres d'un groupe de travail (Paramètres des comptes / Ajouter un dossier local). Le lien vers le dossier ressemble à :
/run/user/<LOGIN>/gvfs/smb-share:server=<NOM_SERVEUR_DOMAINE_KERBEROS>,share=<DOSSIER_MAIL_SUR_SERVEUR>
(Authentification des utilisateurs sur le réseau via KERBEROS.)
Je précise que les postes tournent en général sous Ubuntu.

Ce dossier local situé sur un serveur dans le même LAN contient une arborescence de dossiers divers et entre 10.000 et 100.000 messages, soit environ 20 Go.

Ces groupes de travail sont confrontés à un dédoublement des messages dans ces dossiers locaux "partagés", avec jusqu'à 4, voire 5 copies pour certains messages.
J'ai pu faire un peu de ménage en installant une extension de suppression de doublons, mais ce n'est normalement pas autorisé par la politique SSI de cette entreprise, et le problème est récurrent, je cherche une solution pérenne.

J'ai testé la modification d'un paramètre de Thunderbird :
mail.server.default.dup_action -> 1
Sans succès.

Je pense que le problème n'est pas solvable, car lié à la manière de travailler de Thunderbird, qui n'agit pas de manière instantanée sur les fichiers, mais ne supprime réellement les messages qu'après compactage, et qui serait donc capricieux dès qu'il a des accès concurrents... Mais ne connaissant pas précisément son fonctionnement, j'espère que quelqu'un ici pourra m'aider. :wink:

La version de Thunderbird qui est déployée chez nous est la 45.8.0.

Merci d'avance ! :)

Re: Doublons de messages sur serveur, multi-accès

Publié : 29 nov. 2017, 16:08
par J2m06
Bonjour
Paillepaille a écrit : 29 nov. 2017, 08:25mais ne supprime réellement les messages qu'après compactage,
oui, et ce n'est pas QUE Thunderbird qui procède ainsi :D
ce dossier local a donc été placé sur un serveur dans le même LAN (même réseau IP) que le groupe de travail. Ce dossier placé sur un serveur est ensuite ajouté dans chaque client Thunderbird des membres d'un groupe de travail (Paramètres des comptes / Ajouter un dossier local). Le lien vers le dossier ressemble à :
/run/user/<LOGIN>/gvfs/smb-share:server=<NOM_SERVEUR_DOMAINE_KERBEROS>,share=<DOSSIER_MAIL_SUR_SERVEUR>
(Authentification des utilisateurs sur le réseau via KERBEROS.)
Je ne suis pas assez "calé" dans ce domaine :(
Mais tu devrais essayer de mettre le compte au format MailDir(un message = un fichier) plutôt que Mbox (tous les messages dans un seul fichier)
http://j2m-06.pagesperso-orange.fr/faq_ ... _dir_store


Avant précaution d'usage :
:idea: Il faut faire une sauvegarde régulière de ton "profil" * clic ici... (ou >> ici << ,ou encore >> ici (site miroir) << )

Re: Doublons de messages sur serveur, multi-accès

Publié : 30 nov. 2017, 05:03
par Paillepaille
Bonjour J2m,

Je ne peux pas tester ça tout de suite, mais dès que c'est possible, je teste, puis mets en place ta solution.

C'est une excellente idée et une super piste !

Merci !

Re: Doublons de messages sur serveur, multi-accès

Publié : 07 févr. 2018, 14:31
par Paillepaille
Bonjour J2m,

Cela a pris un peu de temps, mais j'ai mis en place cette solution pour un groupe de personnes (format de stockage des messages "maildir").

Pour l'instant, j'ai un peu de mal à déterminer pourquoi, mais par deux fois, ces personnes m'ont signalé des messages "disparus".

En réalité, ces messages étaient toujours sur le serveur, avec les mêmes permissions que les autres, même propriétaire (Unix), mêmes ACL, donc je ne m'explique pas pourquoi ils ne leurs apparaissaient pas...
Une suppression du .msf associé à ce dossier a permis de retrouver ces messages dans Thunderbird.

Je me demande si les accès concurrents sur ce même dossier situé sur le serveur, avec donc plusieurs comptes susceptibles d'écrire un même .msf, ne sont pas la source du problème. Et à ce moment là, comment le résoudre ? Eviter qu'une personne soit positionnée sur un dossier de messages lorsqu'une autre y place de nouveaux messages ?

J'ai quand même supprimé "global-messages-db.sqlite" pour reconstruire la base de données d'indexation, même s'il me semble que ça n'a d'impact que sur la recherche de messages.

Re: Doublons de messages sur serveur, multi-accès

Publié : 26 févr. 2018, 05:52
par Paillepaille
Bonjour,

Retour après un mois d'utilisation du format de stockage de messages "maildir" (un fichier par message).

Par rapport au message précédent, je leur ai demandé de modifier légèrement leur manière de travailler. Le dossier qui pose problème est celui dans lequel ils travaillent régulièrement ensemble. J'ai créé un sous-dossier par personnel afin de limiter au maximum le travail commun dans un même dossier, et donc la modification du .msf associé par plusieurs personnes au même moment.

Les points positifs et négatifs ne changent pas.

Positif :
Toutes les opérations sur les messages du dossier local en "maildir" sont très rapides à exécuter.
Aucun doublon.
Dans le cas de messages à restaurer via Bacula, il est possible de rapidement restaurer les messages concernés uniquement (avec la commande "mv -n" par exemple, puis suppression des .msf associés). Extrêmement rapide et ne touche pas aux messages déjà présents.

Négatif :
Parfois, des messages disparaissent, et je n'ai pas pu déterminer de modèle (pattern) pour en identifier la cause.
Lorsque des messages sont restaurés via Bacula, une partie d'entre eux apparaissent sans objet et avec la date 01/01/1970.

Les messages à restaurer régulièrement sont un point négatif trop important pour continuer à utiliser le format "maildir", donc retour au format "mailbox" (un fichier pour l'ensemble des messages d'un dossier) tant que la cause des messages qui disparaissent n'aura pas été identifiée, et donc potentiellement corrigée.

Si quelqu'un a une piste, je suis tout ouïe. :wink:

Re: Doublons de messages sur serveur, multi-accès

Publié : 13 avr. 2018, 07:59
par Nolasque
Bonjour,
Sujet intéressant car au boulot, j'ai généralisé l'utilisation du maildir de tous les dossiers de presque tout le monde sur le serveur.
J'ai contribué plusieurs fois au post suivant viewtopic.php?f=4&t=112475&start=15&hil ... 70#p849888
aujourd'hui j'en suis au même point :
Des messages disparaissent : en fait non, les fichiers de mail sont toujours présents mais il faut réparer le dossier (ou supprimer le .msf) pour retrouver les mails.
C'est là que Tb plante si le nombre de message est très important et peut-être si la taille des messages est importante (dû à des pièces jointes)
et c'est aussi à ce moment que des messages datés du 01/01/1970 apparaissent avec un sujet vide. Ces messages doivent certainement correspondre à un message physiquement présent sur le disque.
Le fait que les messages soit sur le serveur ne semble pas être la cause car j'ai aussi testé la chose directement sur le serveur.
Aujourd'hui je m'interroge : soit je reviens au système mailbox, soit je migre les utilisateurs qui ont beaucoup de message vers Mi...$$$$oft :cry:

En dehors de ces problèmes, pour ce qui est du multi-accès, 3 personnes travaillent sur la même adresse mail en IMAP. Les 3 Tb pointant vers le même dossier de stockage sur le serveur (maildir). La synchronisation se fait bien. Ca fonctionne donc assez bien tant que ces personnes n'ont pas 2000 messages à gérer.

Nol