Firefox, RSS et frénésie...

[HP]

comment peut on recharger un flux RSS commençant ainsi :

Code : Tout sélectionner

    <sy:updatePeriod>hourly</sy:updatePeriod>
    <sy:updateFrequency>10</sy:updateFrequency>

donc mis à jour 10 fois par heure, soit une fois toutes les 6 minutes...

je consulte les stats et que vois je très/trop fréquemment :
Durée : 16 m 44 s
Page rechargée : 61

en 16 minutes, l'utilisateur réclame 61 fois un RSS qui pèse de l'ordre des 50 ko (donc pas tout léger)...
mais il y a mieux :

Durée : 03 m 54 s
Page rechargée : 42

qu'est ce qui expliquerait cette frénésie ? un réglage dans le about:config ?
un bug ? autre explication ?

sachant qu'à force, je pense que la surconsommation de bande-passante va se ressentir...

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[calimo]

qu'est ce qui expliquerait cette frénésie ? un réglage dans le about:config ?
un bug ? autre explication ?

C'est Firefox ? Ou d'autres outils ? La plupart sont ignorant de ces balises à ce que je sache (et tous l'ignorent si l'utilisateur fixe un autre temps).

Le plus efficace est probablement de repérer ceux qui ne respectent pas un temps minimum et d'envoyer un message d'erreur (dans l'idéal sous forme de flux, histoire qu'il soit bien affiché).

Message envoyé avec : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.8.1.1) Gecko/20061208 Firefox/2.0.0.1

Edit : quand je dis message d'erreur je pense à "message d'explication"

[HP]

C'est Firefox ? Ou d'autres outils ?

les exemples donnés ne sont tirés que de divers utilisateurs (FAI différents) de Firefox, uniquement Firefox, comme le titre du topic semblait l'indiquer...


Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[HP]

La plupart sont ignorant de ces balises à ce que je sache (et tous l'ignorent si l'utilisateur fixe un autre temps).

ouais... super les agrégateurs... (Firefox, donc ici, en l'occurrence)
quand est ce que les balises seront supportées ?
d'autant qu'elles ne sont pas si nombreuses en fait et que surtout ça rime à rien d'avoir des balises qui de toute façon ne sont pas "human readable" et qu'aucun outil, ou presque, ne supporte...

ouais, ouais... bé je pense que dans les années à venir on risque d'encore beaucoup rigoler avec le RSS... d'un autre côté, les hébergeurs doivent se frotter les mains avec un tel gaspillage

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[myahoo]

en 16 minutes, l'utilisateur réclame 61 fois un RSS qui pèse de l'ordre des 50 ko (donc pas tout léger)...

Question bête : d'où viennent ces chiffres ? Parce que s'il s'agit d'une page ou d'un site, peut-être est-ce un grand nombre puisqu'il y a plusieurs visiteurs / utilisateurs de ce RSS, non ?

Message envoyé avec : Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.2) Gecko/20070219 Firefox/2.0.0.2

[HP]

en 16 minutes, l'utilisateur réclame 61 fois un RSS qui pèse de l'ordre des 50 ko (donc pas tout léger)...

Question bête : d'où viennent ces chiffres ? Parce que s'il s'agit d'une page ou d'un site, peut-être est-ce un grand nombre puisqu'il y a plusieurs visiteurs / utilisateurs de ce RSS, non ?

justement, les chiffres correspondent à chaque fois à une IP sur une page spécifique...
t'inquiète, je suis malheureusement sûr de ces chiffres (puisque issus d'une application PHP que je connais particulièrement bien, installée et configurée par mes soins)

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[HP]

Le plus efficace est probablement de repérer ceux qui ne respectent pas un temps minimum et d'envoyer un message d'erreur (dans l'idéal sous forme de flux, histoire qu'il soit bien affiché).

je pense que je vais commencer à réfléchir à un développement dans ce sens...

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[Benoit]

Pourquoi ne pas utiliser tout simplement une réponse HTTP 304 (Non modifié) au lieu de renvoyer le fil à chaque fois ? Il doit y avoir moyen de préciser la date d'expiration dans les en-têtes HTTP aussi, d'ailleurs.

Sinon, est-ce que tu as un moyen de savoir s'il s'agit de Firefox "nu" (les marque-pages dynamiques) ou d'une extension de type Sage ?

[HP]

Sinon, est-ce que tu as un moyen de savoir s'il s'agit de Firefox "nu" (les marque-pages dynamiques) ou d'une extension de type Sage ?

ça oui... il me semble que Sage envoie une chaîne UA légèrement modifiée...
et je suis en mesure de le détecter donc, je vérifierai çà dans mes 'array' juste pour avoir le bout de chaîne testé.
les deux exemples sont donc des Firefox nus consultant des marques pages dynamiques (un peu trop même )

es tu sûr qu'une entête 304 serait efficace ?
par contre, au niveau du traitement de mon script, je ne sais pas si je réussirais à récupérer un indicateur fiable assez tôt pour envoyer l'entête

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[HP]

Sinon, est-ce que tu as un moyen de savoir s'il s'agit de Firefox "nu" (les marque-pages dynamiques) ou d'une extension de type Sage ?

ça oui... il me semble que Sage envoie une chaîne UA légèrement modifiée...
et je suis en mesure de le détecter donc, je vérifierai çà dans mes 'array' juste pour avoir le bout de chaîne testé.

Code : Tout sélectionner

  "sage" => array(
    "icon" => "firefox",
    "title" => "Firefox Sage Extension",
    "rule" => array(
      "Sage" => ""
    )
  ),

donc si Sage s'identifie toujours en envoyant une UA spécifique, ce sont bien des Firefox nus avec lesquels j'ai quelques soucis...

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[Benoit]

Tous, ou une petite fraction des Firefox ? Est-ce que c'est le comportement par défaut qui fait ça, des gens qui ont été bidouiller leur about:config, ou une sorte d'extension à la Fasterfox ?

Selon les cas on pourrait ouvrir un bug, déconseiller l'extension, etc.

[HP]

Tous, ou une petite fraction des Firefox ?

une fraction seulement... mais une fraction trop importante.

Est-ce que c'est le comportement par défaut qui fait ça, des gens qui ont été bidouiller leur about:config,

qu'est ce qui expliquerait cette frénésie ? un réglage dans le about:config ?
un bug ? autre explication ?

c'est pas moi le spécialiste du Gecko et encore moins des marques pages dynamiques que je n'ai jamais utilisé... quand on connaît les possibilités de RSS on a du mal à se satisfaire de cet ersatz.

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[calimo]

Regarde peut-être aussi les extensions comme NewsFox, Fizzle ou Wizz RSS News Reader.
Peut-être aussi les applications susceptibles d'utiliser Firefox comme moteur ? Liferea, etc (je pense pas pour Liferea qui est basé sur Gnome, mais certaines applis pourraient être suffisemment intégrées...)

[HP]

Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.2) Gecko/20070219 Firefox/2.0.0.2
Durée : 06 m 55 s
Page rechargée : 14
soit une fois toutes les 30 secondes !!!

Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.2) Gecko/20070219 Firefox/2.0.0.2
Durée : 39 m 06 s
Page rechargée : 20
c'est déjà plus raisonnable...
mais le RSS n'est toujours mis à jour par le serveur qu'une fois toutes les 6 minutes...

Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1
Durée : 02 m 51 s
Page rechargée : 12

et ce ne sont que quelques exemples au hasard... ce ne sont malheureusement pas des cas isolés...


à titre info, Liferea renvoit un UA complet l'identifiant sans ambiguïté...
donc, personne ne sait... ça ne m'étonne qu'à moitié...
merci quand même d'avoir essayé

Message envoyé avec : Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1.2) Gecko/20070223 Firefox/2.0.0.2 (Mac Community Build, ElFurbe)

[pascal]

lorsque le fil RSS n'est pas parsable ou indisponible, la mise à jour passe de une fois toutes les heures je crois (défaut) à une fois toutes les quelques minutes. Il est donc probable que ton fil RSS soit trop sollicité et que ton serveur ne soit pas capable de le générer en permanence avec fiabilité. Chose fréquente lorsque c'est un site très fréquenté et qu'il n'y a aucune solution de cache du fil rss, le bouchon d'étranglement étant en général le nombre d'accès simultanés possibles à la bdd.

donc :
- utiliser une solution de cache html du fil
- utiliser toutes les balises d'expiration nécessaires (ce que tu sembles faire)
- utiliser les entêtes d'expiration http, inutile de renvoyer du contenu pour rien
- t'assurer que dans ton fil, tu n'intègres pas de données qui cassent le rss comme des caractères interdits (genre & au lieu de &) dans les liens.

Message envoyé avec : Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.2) Gecko/20070219 Firefox/2.0.0.2