Blogs: Trop de liens tue le lien

Dans un billet récent, je mentionnais la grande pauvreté en liens de la blogosphère : un lien pour 12 billets en France, un pour six aux États-Unis. Et encore, ces chiffres sont-ils des moyennes. Les liens sont très inégalement distribués, aussi bien du côté de ceux qui les émettent que de ceux qui les reçoivent. Dans les deux cas, ils suivent une de ces lois fascinantes dont l'univers social abonde, qu'on appelle "loi de puissance". C'est en gros le principe bien connu des 80-20, mais en pire : 3 à 4% des blogs raflent 80% des liens. La chose est connue depuis longtemps (voir par exemple ici [traduction] ; voir également dans l'article Blogosphère sur Wikipedia).

Distribution des liens entrants pour les blogs de Wikio.fr en septembre

Elle signifie que la plupart des blogs sont dans une (très) longue "traîne", et ne reçoivent presque aucun lien, ou sont même purement et simplement orphelins. Il en va ainsi également des liens sortants. La plupart des billets n'en contiennent aucun, mais certains en contiennent des quantités : ce sont souvent des listes de blogs (ne serait-ce que celles du classement Wikio, reproduites un peu partout...) Si rien n'est fait, cette toute petite quantité de billets déséquilibre tous les calculs de score.

C'est d'ailleurs la même chose sur le Web en général. Brin et Page avaient bien compris le problème, et ont imaginé une contre-mesure pour le calcul du Page Rank (voir leur papier original pdf). Le poids de chaque lien sortant d'une page est divisé par le nombre de liens sur la page : si la page contient N liens, le poids de chacun est 1/N (dans la pratique il y a un facteur d'amortissement, qui fait que c'est plutôt 0.85/N, mais cela n'a pas d'incidence sur mon raisonnement). Ce type de décroissance est dit "hyperbolique" à cause de la jolie forme d'hyperbole que prennent les valeurs quand on les reporte sur un graphique :

Poids sortant des liens dans le page Rank de Google

Jusqu'ici le Wikio Rank, sur lequel est basé le classement, mais aussi l'affichage des billets, n'utilisait aucune limitation de ce type. L'impact était modéré tant que le calcul ne faisait intervenir que les liens de billet à billet, mais le prochain classement tiendra compte aussi des liens vers les pages d'accueil (vous l'avez souhaité dans vos commentaires, et les calculs que j'ai montrés ici indiquent que c'est nécessaire : il y a autant de liens vers les pages d'accueil que vers des billets pour le français). L'impact des listes serait alors important et tout à fait indésirable.

La formule du Page Rank ne m'a pas parue adaptée. En effet, la décroissance du poids en fonction du nombre de liens est extrêmement violente : les liens n'ont plus qu'un poids de 0,5 si la page en contient deux, 0,33 si elle en contient 3 et 0,1 si elle en contient dix. Étant donné la pénurie de lien que j'ai décrite ici, la formule me semble beaucoup trop pénalisante. Elle n'incite guère à lier les autres ! Je me demande d'ailleurs pourquoi Google n'en a pas changé, car la pénurie de liens qui affecte les blogs affecte le Web dans son ensemble. L'immense majorité des pages ne sont purement et simplement pas liées et le calcul du Page Rank y est impossible.

J'ai opté pour une autre formule très simple à comprendre, même si les termes sont un peu savants, et qui correspond à ce qu'on appelle une décroissance exponentielle :

poids = exp(-α(N-1))

On peut choisir des valeurs diverses pour α entre 0 et 1 et on a alors des décroissances plus ou moins prononcées. J'ai choisi α = 0,1 pour des raisons que j'expliquerai plus loin. Le résultat apparaît sur le diagramme ci-dessous. Si une page contient deux liens, chacun pèse environ 0,9 (et non 0,5 comme dans le page Rank), avec trois liens chacun pèse environ 0,81 (au lieu de 0,33), etc.


On voit que la courbe exponentielle s'infléchit beaucoup moins vite que la courbe hyperbolique pour des nombres de liens faibles, alors qu'elle est beaucoup plus pénalisante pour des nombres de liens importants. Il faudrait agrandir la queue du graphique pour y voir clair, mais pour 100 liens sortants, le poids envoyé par la formule du Page Rank est 218 fois supérieur à celui de la formule que je propose. Ce sont exactement les propriétés souhaitées : être généreux sur les nombres de liens faibles, et très pénalisant sur les longues listes. Je ne sais pas pourquoi Google n'a pas adopté quelque chose de ce type. Je suis convaincu que ça améliorerait le ranking sur le Web également.

Le poids total qu'émet une page n'a pas la même allure dans les deux cas. Il est assez simple de comprendre que si une page a N liens, le poids total qu'elle émet avec la formule Google est N * 1/N, c'est-à-dire 1. Le poids sortant est constant quel que soit le nombre de liens de la page (c'est sans doute la propriété qui a séduit Brin et Page). Avec la formule que je propose, le poids total dépend du nombre de liens, puisqu'il correspond à

N * exp(-α(N-1))

Cette courbe a une propriété intéressante. Elle part de 1, puis atteint rapidement un maximum, et diminue ensuite progressivement pour tendre vers 0 : les pages qui ont énormément de liens ont une contribution globale à l'ensemble du système proche de 0.


Pourquoi cette valeur magique α = 0,1 vous direz-vous peut-être ? Si vous en êtes arrivé ici dans ce billet, c'est que vous n'êtes pas totalement réfractaire aux maths. Continuons donc, si vous le voulez bien. Je vous promets que je ne dépasserai pas le niveau Terminale. J'ai choisi la valeur α qui maximise le poids total sortant de la page exactement pour N = 10. j'aurais pu choisir 9, ou 11, ou 12... Mais il m'a semblé de façon empirique que 10 était un bon compromis. Au-delà, on commence à trouver de plus en plus de listes (les fameuses "chaînes"), d'extraits de classements, ou de spam pur et simple... Donc, ceci étant posé, comment trouve-t-on α quand on a fixé N ? C'est là qu'il faut se souvenir que lorsqu'une fonction atteint son maximum, sa dérivée s'annule... Hou là là, mal au crâne. Je vous passe donc la formule de Leibnitz et tout le tuttim, mais vous pourrez aisément vérifier que la dérivée de x exp(-α(x-1)) est

(1 - α x) exp(-α(x-1))

Et tout bêtement, quand on remplace x par 10, on obtient (1-10 α) exp(-9 α) = 0. Et bingo, comme exp(-9 α) n'est pas nul, 1-10 α doit l'être. Donc α = 1/10 = 0,1. Voilà.

Les résultats sont très intéressants sur le prochain classement...