Imprimer

[alex]

Mise à jour : 21 mars 2017 Une IP ajoutée à la liste de blocages (voir ce message)

Mise à jour : 28 janvier 2017 (voir ajout à la fin de cet article)

Autant les backlinks sont nécessaires à un site, autant les outils de mesure de ce backlink qui se multiplient et respectent quand et comme ils le peuvent une certaine éthique, devient problèmatique.
Le commun des mortels ne connait pas le backlink et c'est pourtant aux simples mortels que nous devons ce backlink.

Toi, simple visiteur ou inscrit, tu connais le backlink pour avoir déjà pratiqué.
Ils s'appellent backlink. Et c'est pourtant vous, commun des mortels, qui générez ces backlink pour la plupart.
Si, si ! C'est vrai ! Je vous explique.


Un backlink, c'est quoi ?

Un backlink, c'est un lien vers un autre site.
Un backlink, c'est tout simplement un lien vers une page, une image, une vidéo, etc. qui vous a donné envie de donner ce lien sur un autre site, un réseau social, la plupart du temps.

Imaginons !
Ici, sur chez-oim.org, je difuse la vidéo d'un chat qui se retire la fourrure pour se mettre à poil et afficher sa virilité de mâle !
Vous allez jeter le lien vers la page de la vidéo sur Facebook, Twitter, Google+, le blog des amis, etc. Comme sur l'image au dessus.
Tous ces liens que vous allez "lâcher" sur le web vers mon site s'appeleront backlink.
Un backlink est un lien qui pointe vers un site grâce à une action humaine. Ce n'est donc pas une pub qui ferait le même boulot sans avoir regardé la vidéo !

Vous savez ce qu'est un backlink ? Tant mieux ! J'avais un peu peur de ne pas y arriver.
Ne vous inquiètez pas, on ne vous en voudra jamais de faire la pub de notre site avec des liens, bien au contraire.
On vous est extrêment reconnaissant de bien vouloir faire connaitre notre site au delà de tous les autres sites, là bas, dans la plaine des sites que nous ne connaissons pas.
MERCI ET ENCORE MERCI !

"On", c'est qui ?
C'est tous les webmasters du monde. Quand vous donnez un lien sur un site Y vers le site X, vous rendez le webmaster du site X heureux.
Retenez ceci, simplement ceci. Vous aimez un site ? Glissez un lien vers ce site sur un autre site (un backlink ).
Tous les liens n'ont pas la même valeur, mais c'est aux webmasters qu'il appartient de faire le ménage, pas à vous.


A PARTIR D'ICI COMMENCE LA PARTIE "GEEK" DE L'ARTICLE
CETTE PARTIE S'ADRESSE AUX WEBMASTERS


Vous avez déjà vu des bots passer un temps de fou et pomper une bande passante de folie sur votre site, n'est-ce pas ?
Webmeup, c'est ces nouveaux crawlers qui recherchent uniquement du lien, du backlink, plus précisément.
Certains de ces crawlers ne se gênent pas et pillent la bande passante d'un site.
Webmeup semble plus raisonnable. J'ai dit semble ! Je n'ai pas regardé les chiffres. Mais quelques chose me dit que si il est présent plusieurs jours de suites, c'est qu'il prend sont temps. Enfin, espérons le.
A l'inverse, on a Majestic qui est un véritable salopard et qui pille toutes vos pages en un minimum de temps !
Oh oui ! Ce Majestic respecte le robots.txt et sa directive crawl-delai, mais si vous utilisez cette directive crawl-delai pour ralentir "l'engin", vous aurez plusieurs Majestic présents simultanément !
Vaste fumisterie ! Un robot est ralenti ? On vous envoie deux robots et même plus ! Les directives du robots.txt s'adressent à un seul robot, pas un groupe !

Ces nouveaux outils de mesure du backlink sont utiles pour certains, c'est clair et net. Mais il va falloir mettre le hola ! Ces outils ne peuvent pas tout ce permettre et, à mon avis, Google les a déjà mis à la porte.
Ces outils, tous payants, pillent le réseau le plus rapidement possible afin d'engranger des données à jour. Et pour être à jour, il faut repasser, encore et encore.
Alors quoi ? Blacklistage ? On laisse faire ?

Si ces outils voulaient des renseignements fiables, ils s'adresseraient à Google, n'est ce pas ?
Alors pourquoi passent-ils sur nos sites en effectuant un véritable pillage de la bande passante ? Pourquoi ?
Je suis d'avis que soit ils n'ont pas trouvé d'accord financier avec Google, soit Google ne veut pas de concurrence.
Quoi qu'il en soit, certains bots ne peuvent pas continuer leur ratissage du réseau comme ils le font. A cette heure, il n'est pas rare de fournir plus de 50% de bande passante pour des bots !
Cette emprise sur le réseau doit cesser ! Les points de peering ont leurs règles mais le net à les siennes aussi !

Ici, j'ouvre une brèche, afin de voir l'ampleur du problème. Je n'ai pas de souci à me faire, la bande passante, j'ai jusqu'à plus soif.
N'hésitez pas à me contacter, en répondant à ce post, en me mailant, bref ! Vous êtes webmasters, vous me trouverez.
Il faut faire quelque chose contre ces bots qui nous pillent tous les jours !



D'avance, je tiens à vous remercier, tous, absolument tous, pour votre implication et votre inquiétude de ce que devient le réseau, un trafic en majorité payant.
Merci à tous !



Mise à jour du 24 janvier 2017 suivie de celle du 21 mars 2017

4 outils de mesure du backlink sont maintenant bloqués sur ce site. Ces 4 outils ne seront peut-être pas les seuls.

Ces 4 outils sont les suivants :

• Ahrefs
• Majestic
• Semrush
• Webmeup

Ces 4 outils se servent sans aucune retenue et pompent chacun des milliers de pages tous les jours.
La bande passante ? Ils ne connaissent pas, c'est gratuit !
Si il se comportaient de cette façon chez Google, je commence à comprendre pourquoi ça n'a pas duré...

Concernant Majestic et Semrush, ils ne font aucune difficulté et respectent le robots.txt
Il est donc très simple de les bloquer en ajoutant 3 lignes à son robots.txt :

Code

User-agent: MJ12bot
User-agent: SemrushBot-SA
Disallow: /

Attention ! SemrushBot ne respectera votre robots.txt que quelques jours, certainement dans l'espoir de vous endormir en vous faisant croire qu'il vous obéit. Il convient donc de blacklister sa plage IP (46.229.168.0/24)

J'ai bien tenté de bloquer Ahrefs de la même façon, puisqu'ils disent respecter robots.txt sur leur site, mais ça ne marche pas.
Ahrefs ne respecte pas le robots.txt ! C'est toujours bon à savoir.

Du coup, il faut bloquer leurs IPs pour avoir la paix.
Avec un serveur Apache, ajoutez ces lignes dans votre .htaccess racine pour bloquer Semrush et Ahrefs :

Code

Order Allow,Deny
Allow from all
Deny from 163.172.64.0/24
Deny from 163.172.65.0/24
Deny from 163.172.66.0/24
Deny from 46.229.168.0/24
Deny from 148.251.10.183

Vous recevrez encore quelques visites de Ahrefs sur d'autres IPs, mais ça ne dépassera pas 5 pages par jour.

Bien sûr, ces IPs seront maintenues à jour et, si d'aventure, les deux premiers décidaient de ne plus respecter le robots.txt, leurs IPs seront données ici même.


Le 28 janvier 2017 :

SemrushBot a décidé cette nuit qu'il ne respecterait plus le robots.txt
Sa plage IP a donc été ajoutée à la liste de blocages ci dessus.

[maximus23]

Bonsoir,

C'est pour cela que je t'avais parlé du système nofollow ici sur le forum.

Le backlink n’est pas pris en compte par les moteurs s’il se situe dans une zone en attribut ou balise nofollow.

Donc on sait très bien limiter les liens qui doivent être pris en compte par les moteurs de recherche.

De plus ils calculent les liens suivant un algorithme de ciblage qui doit correspondre à la thématique du site.

Par exemple :

– la qualité et la confiance.
– la proximité thématique
– le nombre des autres liens externes présents sur la page

Maintenant si tout cela est utilisé avec parcimonie cela peut renforcer le SEO et la position de maintient dans la globalisation de l'indexation. Plus les liens seront pertinents plus la position sera élevée.

Donc l'idéal est de mettre un texte pertinent en relation avec la thématique globale de votre site et d'insérer un lien vers un site reconnu pouvant expliquer la suite de votre message.

Attention de ne pas faire n'importe quoi car cela pourrait aussi devenir du spam et là la chute de référencement pourrait-être dure car n'oubliez pas que ceux qui supervisent tout cela ne sont pas des ânes et que c'est une question d'argent au final pour eux.

Pour moi le mieux est de faire de commun accord des échanges de liens avec les différents sites que vous connaissez.

Maintenant pour la bande passante bannir ces outils sur ton site n'empêche pas ces outils de lister tes backlinks externes...

 

[alex]

Le nofollow, c'est en place ici depuis le début.

Mais un bot, pour qu'il sache qu'un lien est en nofollow, il faut bien qu'il visite ce lien.
Et il revisitera ce lien pour savoir si il existe encore et si il est encore en nofollow !

quant à la thématique, tu connais des balises thématiques ?
Ces bots cherches des liens, tous les liens ! Pas seulement ceux de ton site.

Ici, tous les liens sont nofollow, les bots le savent et ils repassent quand même.

Si tu es tranquille, c'est que c'est ton hébergeur qui fait du tri sur le trafic entrant.

[alex]

A compter de cet instant, le robot MJ12bot de Majestic est bloqué.
Ras le bol de me faire piller entre 3.000 et 5.000 pages quotidiennement sans aucun respect pour la bande passante.

[alex]

Le robot SemrushBot-SA de l'outil Semrush, dont le siège se trouve dans le paradis fiscal de Chypre, prend la même direction que son petit copain Majestic, à savoir la porte.

[maximus23]

Bonjour,

Chez toi les bots se réjouissent : 25 Invités,(22 Robots)
Yandex [Russie], Yahoo! [USA], Google [USA] (2), Bing [USA] (3), Ahrefs [Singapore] (15)

Qu'est-ce que Singapour vient foutre par ici ? 15 connections ?

 

[alex]

J'ai rajouté une pelleté de bots dans SMF.
Ahrefs fait justement partie de ces outils de mesure du backlink que j'ai ajouté pour pouvoir le surveiller de prêt.
Si il fait n'importe quoi comme les deux autres déjà bloqués, il prendra la porte aussi.

Je veux bien que bots passent, c'est pas un problème. Mais si ça tourne au pillage de la bande passante et des ressources système, c'est la porte.
La bande passante et les ressources du serveur sont réservées en priorité aux membres, puis aux invités, puis aux crawlers de moteurs de recherche et en dernier, ces saletés de bots d'outils de mesure du backlink.
Un sérieux ménage s'impose dans ces bots qui ne sont là que pour vendre les données qu'ils récupèrent.

Ils veulent des datas à jour ? Qu'ils aillent voir Google !

[maximus23]

Bonjour,

En tout cas ton Singapour il est là toute la journée et il doit bouffer un max de bande passante toujours là avec un mini de 15 connexions.

Yandex [Russie], Bing [USA] (2), Ahrefs [Singapore] (17)

  

[alex]

Oui, je vois ça.
Je le garde à l'étude un minimum de 24h, comme les autres.

En tout cas, il est dans la bonne direction vers la sortie.

[alex]

Le robot AhrefsBot de l'outil Ahrefs se dirige également vers la sortie.

On va bien finir par avoir la paix !

[maximus23]

Il fluctue depuis ce matin ou je me suis connecté entre 15 et 17 sans interruptions jusqu'à cette heure.

 

[alex]

Il a récupéré plus de 1.400 pages aujourd'hui et il est là tous les jours.

Je dis stop ! Allez chez Google chercher vos infos !

[alex]

Le robot AhrefsBot de l'outil Ahrefs ne respectant pas le robots.txt, un blocage IP a débuté.

[maximus23]

Oui avec les fichiers Robots.txt cela ne fonctionne pas ils ne les respectent pas du tout 

[alex]

Les deux premiers, Majestic et Semrush, le respectent.

Pourtant, ces enfoirés de chez Ahrefs disent qu'ils respectent le robots.txt sur leur site.
M'enfin, c'est pas grave, un blocage IP ne coute pas plus cher.

T'as vu comme on est tranquilles, d'un coup ?