Chez oim, forum libre

Débattre => Informatique, programmation, geek attitude... => Discussion démarrée par: alex le dimanche 18 décembre 2016, 03:48

Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 18 décembre 2016, 03:48
(https://static.chez-oim.org/img/backlink2.png)


Mise à jour : 21 mars 2017 Une IP ajoutée à la liste de blocages (voir ce message) (https://chez-oim.org/index.php/topic,1830.msg26081.html#msg26081)
Mise à jour : 28 janvier 2017 (voir ajout à la fin de cet article)

Autant les backlinks sont nécessaires à un site, autant les outils de mesure de ce backlink qui se multiplient et respectent quand et comme ils le peuvent une certaine éthique, devient problèmatique.
Le commun des mortels ne connait pas le backlink et c'est pourtant aux simples mortels que nous devons ce backlink.

Toi, simple visiteur ou inscrit, tu connais le backlink pour avoir déjà pratiqué.
Ils s'appellent backlink. Et c'est pourtant vous, commun des mortels, qui générez ces backlink pour la plupart.
Si, si ! C'est vrai ! Je vous explique.


Un backlink, c'est quoi ?

Un backlink, c'est un lien vers un autre site.
Un backlink, c'est tout simplement un lien vers une page, une image, une vidéo, etc. qui vous a donné envie de donner ce lien sur un autre site, un réseau social, la plupart du temps.

Imaginons !
Ici, sur chez-oim.org, je difuse la vidéo d'un chat qui se retire la fourrure pour se mettre à poil et afficher sa virilité de mâle !
Vous allez jeter le lien vers la page de la vidéo sur Facebook, Twitter, Google+, le blog des amis, etc. Comme sur l'image au dessus.
Tous ces liens que vous allez "lâcher" sur le web vers mon site s'appeleront backlink.
Un backlink est un lien qui pointe vers un site grâce à une action humaine. Ce n'est donc pas une pub qui ferait le même boulot sans avoir regardé la vidéo !

Vous savez ce qu'est un backlink ? Tant mieux ! J'avais un peu peur de ne pas y arriver.
Ne vous inquiètez pas, on ne vous en voudra jamais de faire la pub de notre site avec des liens, bien au contraire.
On vous est extrêment reconnaissant de bien vouloir faire connaitre notre site au delà de tous les autres sites, là bas, dans la plaine des sites que nous ne connaissons pas.
MERCI ET ENCORE MERCI ! :)

"On", c'est qui ?
C'est tous les webmasters du monde. Quand vous donnez un lien sur un site Y vers le site X, vous rendez le webmaster du site X heureux.
Retenez ceci, simplement ceci. Vous aimez un site ? Glissez un lien vers ce site sur un autre site (un backlink ;)).
Tous les liens n'ont pas la même valeur, mais c'est aux webmasters qu'il appartient de faire le ménage, pas à vous.


A PARTIR D'ICI COMMENCE LA PARTIE "GEEK" DE L'ARTICLE
CETTE PARTIE S'ADRESSE AUX WEBMASTERS



Vous avez déjà vu des bots passer un temps de fou et pomper une bande passante de folie sur votre site, n'est-ce pas ?
Webmeup, c'est ces nouveaux crawlers qui recherchent uniquement du lien, du backlink, plus précisément.
Certains de ces crawlers ne se gênent pas et pillent la bande passante d'un site.
Webmeup semble plus raisonnable. J'ai dit semble ! Je n'ai pas regardé les chiffres. Mais quelques chose me dit que si il est présent plusieurs jours de suites, c'est qu'il prend sont temps. Enfin, espérons le.
A l'inverse, on a Majestic qui est un véritable salopard et qui pille toutes vos pages en un minimum de temps !
Oh oui ! Ce Majestic respecte le robots.txt et sa directive crawl-delai, mais si vous utilisez cette directive crawl-delai pour ralentir "l'engin", vous aurez plusieurs Majestic présents simultanément !
Vaste fumisterie ! Un robot est ralenti ? On vous envoie deux robots et même plus ! Les directives du robots.txt s'adressent à un seul robot, pas un groupe !

Ces nouveaux outils de mesure du backlink sont utiles pour certains, c'est clair et net. Mais il va falloir mettre le hola ! Ces outils ne peuvent pas tout ce permettre et, à mon avis, Google les a déjà mis à la porte.
Ces outils, tous payants, pillent le réseau le plus rapidement possible afin d'engranger des données à jour. Et pour être à jour, il faut repasser, encore et encore.
Alors quoi ? Blacklistage ? On laisse faire ?

Si ces outils voulaient des renseignements fiables, ils s'adresseraient à Google, n'est ce pas ?
Alors pourquoi passent-ils sur nos sites en effectuant un véritable pillage de la bande passante ? Pourquoi ?
Je suis d'avis que soit ils n'ont pas trouvé d'accord financier avec Google, soit Google ne veut pas de concurrence.
Quoi qu'il en soit, certains bots ne peuvent pas continuer leur ratissage du réseau comme ils le font. A cette heure, il n'est pas rare de fournir plus de 50% de bande passante pour des bots !
Cette emprise sur le réseau doit cesser ! Les points de peering ont leurs règles mais le net à les siennes aussi !

Ici, j'ouvre une brèche, afin de voir l'ampleur du problème. Je n'ai pas de souci à me faire, la bande passante, j'ai jusqu'à plus soif.
N'hésitez pas à me contacter, en répondant à ce post, en me mailant, bref ! Vous êtes webmasters, vous me trouverez.
Il faut faire quelque chose contre ces bots qui nous pillent tous les jours !



D'avance, je tiens à vous remercier, tous, absolument tous, pour votre implication et votre inquiétude de ce que devient le réseau, un trafic en majorité payant.
Merci à tous !




Mise à jour du 24 janvier 2017 suivie de celle du 21 mars 2017

4 outils de mesure du backlink sont maintenant bloqués sur ce site. Ces 4 outils ne seront peut-être pas les seuls.

Ces 4 outils sont les suivants :

Ces 4 outils se servent sans aucune retenue et pompent chacun des milliers de pages tous les jours.
La bande passante ? Ils ne connaissent pas, c'est gratuit !
Si il se comportaient de cette façon chez Google, je commence à comprendre pourquoi ça n'a pas duré...

Concernant Majestic et Semrush, ils ne font aucune difficulté et respectent le robots.txt
Il est donc très simple de les bloquer en ajoutant 3 lignes à son robots.txt :
Code
User-agent: MJ12bot
User-agent: SemrushBot-SA
Disallow: /

Attention ! SemrushBot ne respectera votre robots.txt que quelques jours, certainement dans l'espoir de vous endormir en vous faisant croire qu'il vous obéit. Il convient donc de blacklister sa plage IP (46.229.168.0/24)

J'ai bien tenté de bloquer Ahrefs de la même façon, puisqu'ils disent respecter robots.txt sur leur site, mais ça ne marche pas.
Ahrefs ne respecte pas le robots.txt ! C'est toujours bon à savoir.

Du coup, il faut bloquer leurs IPs pour avoir la paix.
Avec un serveur Apache, ajoutez ces lignes dans votre .htaccess racine pour bloquer Semrush et Ahrefs :
Code
Order Allow,Deny
Allow from all
Deny from 163.172.64.0/24
Deny from 163.172.65.0/24
Deny from 163.172.66.0/24
Deny from 46.229.168.0/24
Deny from 148.251.10.183

Vous recevrez encore quelques visites de Ahrefs sur d'autres IPs, mais ça ne dépassera pas 5 pages par jour.

Bien sûr, ces IPs seront maintenues à jour et, si d'aventure, les deux premiers décidaient de ne plus respecter le robots.txt, leurs IPs seront données ici même.


Le 28 janvier 2017 :

SemrushBot a décidé cette nuit qu'il ne respecterait plus le robots.txt
Sa plage IP a donc été ajoutée à la liste de blocages ci dessus.

Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: maximus23 le dimanche 18 décembre 2016, 04:27
Bonsoir,

C'est pour cela que je t'avais parlé du système nofollow ici sur le forum.

Le backlink n’est pas pris en compte par les moteurs s’il se situe dans une zone en attribut ou balise nofollow.

Donc on sait très bien limiter les liens qui doivent être pris en compte par les moteurs de recherche.

De plus ils calculent les liens suivant un algorithme de ciblage qui doit correspondre à la thématique du site.

Par exemple :

– la qualité et la confiance.
– la proximité thématique
– le nombre des autres liens externes présents sur la page

Maintenant si tout cela est utilisé avec parcimonie cela peut renforcer le SEO et la position de maintient dans la globalisation de l'indexation. Plus les liens seront pertinents plus la position sera élevée.

Donc l'idéal est de mettre un texte pertinent en relation avec la thématique globale de votre site et d'insérer un lien vers un site reconnu pouvant expliquer la suite de votre message.

Attention de ne pas faire n'importe quoi car cela pourrait aussi devenir du spam et là la chute de référencement pourrait-être dure car n'oubliez pas que ceux qui supervisent tout cela ne sont pas des ânes et que c'est une question d'argent au final pour eux.

Pour moi le mieux est de faire de commun accord des échanges de liens avec les différents sites que vous connaissez.

Maintenant pour la bande passante bannir ces outils sur ton site n'empêche pas ces outils de lister tes backlinks externes...

 :-\ :gh: ^-^
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 18 décembre 2016, 04:36
Le nofollow, c'est en place ici depuis le début.

Mais un bot, pour qu'il sache qu'un lien est en nofollow, il faut bien qu'il visite ce lien.
Et il revisitera ce lien pour savoir si il existe encore et si il est encore en nofollow !

quant à la thématique, tu connais des balises thématiques ?
Ces bots cherches des liens, tous les liens ! Pas seulement ceux de ton site.

Ici, tous les liens sont nofollow, les bots le savent et ils repassent quand même.

Si tu es tranquille, c'est que c'est ton hébergeur qui fait du tri sur le trafic entrant. ;)
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le vendredi 20 janvier 2017, 10:54
A compter de cet instant, le robot MJ12bot de Majestic est bloqué.
Ras le bol de me faire piller entre 3.000 et 5.000 pages quotidiennement sans aucun respect pour la bande passante.
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le samedi 21 janvier 2017, 19:01
Le robot SemrushBot-SA de l'outil Semrush, dont le siège se trouve dans le paradis fiscal de Chypre, prend la même direction que son petit copain Majestic, à savoir la porte.
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: maximus23 le samedi 21 janvier 2017, 20:44
Bonjour,

Chez toi les bots se réjouissent : 25 Invités,(22 Robots)
Yandex [Russie], Yahoo! [USA], Google [USA] (2), Bing [USA] (3), Ahrefs [Singapore] (15)

Qu'est-ce que Singapour vient foutre par ici ? 15 connections ?

 :iz:

Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le samedi 21 janvier 2017, 20:51
J'ai rajouté une pelleté de bots dans SMF.
Ahrefs fait justement partie de ces outils de mesure du backlink que j'ai ajouté pour pouvoir le surveiller de prêt. :in:
Si il fait n'importe quoi comme les deux autres déjà bloqués, il prendra la porte aussi.

Je veux bien que bots passent, c'est pas un problème. Mais si ça tourne au pillage de la bande passante et des ressources système, c'est la porte.
La bande passante et les ressources du serveur sont réservées en priorité aux membres, puis aux invités, puis aux crawlers de moteurs de recherche et en dernier, ces saletés de bots d'outils de mesure du backlink.
Un sérieux ménage s'impose dans ces bots qui ne sont là que pour vendre les données qu'ils récupèrent. :il:

Ils veulent des datas à jour ? Qu'ils aillent voir Google !
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: maximus23 le dimanche 22 janvier 2017, 15:07
Bonjour,

En tout cas ton Singapour il est là toute la journée et il doit bouffer un max de bande passante toujours là avec un mini de 15 connexions.

Yandex [Russie], Bing [USA] (2), Ahrefs [Singapore] (17)

 :iw:  :iz:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 22 janvier 2017, 15:15
Oui, je vois ça.
Je le garde à l'étude un minimum de 24h, comme les autres.

En tout cas, il est dans la bonne direction vers la sortie. :ja:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 22 janvier 2017, 17:55
Le robot AhrefsBot de l'outil Ahrefs se dirige également vers la sortie.

On va bien finir par avoir la paix ! :ga:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: maximus23 le dimanche 22 janvier 2017, 18:00
Il fluctue depuis ce matin ou je me suis connecté entre 15 et 17 sans interruptions jusqu'à cette heure.

 :iw:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 22 janvier 2017, 18:13
Il a récupéré plus de 1.400 pages aujourd'hui et il est là tous les jours.

Je dis stop ! Allez chez Google chercher vos infos ! :gb:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 22 janvier 2017, 18:34
Le robot AhrefsBot de l'outil Ahrefs ne respectant pas le robots.txt, un blocage IP a débuté.
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: maximus23 le dimanche 22 janvier 2017, 18:57
Oui avec les fichiers Robots.txt cela ne fonctionne pas ils ne les respectent pas du tout  :iz:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 22 janvier 2017, 19:04
Les deux premiers, Majestic et Semrush, le respectent. :iz:

Pourtant, ces enfoirés de chez Ahrefs disent qu'ils respectent le robots.txt sur leur site.
M'enfin, c'est pas grave, un blocage IP ne coute pas plus cher.

T'as vu comme on est tranquilles, d'un coup ? :)
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: maximus23 le dimanche 22 janvier 2017, 19:13
Tu ne connais pas un bon site qui reprend toutes les Ips de tout ce trucs qui emmerdent le monde ?

:)
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 22 janvier 2017, 19:19
J'ai fait une recherche tout à l'heure, y a pas moyen de trouver une info à jour.
Du coup, pour avoir des IP fiables, il faut se plonger dans les logs. :iz:

Mais faut pas faire dans le détail, faut bloquer des plages entières.
Exemple : X.Y.Z.0/24
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: maximus23 le dimanche 22 janvier 2017, 19:23
Oui je bloque aussi 255*255 mais bon parfois c'est un peu trop *255 ou /16 devrait  être suffisant.

J'ai rien trouvé non plus d'où ma demande car on devrait avoir une base type à jour...  :il:

 ^-^
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le dimanche 22 janvier 2017, 19:35
Sinon, fais une recherche du côté de l'APNIC, ça doit être ça Singapore.
Leurs IP ont été achetées. Théoriquement elles ne sont pas secrètes.
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: Bafaboy le lundi 23 janvier 2017, 00:03
Nofollow, webmeup, backlink, j'ai tout lu depuis le début, je n'ai rien compris. Vous discutez entre spécialistes.
Qu'est ce qu'un nofollow sur un forum, ou un backlink ?
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le lundi 23 janvier 2017, 07:00
T'as même pas lu le premier post, j'y explique ce qu'est un backlink. :gi:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: Bafaboy le lundi 23 janvier 2017, 16:01
T'as même pas lu le premier post, j'y explique ce qu'est un backlink. :gi:

J'ai lu mais je n'ai pas compris la deuxième partie. De toute façon en informatique je suis largué !  :iw:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le lundi 23 janvier 2017, 19:36
C'est pourtant bien marqué, la deuxième partie s'adresse aux webmasters, alors ma foi. :iq:
Si tu n'es pas webmaster, ça te fait une belle jambe ce qui se passe sur le réseau, non ?
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le mardi 24 janvier 2017, 14:25
Article original mis à jour en incluant les 3 robots bloqués, les directives robots.txt pour ceux qui le respectent et les plages IPs pour ceux qui ne le respectent pas.
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le samedi 28 janvier 2017, 12:38
SemrushBot a décidé cette nuit qu'il ne respecterait plus le robots.txt
Sa plage IP a donc été ajoutée à la liste de blocages du premier post de cet article.
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le mardi 21 mars 2017, 15:34
Le blocage de webmeup semblait fonctionner puisque celui ci ne prenait plus que quelques pages par jour (moins de 10).
Ca n'aura pas duré longtemps puisque webmeup recommence à prendre les pages par centaines depuis une seule IP !

Voici cette IP : 148.251.10.183
Cette IP a pour sous domaine blexhn34.webmeup.com et appartient à l'hébergeur allemand Hetzner Online.

Cette adresse IP a donc été ajoutée à la liste du premier post de ce topic.

Bien sûr, j'ai vérifié, et il existe aussi blexhn33.webmeup.com, blexhn32.webmeup.com, etc...
Le seul souci, c'est que ces bots utilisent tous le préfixe IP 148.251.0.0/16, mais les IPs sont "dispersées" dans le préfixe, elle ne se suivent pas. Il risque donc de s'y trouver des sites légitimes.
Pour l'instant donc, je préfère bloquer cette seule IP citée ci-dessus plutôt que le préfixe. Ceci dit, si Webmeup persiste et s'acharne, le blocage de la plage entière sera effectué, tant pis...
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: Bafaboy le lundi 27 mars 2017, 10:55
Hey les geeks, quelqu'un peut me faire du back link pour ma chaîne ? Je mérite d'être une star internationale, et je dis ça en toute modestie !  :jq:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le lundi 27 mars 2017, 11:14
C'est simple.
Tu t'inscris sur des millions de forums ou blogs et tu postes un lien à chaque fois. Juste un lien, pas plus (Le plus simple, c'est les blogs où on peut commenter directement).
Plus il y a de liens, plus ils perdent en valeur.
Tu as juste a créer une adresse mail pour l'occasion. :iq:

Vérifie aussi que les liens ne sont pas en "nofollow", sinon un backlink perd en gros 90% de sa valeur.
C'est le cas ici, tous les liens sont en "nofollow". Et c'est coincé, la manette à nofollow est cassée, je peux pas le retirer. :aa
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: Bafaboy le lundi 27 mars 2017, 13:18
Voilà un problème franco français ! On n'empêche les stars françaises de grimper, on préfère les stars américaines !!!  :hc:
Titre: Les outils de mesure du backlink, oui, mais à quel prix ?
Posté par: alex le lundi 27 mars 2017, 13:32
Mais eeeuh ! Je t'ai dit que la manette à nofollow est cassée. Je ne peux plus modifier le réglage, il me faut une perceuse. :iq: