Il y a quelque temps, les mo­teurs de re­cherche per­met­taient de sa­voir avec quasi-cer­ti­tude si une in­for­ma­tion se trou­vait sur le Web ou non. Au­jourd’hui, avec la mul­ti­pli­ca­tion des pages, ceux-ci sont dé­bor­dés dans la tâche d’in­dexa­tion et ne par­viennent donc plus à em­ma­ga­si­ner l’in­formation…

Faiblesses#

Il y a un an à peine, une re­cherche in­fruc­tueuse avec AltaVista si­gni­fiait le plus sou­vent que l’on ne trou­ve­rait pas ce qu’on vou­lait sur le Web. Au­jourd’hui, le constat est lé­gè­re­ment dif­fé­rent. Il n’est pas rare en ef­fet, dans le cas d’une re­cherche très pré­cise, de trou­ver très peu de ré­ponses avec la plu­part des mo­teurs de re­cherche, tout en sa­chant per­ti­nem­ment que l’ob­jet de la re­cherche se trouve quelque part. Le pro­blème est que la page en ques­tion n’a pas en­core été vi­si­tée par les ro­bots su­bor­don­nés aux mo­teurs de re­cherche et est donc in­con­nue de ceux-ci.

Un exemple simple : cher­chez donc le mot « fh­jghfk­jghdfkh » qui de­vrait nor­ma­le­ment vous conduire à cette page. Il y a fort à pa­rier que vous ne le trou­verez pas.

Le Web croît de fa­çon ex­po­nen­tielle et les mo­teurs de re­cherche sont confron­tés à deux pro­blèmes dif­fé­rents : mettre à jour les don­nées qu’ils pos­sèdent déjà et en ré­col­ter de nouvelles.

Les difficultés de mise à jour#

La pre­mière fois qu’un ro­bot passe sur une page, il se charge de la mé­mo­ri­ser et de l’in­té­grer dans la base de don­nées. Si cette page est par la suite mo­di­fiée, ce qui est fré­quem­ment le cas, le ro­bot n’en aura pas connais­sance et ce sera tou­jours l’an­cienne ver­sion qui sera connue du mo­teur de re­cherche. Il fau­dra at­tendre qu’un ro­bot se risque de nou­veau sur cette page pour qu’il re­marque et consigne les mo­di­fi­ca­tions. Cela peut prendre un cer­tain temps, beau­coup de temps en gé­né­ral. D’au­tant plus que les braves ro­bots qui ar­pentent le Web n’ont pas que ça à faire.

La découverte de nouvelles pages#

Il leur faut en ef­fet éga­le­ment ré­fé­ren­cer les nou­velles pages qui ap­pa­raissent. Le pro­blème est alors lé­gè­re­ment moindre car la plu­part des web­mestres qui créent un nou­veau site le ré­fé­rencent dans les mo­teurs de re­cherche et les pages du site en ques­tion se­ront alors in­dexées sous les pro­chaines 48 heures.

Ce­pen­dant, très peu de web­mestres s’amusent à ré­en­re­gis­trer le site quand de nou­velles pages ap­pa­raissent et il fau­dra de nou­veau at­tendre qu’un ro­bot re­passe dans le coin pour dé­cou­vrir les nou­velles pages… Cela peut être éga­le­ment as­sez long.

Des capacités de recherche diminuées#

Le Web croît de fa­çon ex­po­nen­tielle, cela si­gni­fie que de plus en plus de pages se créent et donc que le contenu est de plus en plus im­por­tant. Mais pen­dant ce temps, les mo­teurs de re­cherche ont de plus en plus de mal à in­gur­gi­ter les nou­velles pages ce qui fait que le pour­cen­tage de pages in­dexées di­mi­nue mois après mois.

Cela ne di­mi­nue pas vé­ri­ta­ble­ment les ca­pa­ci­tés de re­cherche car les mo­teurs en­re­gistrent de plus en plus de pages, mais cela si­gni­fie qu’il est fort pos­sible de ne pas trou­ver quelque chose alors que ce quelque chose se trouve dans le re­coin d’un site.

Des solutions#

Du côté de l’uti­li­sa­teur, il n’y a pas grand chose à faire, à part peut-être ap­prendre à uti­li­ser au mieux les res­sources exis­tantes et no­tam­ment les newsgroups.

Du côté des sites, la plu­part mettent en place des mo­teurs de re­cherche, du coup, il « suf­fit » de tom­ber sur un site en­glo­bant le su­jet cher­ché pour trou­ver, peut-être, l’in­for­ma­tion. Ce­pen­dant, la mul­ti­pli­cité de ces pe­tits mo­teurs de re­cherche rend leur usage difficile.

Il existe ce­pen­dant des mo­teurs de re­cherche qui uti­lisent des mo­teurs de re­cherche. Ce sont des mé­ta­cher­cheurs. Mais leur ef­fi­ca­cité est éga­le­ment li­mi­tée par la ca­pa­cité des mo­teurs de re­cherche utilisés.

Coopération#

Pour contour­ner le pro­blème et évi­ter d’être noyé dans une masse d’in­for­ma­tions in­son­dable, il fau­drait donc mettre en place un sys­tème qui fa­ci­li­te­rait la vie des ro­bots. Par exemple, lorsqu’un site est mis à jour, ce­lui-ci gère un fi­chier (si­tué à la ra­cine du site par exemple) in­di­quant les pages mises à jour ou créées. Ainsi, les ro­bots n’au­ront qu’à re­gar­der ce fi­chier pour sa­voir quelles pages vi­si­ter. Cette tech­nique per­met­trait d’ac­croître consi­dé­ra­ble­ment leur ef­ficacité.

Il y a aussi la so­lu­tion de contour­ner la « pa­resse » des web­mestres par des ou­tils plus adap­tés : en ef­fet, si les web­mestres n’en­re­gistrent pas au­to­ma­ti­que­ment dans les mo­teurs de re­cherche les pages mo­di­fiées et créées, des ou­tils pour­raient s’en char­ger au­to­ma­ti­que­ment. Il suf­fit par exemple de mettre au point un ou­til qui met­trait à jour un site en in­di­quant à quelques mo­teurs de re­cherche la ré­fé­rence des nou­velles pages.