Re: Google, Ebay Crawler aussperren - baseportal Forum - Web-Anwendungen einfach, schnell, leistungsfähig!
baseportal
English - Deutsch "Es gibt keine dummen Fragen - jeder hat einmal angefangen"

 baseportal-ForumDie aktuellsten 10, 30, 50, 100 Einträge anzeigen.  

 
 Ausgewählter Eintrag: Zur Liste 
    Beitrag von Pouraga (1396 Beiträge) am Dienstag, 30.September.2008, 18:42.
    Re: Google, Ebay Crawler aussperren

      Sag dennen doch einfach das du sie nicht möchtest. Das sind brave Boys, alle genannten lesen und achten die robots.txt .

      noindex bzw. nofollow in die Metatags der Seite bzw. in die robots.txt
      z.b. um die ganze Seite für alle Bots zu sperren.
       
      User-Agent: *
      Disallow: /*

      Oder einschränken so wie du willst.

      "böse" Bots, die sich nicht um die robots.txt scheren, wirst du mit deiner methode meist sowieso nicht sperren können, weil die sich einfach als normaler Browser im HTTP_USER_AGENT ausgeben.

      btw.: Das Problem ist nicht die das(/) sondern die Leerzeichen, die müssen bei der Abfrage maskiert werden. Oder frage einfach als array ab, dann musst du dich nicht darum kümmern. 
      get ["useragent","~=",$useragent], "../sperre";


    Ihre Antwort:

    Name: EMail: EMail bei Antwort? WWW:
    Titel:
    Text:

    Neuer Eintrag


 Alle Einträge zum Thema: Zur Liste 
    Beitrag von mk (966 Beiträge) am Dienstag, 30.September.2008, 18:10. WWW: vokabeltrainer-online.net
    Google, Ebay Crawler aussperren

      Hallo,

      ich habe versucht Google, Ebay Crawler aussperren,
      teilweise klappt es auch, nur nicht bei allen Einträgen.
      So hab ich es gemacht:
      <perl>
$useragent=$_HTTP_USER_AGENT;
get "Id=* useragent~=$useragent ", "../sperre";
if ($_amount >= 1)
{
include "../kopf2";
#Hier das was die Suchdienste sehen sollen
}
else
{
#hier ist die eigentliche Seite
}
</perl>

      In der Datenbank sperre habe ich dies eingetragen:
      1. eBay Relevance Ad Crawler powered by contentDetection (www.mindup.de)
      2. Mediapartners-Google
      3. Mozilla/5.0 (compatible; AMZNKAssocBot/4.0)

      Durch den 3. Eintrag wird aber auch z.B. dies ausgefiltert:

      Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.17) Gecko/20080829 Firefox/2.0.0.17

      Was mache ich falsch?
      Ich denke es sind die Sonderzeichen (/).
      Aber wie muß es richtig sein?

      Michael

     Antworten

    Beitrag von Pouraga (1396 Beiträge) am Dienstag, 30.September.2008, 18:42.
    Re: Google, Ebay Crawler aussperren

      Sag dennen doch einfach das du sie nicht möchtest. Das sind brave Boys, alle genannten lesen und achten die robots.txt .

      noindex bzw. nofollow in die Metatags der Seite bzw. in die robots.txt
      z.b. um die ganze Seite für alle Bots zu sperren.
       
      User-Agent: *
      Disallow: /*

      Oder einschränken so wie du willst.

      "böse" Bots, die sich nicht um die robots.txt scheren, wirst du mit deiner methode meist sowieso nicht sperren können, weil die sich einfach als normaler Browser im HTTP_USER_AGENT ausgeben.

      btw.: Das Problem ist nicht die das(/) sondern die Leerzeichen, die müssen bei der Abfrage maskiert werden. Oder frage einfach als array ab, dann musst du dich nicht darum kümmern. 
      get ["useragent","~=",$useragent], "../sperre";

     Antworten

    Beitrag von mk (966 Beiträge) am Dienstag, 30.September.2008, 19:46.
    Re: Re: Google, Ebay Crawler aussperren

      Danke Pouraga,

      ich habe die Abfrage nun als array gemacht.
      So wie es aussieht geht es.
      Der Sinn dessen ist nicht Google und Co auszusperren, sondern nur von einem Teil der Seite.
      Da ja dort auch etwas Werbung drinn ist.
      So könnte ich Goggle und Co auch etwas vorgaukeln was auf der Seite ist, was ich aber nicht mache.

      Michael

     Antworten


     
 Liste der Einträge von 10050 bis 10125:Einklappen Zur Eingabe 
Neueste Einträge << 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | Neuere Einträge < Zur Eingabe  > Ältere Einträge | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 >> Älteste Einträge

Zurück zur Homepage

© baseportal.de. Alle Rechte vorbehalten. Nutzungsbedingungen



powered in 0.05s by baseportal.de
Erstellen Sie Ihre eigene Web-Datenbank - kostenlos!