aussperren von bestimten useragenten - baseportal Forum - Web-Anwendungen einfach, schnell, leistungsfähig!
baseportal
English - Deutsch "Es gibt keine dummen Fragen - jeder hat einmal angefangen"

 baseportal-ForumDie aktuellsten 10, 30, 50, 100 Einträge anzeigen.  

 
 Ausgewählter Eintrag: Zur Liste 
    Beitrag von mk (966 Beiträge) am Mittwoch, 7.Januar.2009, 18:11. WWW: vokabeltrainer-online.net
    aussperren von bestimten useragenten

      Hallo,

      eben war es mal wieder soweit, ein useragent den ich nicht kannte, legte meinen Server lahm.
      (Er wollte alle meine Vokabellisten indizieren.)
      Eigentlich filtere ich die unerwünschten useragenten aus.
      Nun meine Frage, hat einer eine Liste von solchen unerwünschten useragenten?
      Ich kenne bis jetzt nur diese:

      <eBay Relevance Ad Crawler powered by contentDetection (www.mindup.de) 
<Mediapartners-Google 
<Mozilla/5.0 (compatible; AMZNKAssocBot/4.0) 
<Mozilla/5.0 (compatible; Yahoo! Slurp; <http://help.yahoo.com/help/us/ysearch/slurp) 
<Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

      Michael


    Antworten

 Alle Einträge zum Thema: Zur Liste 
    Beitrag von mk (966 Beiträge) am Mittwoch, 7.Januar.2009, 18:11. WWW: vokabeltrainer-online.net
    aussperren von bestimten useragenten

      Hallo,

      eben war es mal wieder soweit, ein useragent den ich nicht kannte, legte meinen Server lahm.
      (Er wollte alle meine Vokabellisten indizieren.)
      Eigentlich filtere ich die unerwünschten useragenten aus.
      Nun meine Frage, hat einer eine Liste von solchen unerwünschten useragenten?
      Ich kenne bis jetzt nur diese:

      <eBay Relevance Ad Crawler powered by contentDetection (www.mindup.de) 
<Mediapartners-Google 
<Mozilla/5.0 (compatible; AMZNKAssocBot/4.0) 
<Mozilla/5.0 (compatible; Yahoo! Slurp; <http://help.yahoo.com/help/us/ysearch/slurp) 
<Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

      Michael

     Antworten

    Beitrag von Pouraga (1396 Beiträge) am Mittwoch, 7.Januar.2009, 18:46.
    Re: aussperren von bestimten useragenten

      Dies ist eine sinnloser Art seine Inhalte zu schützen.

      Der Client sendet diese Information freiwillig. Warum sollte ein wirklich böser sich "outten". Die tauchen als Internetexplorer oder googlebot in deiner Statistik unter.

      Die Oben von dir genannten sind Crawler, ihr Aufgabe IST deine Seite zu indizieren. Soweit ich das Überblicke halten sie sich alle an die Regeln, wenn du ihnen sagst das sie die Vokabelliste nichtmehr aufrufen sollen, werden sie das auch lassen.

      http://de.selfhtml.org/diverses/robots.htm
      http://de.selfhtml.org/html/kopfdaten/meta.htm#robots

      Suchcrawler einen anderen Seiteninhalt vorzugaukeln führt übrigens schnell dazu, dass die gesamte Webseite rausfliegt.


      Mach besser eine maximalzahl von Aufrufen/IP oder nen Captcha um zu verhindern das jemand deine Vokabelliste klaut. Noch sicherer ist es wenn du sie garnicht erst ins Internet stellst ;).


      Wenn dich das nicht überzeugt: http://useragent.xtractpro.com/
      Viel Erfolg

     Antworten

    Beitrag von mk (966 Beiträge) am Mittwoch, 7.Januar.2009, 19:38.
    Re: Re: aussperren von bestimten useragenten

      bei mir geht es nicht darum die Inhalte zu schützen, da die Vokabellisten für jeden privaten Gebrauch frei sind.
      Eigentlich will ich ja dass die robots die Vokabellisten besuchen, aber wenn der Server zusammenbricht waren immer die robots in den Protokollen gelistet.
      Ich versuche jetzt mal die robots.txt dafür einzusetzen.

      Michael

     Antworten

    Beitrag von Pouraga (1396 Beiträge) am Donnerstag, 8.Januar.2009, 00:17.
    Re: Re: Re: aussperren von bestimten useragenten

      Achso,

      Kannst unter Umständen auch einiges an den Serverinstellungen optimieren. Da steht zwar 0.5s Ausführungszeit (was schon echt viel ist) aber die Seite dauert bei mir mehrere Sekunden im Aufbau, daher vermute ich das modperl garnicht läuft und baseportal als cgi ausgeführt wird. (taucht perl als eigener Prozess im System auf, dann ist das so) Wenn du das änderst wird der Server gleich 100 mal mehr Aufrufe verkraften.
      http://perl.apache.org/


      Andererseit entlastest du den Server mit einer xml sitemap (kann man auch ganz gut mit Baseportal automatisch generieren) Neben google lesen die auch einige andere Crawler. Nicht geänderte Seiten werden dann nicht ständig erneut besucht. 
       https://www.google.com/webmasters/tools/docs/de/protocol.html

     Antworten


     
 Liste der Einträge von 9300 bis 9450:Einklappen Zur Eingabe 
Neueste Einträge << 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | Neuere Einträge < Zur Eingabe  > Ältere Einträge | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 >> Älteste Einträge

Zurück zur Homepage

© baseportal.de. Alle Rechte vorbehalten. Nutzungsbedingungen



powered in 0.38s by baseportal.de
Erstellen Sie Ihre eigene Web-Datenbank - kostenlos!