Springe zum Inhalt


Eine kleine Frage an die Experten zum Thema robots.txt

WordPress 2.3 ist ja mittlerweile erschienen und bringt eine hauseigene Funktion zum Taggen der Beiträge mit. Soweit so gut, die klappt auch wunderschön, habe ich bei der Spambox schon am Laufen.
Jetzt frage ich mich nur.. weil Double Content ist ja sowas von böse.. reicht es aus bzw. ist es richtig, folgenden Eintrag in die robots.txt zu schreiben?

User-agent: *
Disallow: /tag/$

Damit nicht jeder Beitrag von x Sachen aus erreichbar ist? Müsste doch, oder?

Insgesamt sieht sie so aus

User-agent: *
Disallow: /tag/$
Disallow: /search
Disallow: /blog//feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

Habs mir quasi von den untenstehenden Teilen abgeschaut.
Falls da jemand einen Tipp hat bzw einen Verbesserungsvorschlag.. immer her damit. :)

PS: Ganz vergessen, man soll doch seine Helden immer erwähnen und loben! Die Anleitung, die Tagwolke zu erstellen, habe ich bei SuMu gefunden – wunderbar verständlich und einfach, vielen lieben Dank! :)

PSS: Ahhh, des Rätsels Lösung. Warum nicht mal die Webmaster Tools benutzen?! Selbst ist der Uwe.
Also, meinen Kram da oben vergessen, ganz einfach

Disallow: /tag

einfügen, testen lassen und über so eine Meldung hier freuen:

http://spambox.uwe.vg/tag/emailspam/ Blocked by line 2: Disallow: /tag
Detected as a directory; specific files may have different restrictions

(Achja.. zwischen Doppelpunkt und Slash sollte eigentlich nen Leerzeichen stehen.. aber ich habe hier so tolle Verbesserungen durch ein Plugin, deswegen sind die futsch gegangen)

Verwandte Artikel

Abgelegt in (B)logisch.


12 Reaktionen

Stay in touch with the conversation, subscribe to the RSS feed for comments on this post.

  1. SuMu sagte

    Ab WP 2.3 wurde intern die Vermeidung von Duplicate Content durch unterschiedliche URLs vermieden. Jetzt wird auf eine unter Optionen zu definierenden fixen URL weitergeleitet, ganz gleich ob man eine Domain mit oder ohne http://www.-Präfix aufruft oder nicht.

    Bislang mußte man dieses mittels Plugins oder Einstellungen in der .htaccess-Datei beseitigen.

  2. Uwe sagte

    Das bezieht sich jetzt aber nur auf www oder nicht www? Hmm.. wenn ich das mal finden würde könnte ich den .htaccess Eintrag rausschmeißen

  3. Uwe sagte

    Ach.. ich Blödmann, ich gucke ja hier und hier rennt kein 2.3 :lol:

  4. Uwe sagte

    Aber..irgendwie ist auch da nix zu finden was zu deiner Beschreibung passt, nur eine Einstellung der Tag und Kategorie-Linknamen :(

  5. juliaL49 sagte

    Wenn du nicht mit der robots rummachen willst, kannst du auch mit index und noindex arbeiten. Guck mal hier:
    http://sw-guide.de/2007-05/dop.....vermeiden/

  6. SuMu sagte

    Für gewöhnlich ist es möglich, einen Blog sowohl über www. als auch ohne aufzurufen. Suchmaschinen können, sofern sie beide Versionen “entdecken” dies als duplicate content ansehen und deshalb abstrafen. WordPress leitet nun intern immer zu der Adresse um, die im Adminmenü eingestellt wurde. Ist also z.B. http://example.org als Blog-URL definiert, so wird automatisch auf diese Adresse umgeleitet, sollte jemand den Blog über http://www.example.org aufrufen.

    wp-blog

  7. Uwe sagte

    Meine Güte bin ich verwirrt
    Okay, jetzt verstehe ich das
    Und wieder habe ich hier rumgetestet bis ich merkte, dass hier kein 2.3 läuft.. ohman..
    :hug:

  8. SuMu sagte

    kompliziert zu denken ist ja auch einfacher :lach:

  9. Uwe sagte

    Schon, aber nicht wenn man Antworten und Lösungen braucht :schock:

  10. Uwe sagte

    Update auf 2.3 erfolgreich und dein erwähntes Feature klappt ebenfalls, supi! :)

  11. Michael sagte

    Ich boykottiere 2.3 noch, deshalb kann ich nichts sinnvolles zur Diskussion beitragen.

    Alles was ich kann ist diesen sinnlosen Kommentar schreiben.

    … eine Sache ist mir allerdings aufgefallen. Man sollte nicht unbedingt ganze Absätze aus dem WordPress Blog zitieren wie z.B. SuMu das mit

    Für gewöhnlich ist es möglich, einen Blog sowohl über www. als auch ohne aufzurufen. Suchmaschinen können, sofern sie beide Versionen “entdecken” dies als duplicate content ansehen und deshalb abstrafen. WordPress leitet nun intern immer zu der Adresse um, die im Adminmenü eingestellt wurde. Ist also z.B. http://example.org als Blog-URL definiert, so wird automatisch auf diese Adresse umgeleitet, sollte jemand den Blog über http://www.example.org aufrufen.

    getan hat. Das ist auch Duplicate Content! ;-)

  12. Uwe sagte

    Michael, was hast du denn gegen 2.3? Irgendwas zu verbergen? Zuviele Plugins? ;)

    Und..ach..DC.. nein, Google wird merken, dass SuMu mir damit helfen wollte und es auch geschafft hat.. und dein weiteres Zitieren wird als Ratschlag erkannt – das geht schon alles klar :love: (verdammt, fast hätte ich angefangen zu lachen)



Ein bisschen HMTL ist erlaubt

or, reply to this post via trackback.

Netiquette und Kommentatorenleitfaden

Vorm Kommentieren bitte lesen, verstehen und aktiv umsetzen.

  • Höflich, fair und legal bleiben
  • Spam jeglicher Art verboten
  • Bedenke, am anderen Seite der Internetleitung sitzt ein Mensch
  • Erstkommentare werden generell moderiert, bitte kein ungeduldiges Spammen
  • Wer sich nicht benehmen kann, der fliegt, in schlimmeren Fällen droht Schlimmeres.
  • Für ein eigenes Bild neben den Kommentaren http://en.gravatar.com/ besuchen

Ansonsten: verhaltet euch so, wie es eine hoffentlich vorhandene Kinderstube gebietet.