İlk Önce Belirtmek İsterim Alıntıdır.
Aşşağıdaki Robots.txt içeriğini olduğu gibi robots.txt içersine kopyalayın.
Dipnot : Sakın herhangi bir satırda değişiklik yapmayın! Çalışmayabilir!
peki bunları entegre ettik diyelim robots.txt ye ne işimize yarayacak... hemen bahsedeyim
SiteSnagger,WebStripper,WebCopier,Offline Explorer,Teleport,TeleportPro,HTTrack,Microsoft.URL.Control,Download Ninja,wget,filegetcontent,WebReaper Gibi Yazılımlardan Servisleri Kullanan Kullanıcılar bildiğiniz gibi sitenizin kopyasını .html versiyonuyla veya sahte .php uzantısıyla sitenizin Client-Side Görünümünü Çekmeye çalışırlar ve fake'ini yapmaya çalışırlar veya aynı yazılımı taklit etmeye çalışırlar bunun önüne %85'e Varan önüne geçiyorsunuz. bu yazılımları kullanıp sitenizin görüntüsünü gölgesini çekmeye çalıştığında işe yaramayacaktır. hiç birşey çekemeyecektir.
Aşşağıdaki Robots.txt içeriğini olduğu gibi robots.txt içersine kopyalayın.
Dipnot : Sakın herhangi bir satırda değişiklik yapmayın! Çalışmayabilir!
peki bunları entegre ettik diyelim robots.txt ye ne işimize yarayacak... hemen bahsedeyim
SiteSnagger,WebStripper,WebCopier,Offline Explorer,Teleport,TeleportPro,HTTrack,Microsoft.URL.Control,Download Ninja,wget,filegetcontent,WebReaper Gibi Yazılımlardan Servisleri Kullanan Kullanıcılar bildiğiniz gibi sitenizin kopyasını .html versiyonuyla veya sahte .php uzantısıyla sitenizin Client-Side Görünümünü Çekmeye çalışırlar ve fake'ini yapmaya çalışırlar veya aynı yazılımı taklit etmeye çalışırlar bunun önüne %85'e Varan önüne geçiyorsunuz. bu yazılımları kullanıp sitenizin görüntüsünü gölgesini çekmeye çalıştığında işe yaramayacaktır. hiç birşey çekemeyecektir.
PHP Kod:
# Cryptr.Org Robots.txt Controller (Değiştirirseniz Görevini Yitirir)
# Crawlerlar Devre Dışı
User-agent: UbiCrawler
Disallow: /
User-agent: DOC
Disallow: /
User-agent: Zao
Disallow: /
# Website görüntüsünü kopyalayan user-agentler devre dışı
User-agent: sitecheck.internetseer.com
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: linko
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: larbin
Disallow: /
User-agent: libwww
Disallow: /
User-agent: ZyBORG
Disallow: /
User-agent: Download Ninja
Disallow: /
# agent isteklerde fast geçenler
User-agent: fast
Disallow: /
#website kopyalayıcılar indiriciler ssh modu devre dışı
User-agent: wget
Disallow: /
#
# The 'grub' distributed client has been *very* poorly behaved.
#
User-agent: grub-client
Disallow: /
#
# robots.txt yi takip engelle
#
User-agent: k2spider
Disallow: /
#
# hit ölçerler site değeri ölçerler devre dışı
# http://www.nameprotect.com/botinfo.html
User-agent: NPBot
Disallow: /
# public sayfaları indexof sayfaları çeken bot devre dışı
# http://www.webreaper.net/
User-agent: WebReaper
Disallow: /
User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Allow: /
sitemap: http://siteadresi.com/sitemap.xml
