+- MyBB Depo Forum (https://mybbdepo.com)
+-- Forum: MyBB Genel Depo (https://mybbdepo.com/mybb-genel-depo-forumu)
+--- Forum: MyBB Güvenlik (https://mybbdepo.com/mybb-guvenlik-forumu)
+--- Konu Başlığı: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek (/robots-txt-ile-crawler-engelleme-sitenizin-kopyalanmasini-engellemek-konusu.html)
Sayfalar:
1
2
Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - Red0x - 29-03-2015
İlk Önce Belirtmek İsterim Alıntıdır.
Aşşağıdaki Robots.txt içeriğini olduğu gibi robots.txt içersine kopyalayın.
Dipnot : Sakın herhangi bir satırda değişiklik yapmayın! Çalışmayabilir!
peki bunları entegre ettik diyelim robots.txt ye ne işimize yarayacak... hemen bahsedeyim
SiteSnagger,WebStripper,WebCopier,Offline Explorer,Teleport,TeleportPro,HTTrack,Microsoft.URL.Control,Download Ninja,wget,filegetcontent,WebReaper Gibi Yazılımlardan Servisleri Kullanan Kullanıcılar bildiğiniz gibi sitenizin kopyasını .html versiyonuyla veya sahte .php uzantısıyla sitenizin Client-Side Görünümünü Çekmeye çalışırlar ve fake'ini yapmaya çalışırlar veya aynı yazılımı taklit etmeye çalışırlar bunun önüne %85'e Varan önüne geçiyorsunuz. bu yazılımları kullanıp sitenizin görüntüsünü gölgesini çekmeye çalıştığında işe yaramayacaktır. hiç birşey çekemeyecektir.
PHP Kod:
# Cryptr.Org Robots.txt Controller (Değiştirirseniz Görevini Yitirir)
# Crawlerlar Devre Dışı
User-agent: UbiCrawler
Disallow: /
User-agent: DOC
Disallow: /
User-agent: Zao
Disallow: /
# Website görüntüsünü kopyalayan user-agentler devre dışı
User-agent: sitecheck.internetseer.com
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: linko
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: larbin
Disallow: /
User-agent: libwww
Disallow: /
User-agent: ZyBORG
Disallow: /
User-agent: Download Ninja
Disallow: /
# agent isteklerde fast geçenler
User-agent: fast
Disallow: /
#website kopyalayıcılar indiriciler ssh modu devre dışı
User-agent: wget
Disallow: /
#
# The 'grub' distributed client has been *very* poorly behaved.
#
User-agent: grub-client
Disallow: /
#
# robots.txt yi takip engelle
#
User-agent: k2spider
Disallow: /
#
# hit ölçerler site değeri ölçerler devre dışı
# http://www.nameprotect.com/botinfo.html
User-agent: NPBot
Disallow: /
# public sayfaları indexof sayfaları çeken bot devre dışı
# http://www.webreaper.net/
User-agent: WebReaper
Disallow: /
User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Allow: /
sitemap: http://siteadresi.com/sitemap.xml
Cvp: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - PowerTeam - 29-03-2015
İşe Yarar Çok Teşekkürler
Cvp: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - Red0x - 30-03-2015
Denedim Çalışıyor Beyler.
Cvp: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - H4CK4L - 01-04-2015
PHP Kod:
# Advertising-related bots:
User-agent: Mediapartners-Google*
Disallow: /
User-agent: UbiCrawler
Disallow: /
User-agent: DOC
Disallow: /
User-agent: Zao
Disallow: /
User-agent: sitecheck.internetseer.com
Disallow: /
User-agent: Download Ninja
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: larbin
Disallow: /
User-agent: libwww
Disallow: /
User-agent: linko
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: ZyBORG
Disallow: /
User-agent: wget
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: k2spider
Disallow: /
User-agent: NPBot
Disallow: /
User-agent: WebReaper
Disallow: /
%100 Sağlar
)
Cvp: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - Red0x - 03-04-2015
kodlar aynı
Cvp: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - Bloody - 04-04-2015
Teşekkürler, arşivime ekledim
Cvp: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - Red0x - 04-04-2015
Önemli Değil.
Cvp: Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek - Relay - 31-07-2015
Kod:
# Cryptr.Org Robots.txt Controller (Değiştirirseniz Görevini Yitirir)yazmışsınız hocam
Lakin .htaccess, robots.txt gibi yerlerde # belirtmek için mesaj vermek için vs. kullanılır ve silinse farketmez.. phpdede mesela;/ **
* mesaj
* yazı
**/
gibisinden..