MyBBDepo - Türkiyenin MyBB Deposu Forumuna Hoşgeldiniz
Eğer sitemize yaptığınız ilk ziyaretiniz ise, lütfen öncelikle Forum Kurallarını okuyunuz. Forumumuzda bilgi alışverişinde bulunabilmeniz için Kayıt olmalısınız. Üye olmayanlar forumumuzdan yararlanamazlar.
Eğer zaten kayıtlı kullanıcı iseniz, lütfen kullanıcı adınız ve şifreniz ile, Giriş yapınız. (Sitemize üyelik ücretsizdir).
Red0x avatar
Konuyu Oyla:
  • Derecelendirme: 5/5 - 1 oy
  • 1
  • 2
  • 3
  • 4
  • 5

Derecelendirme: 5/5 - 1 oy

Robots.txt ile Crawler Engelleme,sitenizin kopyalanmasını engellemek


Sponsor Reklam

Çevrimdışı Red0x
 Tarih: 29-03-2015, Saat:02:11
#1
İlk Önce Belirtmek İsterim Alıntıdır.
Aşşağıdaki Robots.txt içeriğini olduğu gibi robots.txt içersine kopyalayın.
Dipnot : Sakın herhangi bir satırda değişiklik yapmayın! Çalışmayabilir!

peki bunları entegre ettik diyelim robots.txt ye ne işimize yarayacak... hemen bahsedeyim

SiteSnagger,WebStripper,WebCopier,Offline Explorer,Teleport,TeleportPro,HTTrack,Microsoft.URL.Control,Download Ninja,wget,filegetcontent,WebReaper Gibi Yazılımlardan Servisleri Kullanan Kullanıcılar bildiğiniz gibi sitenizin kopyasını .html versiyonuyla veya sahte .php uzantısıyla sitenizin Client-Side Görünümünü Çekmeye çalışırlar ve fake'ini yapmaya çalışırlar veya aynı yazılımı taklit etmeye çalışırlar bunun önüne %85'e Varan önüne geçiyorsunuz. bu yazılımları kullanıp sitenizin görüntüsünü gölgesini çekmeye çalıştığında işe yaramayacaktır. hiç birşey çekemeyecektir.


PHP Kod:
# Cryptr.Org Robots.txt Controller (Değiştirirseniz Görevini Yitirir)
# Crawlerlar Devre Dışı

User-agentUbiCrawler
Disallow
: /

User-agentDOC
Disallow
: /

User-agentZao
Disallow
: /

# Website görüntüsünü kopyalayan user-agentler devre dışı

User-agentsitecheck.internetseer.com
Disallow
: /

User-agentZealbot
Disallow
: /

User-agentMSIECrawler
Disallow
: /

User-agentSiteSnagger
Disallow
: /

User-agentWebStripper
Disallow
: /

User-agentWebCopier
Disallow
: /

User-agentFetch
Disallow
: /

User-agentOffline Explorer
Disallow
: /

User-agentTeleport
Disallow
: /

User-agentTeleportPro
Disallow
: /

User-agentWebZIP
Disallow
: /

User-agentlinko
Disallow
: /

User-agentHTTrack
Disallow
: /

User-agentMicrosoft.URL.Control
Disallow
: /

User-agentXenu
Disallow
: /

User-agentlarbin
Disallow
: /

User-agentlibwww
Disallow
: /

User-agentZyBORG
Disallow
: /

User-agentDownload Ninja
Disallow
: /

# agent isteklerde fast geçenler
User-agentfast
Disallow
: /

#website kopyalayıcılar indiriciler ssh modu devre dışı

User-agentwget
Disallow
: /

#
# The 'grub' distributed client has been *very* poorly behaved.
#
User-agentgrub-client
Disallow
: /

#
# robots.txt yi takip engelle
#
User-agentk2spider
Disallow
: /

#
# hit ölçerler site değeri ölçerler devre dışı
# http://www.nameprotect.com/botinfo.html
User-agentNPBot
Disallow
: /

# public sayfaları indexof sayfaları çeken bot devre dışı
# http://www.webreaper.net/
User-agentWebReaper
Disallow
: /

User-Agent: *
Disallow: /captcha.php
Disallow
: /editpost.php
Disallow
: /misc.php
Disallow
: /modcp.php
Disallow
: /moderation.php
Disallow
: /newreply.php
Disallow
: /newthread.php
Disallow
: /online.php
Disallow
: /printthread.php
Disallow
: /private.php
Disallow
: /ratethread.php
Disallow
: /report.php
Disallow
: /reputation.php
Disallow
: /search.php
Disallow
: /sendthread.php
Disallow
: /task.php
Disallow
: /usercp.php
Disallow
: /usercp2.php
Disallow
: /calendar.php
Allow
: /
sitemaphttp://siteadresi.com/sitemap.xml 
Cevapla
Bunu Beğenenler: SiberLeon , Bloody
Sponsor Reklam
Sponsor Reklam Sponsor Reklam

Çevrimdışı PowerTeam
 Tarih: 29-03-2015, Saat:19:32
#2
İşe Yarar Çok Teşekkürler Gülümseme
Cevapla
Bunu Beğenenler:

Çevrimdışı Red0x
 Tarih: 30-03-2015, Saat:18:16
#3
Denedim Çalışıyor Beyler.
Cevapla
Bunu Beğenenler:

Çevrimdışı H4CK4L
 Tarih: 01-04-2015, Saat:11:25
#4
PHP Kod:
# Advertising-related bots:

User-agentMediapartners-Google*
Disallow: /
User-agentUbiCrawler
Disallow
: /
User-agentDOC
Disallow
: /
User-agentZao
Disallow
: /
User-agentsitecheck.internetseer.com
Disallow
: /
User-agentDownload Ninja
Disallow
: /
User-agentFetch
Disallow
: /
User-agentHTTrack
Disallow
: /
User-agentlarbin
Disallow
: /
User-agentlibwww
Disallow
: /
User-agentlinko
Disallow
: /
User-agentMicrosoft.URL.Control
Disallow
: /
User-agentMSIECrawler
Disallow
: /
User-agentOffline Explorer
Disallow
: /
User-agentSiteSnagger
Disallow
: /
User-agentTeleport
Disallow
: /
User-agentTeleportPro
Disallow
: /
User-agentWebCopier
Disallow
: /
User-agentWebStripper
Disallow
: /
User-agentWebZIP
Disallow
: /
User-agentXenu
Disallow
: /
User-agentZealbot
Disallow
: /
User-agentZyBORG
Disallow
: /
User-agentwget
Disallow
: /
User-agentgrub-client
Disallow
: /
User-agentk2spider
Disallow
: /
User-agentNPBot
Disallow
: /
User-agentWebReaper
Disallow
: / 

%100 Sağlar Gülümseme)
Cevapla
Bunu Beğenenler:

Çevrimdışı Red0x
 Tarih: 03-04-2015, Saat:23:08
#5
kodlar aynı Gülümseme
Cevapla
Bunu Beğenenler:

Çevrimdışı Bloody
 Tarih: 04-04-2015, Saat:02:26
#6
Teşekkürler, arşivime ekledim Gülümseme
Cevapla
Bunu Beğenenler:

Çevrimdışı Red0x
 Tarih: 04-04-2015, Saat:15:12
#7
Önemli Değil.
Cevapla
Bunu Beğenenler:

Çevrimdışı Relay
 Tarih: 31-07-2015, Saat:16:43
#8
Kod:
# Cryptr.Org Robots.txt Controller (Değiştirirseniz Görevini Yitirir)

yazmışsınız hocam Gülümseme Lakin .htaccess, robots.txt gibi yerlerde # belirtmek için mesaj vermek için vs. kullanılır ve silinse farketmez.. phpdede mesela;

/ **
* mesaj
* yazı
**/

gibisinden..
Cevapla
Bunu Beğenenler:

 


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  .htaccess ile bot engelleme Smyrna35 7 4,978 17-03-2017, Saat:14:29
Son Yorum: VenomBoss
  İnc Klasörüne Erişimi Engelleme EmreKarakaya 38 18,368 21-07-2014, Saat:01:04
Son Yorum: erinkral
  Admin izinleri ile sitenizin elinizden alınmasını engelleyin #Criss 2 2,413 23-04-2014, Saat:11:29
Son Yorum: #Criss
  .htacess'a eklenen kodları engelleme Skeype 2 2,475 11-05-2013, Saat:13:29
Son Yorum: Smyrna35



Konuyu Okuyanlar: 1 Ziyaretçi