Last Updated on 14/11/2024
Thông thường, các bot sẽ quét toàn bộ các website trên server để thu thập dữ liệu, nhưng có một số bot gây phiền toái khi tiêu tốn nhiều băng thông, thậm chí làm chậm và gây lag cho server. Nếu bạn không muốn các công cụ tìm kiếm không cần thiết quét và thu thập dữ liệu từ website của mình, bạn có thể sử dụng tính năng này để chặn các bot xấu.
Đường dẫn chức năng:
VPSSIM Menu ==> Bảo Mật Server & Website ==> Block Bad Bots Scan Website
Danh sách các bot xấu được liệt kê trong tệp: /etc/nginx/conf/blockbadbots.conf
Bạn có thể thêm hoặc xóa các bot xấu trong tệp này tùy ý.
Nội dung của tệp này:
|
1 2 3 4 |
if ($http_user_agent ~* (360Spider|80legs.com|Abonti|AcoonBot|Acunetix|adbeat_bot|AddThis.com|adidxbot|ADmantX|AhrefsBot|AngloINFO|Antelope|Applebot|BeetleBot|billigerbot|binlar|bitlybot|BlackWidow|BLP_bbot|BoardReader|Bolt\ 0|BOT\ for\ JCE|Bot\ mailto\:craftbot@yahoo\.com|casper|CazoodleBot|CCBot|checkprivacy|ChinaClaw|chromeframe|Clerkbot|Cliqzbot|clshttp|CommonCrawler|comodo|CPython|crawler4j|Crawlera|CRAZYWEBCRAWLER|Curious|Curl|Custo|CWS_proxy|Default\ Browser\ 0|diavol|DigExt|Digincore|DIIbot|discobot|DISCo|DoCoMo|DotBot|Download\ Demon|DTS.Agent|EasouSpider|eCatch|ecxi|EirGrabber|Elmer|EmailCollector|EmailSiphon|EmailWolf|Exabot|ExaleadCloudView|ExpertSearchSpider|ExpertSearch|Express\ WebPictures|ExtractorPro|extract|EyeNetIE|Ezooms|F2S|FastSeek|feedfinder|FeedlyBot|FHscan|finbot|Flamingo_SearchEngine|FlappyBot|FlashGet|flicky|Flipboard|g00g1e|Genieo|genieo|GetRight|GetWeb\!|GigablastOpenSource|GozaikBot|Go\!Zilla|Go\-Ahead\-Got\-It|GrabNet|grab|Grafula|GrapeshotCrawler|GTB5|GT\:\:WWW|Guzzle|harvest|heritrix|HMView|HomePageBot|HTTP\:\:Lite|HTTrack|HubSpot|ia_archiver|icarus6|IDBot|id\-search|IlseBot|Image\ Stripper|Image\ Sucker|Indigonet|Indy\ Library|integromedb|InterGET|InternetSeer\.com|Internet\ Ninja|IRLbot|ISC\ Systems\ iRc\ Search\ 2\.1|jakarta|Java|JetCar|JobdiggerSpider|JOC\ Web\ Spider|Jooblebot|kanagawa|KINGSpider|kmccrew|larbin|LeechFTP|libwww|Lingewoud|LinkChecker|linkdexbot|LinksCrawler|LinksManager\.com_bot|linkwalker|LinqiaRSSBot|LivelapBot|ltx71|LubbersBot|lwp\-trivial|Mail.RU_Bot|masscan|Mass\ Downloader|maverick|Maxthon$|Mediatoolkitbot|MegaIndex|MegaIndex|megaindex|MFC_Tear_Sample|Microsoft\ URL\ Control|microsoft\.url|MIDown\ tool|miner|Missigua\ Locator|Mister\ PiX|mj12bot|Mozilla.*Indy|Mozilla.*NEWT|MSFrontPage|msnbot|Navroad|NearSite|NetAnts|netEstate|NetSpider|NetZIP|Net\ Vampire|NextGenSearchBot|nutch|Octopus|Offline\ Explorer|Offline\ Navigator|OpenindexSpider|OpenWebSpider|OrangeBot|Owlin|PageGrabber|PagesInventory|panopta|panscient\.com|Papa\ Foto|pavuk|pcBrowser|PECL\:\:HTTP|PeoplePal|Photon|PHPCrawl|planetwork|PleaseCrawl|PNAMAIN.EXE|PodcastPartyBot|prijsbest|proximic|psbot|purebot|pycurl|QuerySeekerSpider|R6_CommentReader|R6_FeedFetcher|RealDownload|ReGet|Riddler|Rippers\ 0|rogerbot|RSSingBot|rv\:1.9.1|RyzeCrawler|SafeSearch|SBIder|Scrapy|Scrapy|Screaming|SeaMonkey$|search.goo.ne.jp|SearchmetricsBot|search_robot|SemrushBot|Semrush|SentiBot|SEOkicks|SeznamBot|ShowyouBot|SightupBot|SISTRIX|sitecheck\.internetseer\.com|siteexplorer.info|SiteSnagger|skygrid|Slackbot|Slurp|SmartDownload|Snoopy|Sogou|Sosospider|spaumbot|Steeler|sucker|SuperBot|Superfeedr|SuperHTTP|SurdotlyBot|Surfbot|tAkeOut|Teleport\ Pro|TinEye-bot|TinEye|Toata\ dragostea\ mea\ pentru\ diavola|Toplistbot|trendictionbot|TurnitinBot|turnit|Twitterbot|URI\:\:Fetch|urllib|Vagabondo|Vagabondo|vikspider|VoidEYE|VoilaBot|WBSearchBot|webalta|WebAuto|WebBandit|WebCollage|WebCopier|WebFetch|WebGo\ IS|WebLeacher|WebReaper|WebSauger|Website\ eXtractor|Website\ Quester|WebStripper|WebWhacker|WebZIP|Web\ Image\ Collector|Web\ Sucker|Wells\ Search\ II|WEP\ Search|WeSEE|Wget|Widow|WinInet|woobot|woopingbot|worldwebheritage.org|Wotbox|WPScan|WWWOFFLE|WWW\-Mechanize|Xaldon\ WebSpider|XoviBot|yacybot|YisouSpider|zermelo|Zeus|zh-CN|ZmEu|ZumBot|ZyBorg) ) { return 410; } #Yahoo|YandexBot|Yandex|BaiduSpider| |
Để bật config này lên cho website, bạn làm như phía dưới:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
========================================================================= VPSSIM (5.1.0) - Quan Ly VPS/Server By HTTP://VPSSIM.COM ========================================================================= Bao Mat Server & Website ========================================================================= 1) Thay Doi Mat Khau Mac Dinh 6) Bao Ve wp-login.php - Wordpress 2) Check & Block IP DOS 7) Block Exploits, SQL Injections 3) Thay Doi Port SSH Number 8) Block Bad Bots Scan Website 4) Dat Mat Khau Bao Ve Folder 9) Run Script In Writable Folder 5) Dat Mat Khau Bao Ve Website 10) Thay Password Account Root Lua chon cua ban (0-Thoat): 8 ========================================================================= Huong dan su dung: http://go.vpssim.com/1135 ========================================================================= Dung chuc nang nay de config Disabled bad bots (spiders) scan Website ------------------------------------------------------------------------- Mac dinh, tat ca bot deu co the scan website. Su dung chuc nang nay de ------------------------------------------------------------------------- config/block nhung bots xau ma ban khong muon no scan website cua ban. ------------------------------------------------------------------------- Neu ban muon dua ve config mac dinh, chay chuc nang mot lan nua, nhap ten ------------------------------------------------------------------------- website va chon DISABLE cau hinh config block badbots. ========================================================================= Them hoac xoa badbots, spider trong: /etc/nginx/conf/blockbadbots.conf ========================================================================= Danh sach cac website tren server: ------------------------------------------------------------------------- 1. abcd.com 2. acdc.com 3. asdasd.com 4. asdsad.com 5. asdsadsad.com 6. dantri.co 7. dantri.com 8. dantri.vn 9. kiemtra.com 10. lave.com 11. om.vpssim.com 12. sadasdsd.com 13. sdasd.com 14. test.com ========================================================================= Nhap so tuong ung voi website (0-Thoat): 1 ========================================================================= abcd.com hien tai khong config block block badbots. ------------------------------------------------------------------------- Ban muon BAT config nay cho website ? [y/N] y |
