Back to Question Center
0

Semalt: Darodar robots.txt How To бөгөттөө

1 answers:

Robots.txt билэ желе Crawlers же боттор сайтты жөргөлөп керектиги жөнүндө көрсөтмөлөрдү камтыган типтүү текст сөп. Алардын арыз көптөгөн ылайыкташтырылган сайттарда кездешет издөө -боттордон сакталган көрүнүп турат. Robots салуу Протоколдун (REP) бир бөлүгү катары, robots - criar servidor cloud linux.txt билэ жараша колдонуучу өтүнүчтөрүн аныктыгын текшерүү үчүн Server камсыз кылуу, ошондой эле индекстөө сайтынын мазмуну маанилүү аспектиси түзөт .

Джулия Vashneva, Semalt улук Кардар Ийгилик менеджери, шилтемени сиздин агымындагы башка домендерди чейин жол ээ кирет Search Engine оптималдаштыруу (SEO), бир бөлүгү экенин түшүндүрөт. "Артынан ээрчип" шилтемелер ширесин өткөрүп берүү үчүн, ал Server сайтынын менен кантип өз ара инструктор болуп иш-аракет орун хостинг сиздин сайтында robots.txt билэни камтышы зарыл. Бул чыкпаган тартып, көрсөтмөлөрдү берип, же бир нече конкреттүү колдонуучу агенттери кыймылдаарын disallowing менен катышкан.

Robots.txt делосуна негизги жазуусу

Бир robots.txt билэ эки негизги багыттарын камтыйт:

User-Agent: [User-Agent аты]

тыйуу: [URL сап издегенде үчүн эмес]

толук robots.txt билэ бул эки саптар камтылышы керек. Бирок, алардын айрымдары колдонуучу агенттердин жана тескемелеринин бир нече багыттарын камтышы мүмкүн. Бул буйруктар сыяктуу берет жактарын камтышы мүмкүн, уруксат же кыдырып-кечигүүлөр бар. насаат ар бир комплексин бөлүп сап үзүлүшү, адатта, жок. Ар бир сабак берет же тыйып, айрыкча, бир нече сызыктар менен ачууну robots.txtке үчүн бул сапта тыныгуу менен бөлүнгөн.

Мисалдар

Мисалы, robots.txt билэ сыяктуу коддору камтышы мүмкүн:

User-Agent: darodar

тыйуу: / плагин

тыйуу: / API

тыйуу: / _comments

Бул учурда, ушул силердин сайтка кирүүгө Darodar желе жөрмөлөгүч чектөө блок robots.txt сөп. Жогоруда синтаксис, мисалы, плагиндер, API жана комментарийлер бөлүмдө сайт коду блоктору аспектилери. Бул билим алып караганда, натыйжалуу робот анын тексттик аткаруудан көп пайда алып жетишүүгө болот. Robots..TXT Files көптөгөн кызматын аткара ала турган болушу мүмкүн. Мисалы, алар даяр боло алат:

1. бардык интернет Crawlers сайт бетине мазмуну уруксат берүү. Мисалы;

User-Agent: *

тыйуу:

Ушул учурда, бардык мазмун сайт алуу үчүн желе жөрмөлөгүч талап аркылуу кирүүгө болот.

2. белгилүү бир папкага конкреттүү желе мазмунун бөгөттөө. Мисалы;

User-Agent: Googlebot

тыйуу: / үлгү-subfolder /

User-Agent аты Googlebot камтыган бул синтаксистик Google таандык. Бул сап www.ourexample.com/example-subfolder/.(10 ар кандай интернет баракты кирүүгө Bot чектейт)

3. белгилүү бир интернет барагынан белгилүү желе жөрмөлөгүч бөгөттөө. Мисалы;

User-Agent: Bingbot

тыйуу: /example-subfolder/blocked-page.html

User-Agent Bing бот Bing желе Crawlers таандык. robots.txt делосуна бул түрү сап www.ourexample.com/example-subfolder/blocked-page.(10 менен белгилүү бир бет кирүүгө Bing желе жөрмөлөгүч чектейт)

Маанилүү маалымат

  • Ар бир колдонуучу сиздин robts.txt билэни колдонгон эмес. Кээ бир колдонуучулар аны четке чечим кабыл ала алат. Мындай желе Crawlers көпчүлүгү Trojans жана кесепеттүү кирет
  • бир robots.txt билэ көзгө болушу үчүн, аны жогорку даражалуу Website Directory жеткиликтүү болушу керек
  • каармандар "robots.txt" сезгич келет. Натыйжада, сиз кээ бир аспектилери капиталдаштыруунун, анын ичинде кандайдыр бир жол менен, аларды өзгөртүүгө тийиш эмес
  • "/robots.txt" коомдук энчи болуп саналат. Эгер кимдир бирөө кандайдыр бир URL мазмунуна кошуп, бул маалыматты таба алабыз. Сиз аларды купуя бойдон келет индекси маанилүү маалымат же беттер жок болушу керек
November 29, 2017