საძიებო სისტემები აღჭურვილია რობოტებით, რომლებიც ასევე ცნობილია როგორც ობობები ან ბოტები, რომლებიც დადიან და ინდექსირებენ ვებ გვერდებს. თუ თქვენი საიტი ან გვერდი დამუშავების პროცესშია ან შეიცავს მგრძნობიარე შინაარსს, შეიძლება დაგჭირდეთ ბოტების დაბლოკვა თქვენი საიტის სეირნობისა და ინდექსირებისაგან. ისწავლეთ როგორ დაბლოკოთ მთელი ვებსაიტები, გვერდები და კავშირები robots.txt ფაილებით და დაბლოკოთ კონკრეტული გვერდები და ბმულები html ტეგებით. წაიკითხეთ იმის გასარკვევად, თუ როგორ უნდა დაბლოკოთ კონკრეტული ბოტები თქვენს შინაარსზე.
ნაბიჯები
მეთოდი 1 დან 2: საძიებო სისტემების დაბლოკვა robots.txt ფაილებით
ნაბიჯი 1. გაიგეთ robots.txt ფაილები
Robots.txt ფაილი არის უბრალო ან ASCII ტექსტური ფაილი, რომელიც აცნობებს საძიებო სისტემების ობობებს, რაზე აქვთ წვდომა თქვენს საიტზე. Robots.txt ფაილში ჩამოთვლილი ფაილები და საქაღალდეები არ შეიძლება იყოს საძიებო სისტემის ობობების მიერ დაშიფრული და ინდექსირებული. შეიძლება დაგჭირდეთ robots.txt ფაილი, თუ:
- თქვენ გსურთ დაბლოკოთ კონკრეტული შინაარსი საძიებო სისტემის ობობებისგან.
- თქვენ ავითარებთ ცოცხალ საიტს და არ ხართ მზად, რომ საძიებო სისტემების ობობები დაათვალიერონ და დაადგინონ საიტი
- გსურთ შეზღუდოთ რეპუტაციის ბოტებზე წვდომა.
ნაბიჯი 2. შექმენით და შეინახეთ და robots.txt ფაილი
ფაილის შესაქმნელად, გაუშვით უბრალო ტექსტური რედაქტორი ან კოდის რედაქტორი. შეინახეთ ფაილი როგორც: robots.txt. ფაილის სახელი უნდა იყოს ყველა მცირე.
- არ დაივიწყოთ "ს".
- ფაილის შენახვისას აირჩიეთ გაფართოება "'.txt"'. თუ თქვენ იყენებთ Word- ს, აირჩიეთ "უბრალო ტექსტი" ვარიანტი.
ნაბიჯი 3. ჩაწერეთ robots.txt ფაილი სრული აკრძალვით
შესაძლებელია დაბლოკოთ ყველა რეპუტაციის საძიებო სისტემის ობობა თქვენი საიტის დაცოცვისა და ინდექსაციისათვის robots.txt– ით „სრულად აკრძალვის“საშუალებით. ჩაწერეთ შემდეგი ხაზები თქვენს ტექსტურ ფაილში:
მომხმარებლის აგენტი: * აკრძალვა: /
ნაბიჯი 4. ჩაწერეთ პირობითი ნებადართული robots.txt ფაილი
იმის ნაცვლად, რომ დაბლოკოთ ყველა ბოტი, განიხილეთ კონკრეტული საიტების დაბლოკვა თქვენი საიტის გარკვეული უბნებიდან. ჩვეულებრივი პირობითი ნებადართული ბრძანებები მოიცავს:
- დაბლოკეთ კონკრეტული ბოტი: შეცვალეთ ვარსკვლავები გვერდით მომხმარებელი-აგენტი თან googlebot, googlebot-news, googlebot-image, ბინგბოტი, ან თეომა.
-
დაბლოკეთ დირექტორია და მისი შინაარსი:
მომხმარებლის აგენტი: * აკრძალვა: /sample-directory /
-
დაბლოკეთ ვებ გვერდი:
მომხმარებლის აგენტი: * აკრძალვა: /private_file.html
-
სურათის დაბლოკვა:
მომხმარებლის აგენტი: googlebot-image აკრძალვა: /images_mypicture.jpg
-
ყველა სურათის დაბლოკვა:
მომხმარებლის აგენტი: googlebot-image აკრძალვა: /
-
დაბლოკოს კონკრეტული ფაილის ფორმატი:
მომხმარებლის აგენტი: * აკრძალვა: /p*.gif$
ნაბიჯი 5. წაახალისეთ ბოტები, რომ მოახდინონ თქვენი საიტის ინდექსირება და სეირნობა
ბევრ ადამიანს სურს მიესალმოს საძიებო სისტემის ობობების დაბლოკვის ნაცვლად, რადგან მათ სურთ ინდექსირებული იყოს მათი მთელი საიტი. ამის მისაღწევად, თქვენ გაქვთ სამი ვარიანტი. პირველ რიგში, თქვენ შეგიძლიათ უარი თქვათ robots.txt ფაილის შექმნაზე-როდესაც რობოტი ვერ პოულობს robots.txt ფაილს, ის გააგრძელებს სეირნობას და ინდექსირებას თქვენს მთელ საიტზე. მეორე, თქვენ შეგიძლიათ შექმნათ ცარიელი robots.txt ფაილი-რობოტი იპოვის robots.txt ფაილს, აღიარებს რომ ის ცარიელია და განაგრძეთ თქვენი საიტის სეირნობა და ინდექსირება. დაბოლოს, თქვენ შეგიძლიათ დაწეროთ robots.txt სრული ფაილი. გამოიყენეთ კოდი:
მომხმარებლის აგენტი: * აკრძალვა:
ნაბიჯი 6. შეინახეთ txt ფაილი თქვენი დომენის ძირში
მას შემდეგ რაც დაწერთ robots.txt ფაილს, შეინახეთ ცვლილებები. ატვირთეთ ფაილი თქვენი საიტის ძირითად დირექტორიაში. მაგალითად, თუ თქვენი დომენია www.yourdomain.com, განათავსეთ robots.txt ფაილი აქ www.yourdomain.com/robots.txt.
მეთოდი 2 დან 2: საძიებო სისტემების დაბლოკვა მეტა ტეგებით
ნაბიჯი 1. HTML რობოტების მეტა ტეგების გაგება
რობოტების მეტა ტეგი პროგრამისტებს საშუალებას აძლევს დააყენონ პარამეტრები ბოტებისთვის, ან საძიებო სისტემის ობობებისათვის. ეს ტეგები გამოიყენება ბოტების დაბლოკვისთვის მთელი საიტის ან მხოლოდ ნაწილის ინდექსირებისა და სეირნობისგან. თქვენ ასევე შეგიძლიათ გამოიყენოთ ეს ტეგები, რათა დაბლოკოთ კონკრეტული საძიებო სისტემის ობობა თქვენი შინაარსის ინდექსირებაში. ეს ტეგები გამოჩნდება თქვენი HTML ფაილის თავში.
ეს მეთოდი ჩვეულებრივ გამოიყენება პროგრამისტების მიერ, რომლებსაც არ აქვთ წვდომა ვებგვერდის ძირეულ დირექტორიაში
ნაბიჯი 2. დაბლოკეთ ბოტები ერთი გვერდიდან
შესაძლებელია დაბლოკოს ყველა ბოტი გვერდის ინდექსირებისაგან და ან გვერდის ბმულებისგან. ეს ტეგი ჩვეულებრივ გამოიყენება მაშინ, როდესაც ცოცხალი საიტი დამუშავების პროცესშია. საიტის დასრულების შემდეგ, მკაცრად გირჩევთ, რომ წაშალოთ ეს ტეგი. თუ თქვენ არ წაშლით ტეგს, თქვენი გვერდი არ იქნება ინდექსირებული ან საძიებო საძიებო სისტემების საშუალებით.
- თქვენ შეგიძლიათ დაბლოკოთ ბოტები გვერდის ინდექსირებისა და ნებისმიერი ბმულის შემდეგ:
- თქვენ შეგიძლიათ დაბლოკოთ ყველა ბოტი გვერდის ინდექსირებიდან:
- თქვენ შეგიძლიათ დაბლოკოთ ყველა ბოტი, რომ არ მიჰყვეს გვერდის ბმულებს:
ნაბიჯი 3. ნება მიეცით ბოტებს მოახდინონ გვერდის ინდექსირება, მაგრამ არ დაიცვან მისი ბმულები
თუ ბოტებს დაუშვებთ გვერდის ინდექსირებას, გვერდი ინდექსირდება; თუ თქვენ თავიდან აიცილებთ ობობებს ბმულების გაყოლებაში, ბმულის ბილიკი ამ კონკრეტული გვერდიდან სხვა გვერდებზე დაიშლება. შეიყვანეთ კოდის შემდეგი ხაზი თქვენს სათაურში:
ნაბიჯი 4. ნება მიეცით საძიებო სისტემის ობობებს მიჰყვეს ბმულებს, მაგრამ არ ინდექსირონ გვერდი
თუ ბოტებს მიანიჭებთ ბმულებს, ამ კონკრეტული გვერდიდან სხვა გვერდებზე ბმულის ბილიკი ტაქტიკაში დარჩება; თუ თქვენ შეზღუდავთ მათ გვერდის ინდექსირებას, თქვენი ვებ გვერდი არ გამოჩნდება ინდექსში. შეიყვანეთ კოდის შემდეგი ხაზი თქვენს სათაურში:
ნაბიჯი 5. დაბლოკეთ ერთი გამავალი ბმული
გვერდზე ერთი ბმულის დასამალად, ჩასვით a რელ ბმული ბმულის ტეგში. თქვენ შეიძლება გსურთ გამოიყენოთ ეს ტეგი სხვა გვერდებზე ბმულების დაბლოკვის მიზნით, რომლებიც მიდიან კონკრეტულ გვერდზე, რომლის დაბლოკვაც გსურთ.
ჩადეთ ბმული დაბლოკილ გვერდზე
ნაბიჯი 6. დაბლოკეთ კონკრეტული საძიებო სისტემის ობობა
იმის ნაცვლად, რომ დაბლოკოთ ყველა ბოტი თქვენი ვებ გვერდიდან, შეიძლება მოგინდეთ, რომ თავიდან აიცილოთ ერთი ბოტი გვერდის სეირნობისა და ინდექსირებისაგან. ამის მისაღწევად, შეცვალეთ "'რობოტი" მეტა ტეგში კონკრეტული ბოტის სახელით. მაგალითები მოიცავს: googlebot, googlebot-news, googlebot-image, ბინგბოტი და თეომა.
ნაბიჯი 7. წაახალისეთ ბოტები, რომ მოიძიონ და ინდექსირონ თქვენი გვერდი
თუ გსურთ დარწმუნდეთ, რომ თქვენი გვერდი ინდექსირდება და მის ბმულებს მოჰყვება, შეგიძლიათ ჩასვათ შემდგომი ნებართვა მეტა "რობოტი" მონიშნეთ თქვენს სათაურში. გამოიყენეთ შემდეგი კოდი:
