Որոնիչի ռոբոտը պատասխանատու է վեբ էջեր սողալու համար: Րագիրը ավտոմատ կերպով կարդում է բոլոր կայքերի տվյալները և գրանցում դրանք որոնիչի համար հասկանալի ձևով, որպեսզի հետագայում համակարգը ցուցադրի օգտագործողի համար ամենահարմար արդյունքները:
Գործառույթները
Ինդեքսավորված բոլոր տեղեկությունները գրանցվում են ընդհանուր տվյալների բազայում:
Որոնման ռոբոտը ծրագիր է, որն ավտոմատ կերպով շրջում է ինտերնետի էջերով ՝ պահանջելով անհրաժեշտ փաստաթղթեր և ստանալով սողացող կայքերի կառուցվածքը: Ռոբոտը ինքնուրույն ընտրում է սկանավորվող էջերը: Շատ դեպքերում սկանավորող կայքերը պատահականորեն ընտրվում են:
Բոտի տեսակները
Անպատշաճ գործող ռոբոտը զգալիորեն մեծացնում է ցանցի և սերվերի բեռը, ինչը կարող է ռեսուրսների անհասանելիության պատճառ դառնալ:
Յուրաքանչյուր որոնիչ ունի մի քանի ծրագիր, որոնք կոչվում են ռոբոտներ: Նրանցից յուրաքանչյուրը կարող է կատարել որոշակի գործառույթ: Օրինակ, Yandex- ում որոշ ռոբոտներ պատասխանատու են RSS նորությունների հոսքերի սկանավորման համար, որոնք օգտակար կլինեն բլոգերի ինդեքսավորման համար: Կան նաեւ ծրագրեր, որոնք միայն նկարներ են որոնում: Այնուամենայնիվ, ամենակարևորը ինդեքսավորման բոտն է, որը հիմք է հանդիսանում ցանկացած որոնման համար: Կա նաև օժանդակ արագ ռոբոտ, որը նախատեսված է նորությունների հոսքերի և իրադարձությունների վերաբերյալ թարմացումներ որոնելու համար:
Սկանավորման կարգը
Բովանդակության սողալը կանխելու մեկ այլ միջոց է գրանցման վահանակի միջոցով կայքի մուտքի ստեղծումը:
Կայքն այցելելիս ծրագիրը սկանավորում է ֆայլային համակարգը ՝ robots.txt հրահանգների ֆայլերի առկայության համար: Եթե կա փաստաթուղթ, սկսվում է փաստաթղթում գրված հրահանգների ընթերցումը: Robots.txt- ը կարող է արգելել կամ, ընդհակառակը, թույլ տալ սկանավորել որոշակի էջեր և ֆայլեր կայքում:
Սկան գործընթացը կախված է ծրագրի տեսակից: Երբեմն ռոբոտները կարդում են միայն էջի վերնագրերը և մի քանի պարբերություն: Որոշ դեպքերում սկանավորումը կատարվում է ամբողջ փաստաթղթում ՝ կախված HTML նշագրումից, որը կարող է նաև աշխատել որպես հիմնական բառակապակցություններ նշելու միջոց: Որոշ ծրագրեր մասնագիտանում են թաքնված կամ մետա պիտակներում:
Ավելացնելով ցուցակին
Յուրաքանչյուր վեբ-վարպետ կարող է կանխել որոնիչի կողմից robots.txt- ի կամ META պիտակի միջոցով էջեր սողալը: Բացի այդ, կայքի ստեղծողը կարող է ձեռքով ավելացնել կայքը ինդեքսավորման հերթում, բայց դրա ավելացումը չի նշանակում, որ ռոբոտը անմիջապես սողալու է ցանկալի էջը: Կայքին հերթում ավելացնելու համար որոնիչները տրամադրում են նաև հատուկ միջերեսներ: Կայքի ավելացումը զգալիորեն արագացնում է ինդեքսավորման գործընթացը: Բացի այդ, որոնման համակարգում արագ գրանցվելու համար կարող են օգտագործվել վեբ վերլուծության համակարգեր, կայքերի գրացուցակներ և այլն:
