Standar Pengecualian Robot
Pengertian Standar pengecualian robot Standar pengecualian robot , juga di kenal sebagai protokol pengecualian robot atau hanya robots.txt , adalah standar yang di gunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web . Standar menentukan bagaimana memberi tahu robot web tentang area situs web mana yang tidak boleh di proses atau di pindai. Robot sering di gunakan oleh mesin pencari untuk mengkategorikan situs …