��������ժҫ
֩����վ��ʲô_֩����վ��ʲô������乤��ԭ����ʶ��
�ں�嫵ļ����������у���ϣ�緱�ǰ�ɢ���������θ�ч�����ػ�ȡ�������ݣ��ⱳ���벻��һ���ؼ���ɫ�����������棬��������س�ϊ������֩�롱�����죬��������һͬ�߽���֩�������ɡ����ҿ���һ������������ɴ��̽��������ϣʱ������ҫ��ֵ��
ʲô������֩�룿
����֩�룬����������棬��һ���զ������ҳ����ȡ��ϣ�ij�������һֻ��֪ƣ���֩�룬������ҳ֮������ӳ������у���������ҳ�����ռ���������ϊ���������ṩ���ݻ�����������щ��֩�롱�����ڹ�������ʹ�������ܹ���˲�������ȫ��χ�ڵ���ϣ��
֩�������ĺ���ԭ��
����֩��ĺ�������ͨ���������¼������裺
- ����urlѡȡ����Ԥ��ij�ʼ��ҳ��ʼ���ʡ�
- ҳ��ץȡ��������ҳ���ݲ��������е��ı������ӵ���ϣ��
- ������ȡ���ӵ�ǰҳ���з����µ����ӣ������ץȡ���с�
- ѭ����ȡ���ظ��������̣���������ץȡ��χ��
��һ���̿��ƽ�ʵ���漰���ӵ��㷨�ż�������ץȡ���ȼ��趨���ظ�����ʶ����վ����ƶ�ʿ��ƶȣ���ȷ����ч���ѻõػ�ȡ��ϣ��
֩��������ӧ�ó���
����֩�뼼���ѹ㷺ӧ���ڶ������
- �������������ռ�����google���ٶȵ����������������潨���ӵ����ҳ�����⡣
- �г��鱨��������ҵͨ��������ȡ�������ֵ���վ��ϣ�����м۸��ء���ʒ�����ȡ�
- ѧ���о����о���ա���������ռ��ض�����ĺ������ݣ�֧������ѧ���г����ƶ��о���
- ���ݾۺ�ƽ̨�������ࡢ�ȼ�����վͨ���������϶��դ��ϣ���ṩһվʽ����
�������������̼۸���
�ե�����ҵϊ����������������������֩�뼼��ʵʩ�۸��ز��ԡ�ͨ����д�������������ҵ����ʵʱ�پ������ֵ���ʒ�۸���������״̬���������������ķ���ʹ����ҵ�ܹ����ٵ����������۲��ԣ������г������������磬ij�ҵ�������ͨ��������������ϵͳ��ʵ���˶���������ƽ̨���ٸ�ͬ���ʒ��ÿ�ռ۸��٣��ӷ����۸������ӧʱ���ԭ�ȵ�24сʱ������2сʱ���ڣ��������������������ʡ�
֩�������������뷨�ɱ߽�
�����������漼�����ռ�����ʹ��ҳ�����������뷨�ɵ�լ����������վ��robots.txtэ�顢�����ŀ���������ɹ��ɡ���ץȡ�ܰ�ȩ������������ϣ����ÿһλ���濪����ӧ��ѭ�ļ���ԭ���������������ѳ��ֶ���������ʹ�ò��������ķ��ɾ��ף����������������ü���������ͬʱ�������˺ϸ��ϲ��ԡ�
δ��չ��
�����˹�����������ݼ������ںϣ�����֩������ø������ܻ���δ�������潫������ץȡ�ṹ�����ݣ����ܸ��õ�������ҳ���塢ʶ��̬���ݣ�����ģ�����������ϊ����Ԥʾ��֩�������������������ھ���ҵ���ܵ����ӹ����ֵ�������ƶ���ϣ��ȡ��ʽ�ĸ��¡�
����ϣ���ʲ���ʱ�������ⲣ����֩���������������ɽ�ϊ��������ҵ��һ�ȸ�ч��ȡ֪ʶ�������ȼ��ĵ��š�