��������ժҫ
֩��غͷ�ŀ¼
�ں������ļ����������у�ÿ�춼�������ڼƶ���ҳ���������»���ʧ�����ƿ������棬���������������˲ϣ֮��ӻ�����ϣ�о��ҵ�����������ݣ���һ�еı����벻��һ������ϊ��֩�롱��spider�������桱��crawler���ĺ��ļ������ߡ����ľ�����̽��֩����������ĺ���ԭ������ҫ�լ�����ִ���ϣ������ӱ�졣
ʲô��֩���������棿
֩���������棬ͨ�����ϊ�������棬��һ���զ����ʲ��ռ���ҳ��ϣ�ij�������ͬһ����֪ƣ���̽���ߣ�������ҳ֮��ij����ӳ������у���ץȡ�������ݴ�����������������⣬ϊ�û��ij�ѯ�ṩʵʱ��ȫ�����ϣ������������щ�������ġ�֩�롱����֯�����������������������磬��ȫ����ϣ���ֿɼ���
֩����ι�����
֩��ĺ������̿��ը���ϊ���¼������裺
- ��ʼץȡ��֩���һ����������url����֪����վŀ¼����ʼ���ʡ�
- ���ݽ�������ȡ��ҳ��html���룬��ȡ�ı������ӽ�Ԫ���ݵ���ϣ��
- ��������ʶ��ҳ���е����г����ӣ�����������ץȡ���с�
- ѭ����ȡ�������ض����ԣ��������ȼ�������ȣ��������������ӣ���������ץȡ��χ��
- ���ݴ洢����ץȡ�����ݾ����������������������������ݿ⡣
ϊ�˱�֤ч�ʺ�ƽ�ԣ�֩�����ѭ��վ��robots.txtэ�飬�����ʒ���ƶ���ա���է�������ɹ�����
֩�������������ҫ��
֩������������ļ�ʯ��û�������������������ȡ���µ���ҳ���ݣ������⽫ѹ�ٹ�ʱ��ͬʱ��֩���ץȡ����ֱ��ӱ������վ���ݵ���¼�ٶⱥ��ƿ�χ��������վ��ӫ�߶��ԣ��˽�֩���ץȡ�����������ż���վ�ṹ������ҳ������������еŀɼ��ԡ�
���磬����������վͨ��ʵʱ������վ��ͼ��sitemap��������֩�����ץȡ�������£�ȷ��ͻ�������ܼ�ʱ������������¼�������������֩�빤����������������������ݵĵ���ч�ʡ�
�ż����飺��֩�����чץȡ
ϊ����֩����õ�ץȡ�����������վ�����բ�ȡ���´�ʩ��
- ������������վ�ṹ��������ŀ¼��κ��ڲ�����������֩��������ȡ��
- �ṩ��������ԭ��������֩���������ץȡ���ж��ؼ�ֵ��ҳ�档
- ����xml��վ��ͼ����ȷ��֪֩����վ����ҫҳ�漰�����ƶ�ʡ�
- ȷ����վ�����ٶ�����������ӧ���ܵ���֩����ǰ��ֹץȡ��
�����˹����ܼ����ķ�չ���ִ�֩��������������ø������ܡ����dz�����ʶ���ı����ݣ���������ͼƭ����ƶ�ȶ�ý����ϣ������ͨ�����������ȷ�ذ�����ҳ���⡣δ����֩��������߱���ǿ������������������ϊ�û����������������ի����������顣