��������ժҫ
�����������ϣ��ʽ_�����������щ������ʽ��ȫ�������ϣչ�ַ�ʽ
�ڻ������ĺ�嫺����у�ÿ�춼��������ϣ���ռ��������ͳ��֡��ⱳ����һ������ϊ��֩�롱�����ܳ�����ĭĭ��������ô��֩����վ������ʲô�أ�����˵��������һ���������վ������ָ�������棨web crawler������һ���զ������ҳ���ռ����ݵij��������������ܹ�����������ҳ���ݵļ���������
֩����վ�ļ���ԭ��
�������棬��������س�ϊ��֩�롱���乤��ԭ��������һֻ�ڻ����������е�֩�롣����һ����ʼ����ҳ���ӿ�ʼ��ͨ������ҳ���еij����ӣ����ϸ����µ�ҳ�棬������ȡ����ϣ����������������ݿ���д洢�ͷ���������������զ�������ч�ҳ����ģ�ȷ�������������ܹ���ʱ�������������ݡ�
֩��ĺ�������ͨ���������¼������裺���ȣ�������url�б���ʼ���ʣ���σ�����ҳ�����ݲ��������е��ı������ӻ�����Ԫ�أ�ȼ�����õ����ݴ洢���������у�������·��ֵ����ӣ�����ѭ����һ���̡�����ͨ�����ֻ��ƣ���google���ٶ������������������ϊ�û��ṩ���١�ȷ�����������
֩����վ����ҫ�����ż�
������վ��ӫ�߶��ԣ�֩���ץȡ��ϊֱ��ӱ����վ�����������еŀɼ��ȡ����֩����˳�����ʻ�������վ���ݣ���ô����վ���������������ӷ�����������ʧ����ˣ��ż���վ�ṹ����������������ʹ���֩���ѻã���seo�����������ż����ĺ�������֮һ��
���磬һ����������վ�������������ڲ����ӳ��֣��լ��淶��robots.txt�ļ������ܰ���֩�����ч��ץȡ���ݡ�ͬʱ������ʹ��flash����javascript�����ֹؼ���ϣ����ϊ֩�������������щ���������⣬���ڸ���ԭ�����ݣ�ҳ������֩��ƶ�����ʣ�������վ����¼�ٶȡ�
����������֩��ץȡ����վ����
��ij������վϊ��������վ��������ʹ�ö�̬url���ظ����ݣ�����֩��ץȡч�ʵ��£����������������ѡ�ͨ���ż�url�ṹ����ҳ����룬������ԭ����ʒ������֩��ץȡ��ҳ����������������������40%����֮���������л�����������25%�������������������֩���ץȡ��������������ż���������������վ�����߱��֡�
��֮��֩����վ�䲻��һ��ʵ��վ�㣬����ϊ��������ĵ��ƣ����ڻ�������ϣ��̬�а����ų��ɻ�ȱ�ľ�ɫ����������ͨ�û�������վ�����ߣ��˽����������ƣ��������ڸ��õ������������棬��������ʵ��������顣