��������ժҫ
�ٶ�֩��ץȡԭ��_�ٶ�֩��ץȡ������ƚ���
��ϊһ��seo��ҵ��վ�����˽�֩��س����ԭ������;������վ���ż�������������ҫ��
����һ��ѡ����ʵ������ͷ�����
����֩���������ҫѡ����ʵ������ͷ�������֩�����һ����ҫ������դ֧�ֵij��������ҫѡ������ǿ���ķ�������������ҫ���㹻�ĵ����ʹ洢�ռ���֧�ִ��ģ��������
���������װ������֩��س���
ѡ����ʵ�֩��س����а�װ�����á�������֩��س������scrapy��heritrix�ȡ���װ������֩��س�����ҫ���չٷ��ĵ����в�����ȷ�������ܹ��������в����ܹ������լ�������
��������������ȡ����ͳ���
������վ�������ŀ�꣬���ú��ʵ���ȡ����ͳ��ԡ������ȷ����ȡ��ƶ�ʡ���ȡ��������ȳ������լ����ú��ʵ�user-agent�ʹ���ip�ȷ����β��ԣ�ȷ�������ܹ���ч�ػ�ȡ��ҫ����ϣ��
ͨ�����ϲ���ij�����һ�����ƶ�֩��ؾͿ��խ����������ܹ���ч��֧����վ��seo�ż�������