��������ժҫ
��δ֩���_֩��ش������⣺����������վ�������輼��
�ڻ����������������������ͬһλ��֪ƣ��ġ���ϣ�ɼ�ա������ҹ��ͣ��ץȡ��������ҳ���ݡ�����λ�ɼ�ա���������dz�˵�ġ�֩�롱��spider�������桱��crawler������ϊȫ�����������������棬�ȸ��֩��ӵ��һ����ϊ��֪�����֡���googlebot�����ľ�����̽��googlebot�ĺ���ԭ������ҫ���լ�����ż���վ�ը��õر���ץȡ��
googlebot���ȸ�ġ�����������
googlebot�ǹȸ���������ĺ�����ɲ��֣����������ڻ��������զ�������ռ���ҳ��ϣ����ͨ���������ӵ�һ��ҳ����ת����һ��ҳ�棬��ץȡ�������ݴ��عȸ�ķ����������������ӵ�����������⡣������̱���ϊ����ȡ����crawling������googlebot�����ŀ����ǹ�ч��ȫ��ظ����������ݣ�ȷ���û�����ʱ�ܻ�����¡�����صľ����
googlebot������
googlebot���������ڸ��ӵ��㷨�ͳ��ԡ������ȴ���֪����ҳ�б���������¼����վ���ύ��վ���ͼ��������ȼ�����ҳ���ϵ����ӣ�����չץȡ��χ��ϊ�˲�ӱ����վ���ܣ�googlebot����ѭ��վ���õ�robots.txt�ļ���������ץȡƶ������ӧ���������ء����⣬�ȸ軹��բ�ͬ���͵ă����ƴ���ר�ű汾�����棬����googlebot-image������ͼƭץȡ����googlebot-news�������������ݣ���
�ż���վ������googlebot
ҫ����վ���õر�googlebotץȡ��������վ�����բ�ȡ���´�ʩ��
- ȷ����վ�ṹ������ʹ�ú������ڲ����ӣ����⸴�ӵ�javascript��flash�������ա��������ɱ�����
- �ύվ���ͼ��ͨ���ȸ���������̨��google search console���ύxmlվ���ͼ������googlebot���ٷ�����ҳ�档
- �ż�ҳ������ٶ����ȸ轫��վ�ٶ���ϊ��������֮һ���ͽ�ļ���ʱ������������ч�ʡ�
- �����ظ�������ʹ�ù淶��ǩ��canonical tags��ָ����ѡҳ�棬�����������դ�˷ѡ�
��������������ץȡч�ʵ�ʵ��
��һ�ҵ�����վϊ��������վ����������̬��������googlebotץȡ����ǧ������ҳ�棬����������ҡ�ͨ��ʵʩ�淶��url�����������ʹ��robots.txt������·������վ��һ�����������������ҫҳ���ץȡƶ�ʣ�������������������լ30%��������������googlebot��ϊ��seo����ҫ�ԡ�
��֮��googlebot��ϊ�ȸ������֩�룬��������վ�����������������ͨ���˽����������ʋ���ȡ��ӧ�ż����ԣ���վ�����߿��ը���ч���������߿ɼ��ԣ�����������ȼ������������ʱ����������щ����֪ʶ�����dzɹ�������եĺؼ�һ����