在大数据时代，除直接通过用户采集，另一个主要的数据来源就是使用网络爬虫采集公开信息。爬虫的使用到了何种程度？有业内人士称，互联网 50% 以上，甚至更高的流量其实都是爬虫贡献的。对某些热门网页，爬虫的访问量甚至可能占据了该页面总访问量的 90% 以