网站数约300W个,每个站爬约200个页面,每个页面要下载和执行js。爬一次的单向总流量预计至少要50T。
试过了直接走国内的电信和移动宽带,大量的国外网站(完全正规的)速度相当慢甚至完全打不开,这就把事情搞得相当麻烦,感觉成本要上升一大截了。

方案1:走香港快线(如CMI)VPN,估计完整爬一次要至少2500rmb流量成本,而且测试发现有些国外网站是屏蔽了香港ip的,而且这些卖流量的机子性能不行,限制了并发速度(当然,多开这种机器也可以)。
方案2:把程序直接运行在国外vps上,这要求机器性能要很好。以vultr的AMD 12核机器为例,爬一次估计至少要花费4000rmb成本。

不知针对这两个方案可有更优化的办法?
或者有其它更好的方案?