各位兄弟姐妹，让我们聊聊我们每天都因为官僚主义和红线面临的问题。虽然有点抱怨，但红线让我很恼火。

我们开发者需要访问公开可得的数据，而不因想要电子查看而被起诉之类的。

下面是一个事情可能很糟糕的例子！

我在开发一个需要澳大利亚超市价格的应用，主要是Coles和Woolworths。

## 问题 价格每周都在它们的网站上，任何人都可以查看。但如果我想让我的应用读取它们，我有两种选择：

  1. 自己收集并冒险违反他们的条款，这对我意味着什么？比如他们能把我关闭吗？

  2. 付费给一家数据公司，它...从同样的网站收集数据并卖回给我。

\> 所以爬虫仍然会发生。我只是付费让别人去做，并希望他们做得正确。

## 我要的

一种合法的获取方式，如果有漏洞的话。 我迄今为止找到的有：

  • Coles的 robots.txt 允许 部分他们的特价页面

  • Woolworths 阻止 它们的搜索页面，但不是全部

  • 两者都没有 公共 API，告诉我大牛专家们如何处理这个问题  最佳实践，能实际产生结果而不是失败或碰壁

## 给有经验的人的问题

  1. 有没有人基于澳洲超市数据开发过？你是授权了还是后来被咬了？

  2. 阅读公开页面 每周一次、慢慢进行，这本身是个问题，还是仅仅是使用条款的灰色地带？

  3. 有没有推荐的 数据提供商 或需要避免的？

---

*不卖任何东西。只对官僚主义站在我和价格之间感到疲惫每周。*