网上的公开非敏感个人信息能否收集，怎样的爬虫行为是合法的？

所谓网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序与技术。如果通过爬虫抓取网络公开信息，并不违法；但如果抓取的是未公开、未授权的个人敏感信息，就属于违法行为，违反的是2017年6月1日实施的《网络安全法》以及“两高”相关司法解释。

中国银行法学研究会理事肖飒表示，判断爬虫行为是否具有合法性，robot协议不可或缺。存在已有25年的robot协议是互联网搜索引擎与网页持有者之间达成的“行业规范”，该协议会告知网站的“访问权限”，如果设置了robot协议，大数据公司还要突破访问权限，那么就具有明显的主观恶性。

互联网行业里谷歌、百度、搜狗、ebay等，均设有该协议，这几乎是每一个互联网人都知道的常识，如果公司不想被爬取信息，只需要很轻松地安放robot协议表明不愿意被爬取和收录就可以了。

“也就是说，如果没有robot，应该就可以理解为可以合法爬取的公开信息。”肖飒称。

以上来源：21世纪经济报道记者 包慧

※ 以上回答内容仅为作者个人观点，与本报立场无关。

嗯嗯 6哦bbf. know