采用一定手段“爬蟲(chóng)”可防可控

　　任何事情都有兩面，“爬蟲(chóng)”技術(shù)也不例外。

　　在閆懷志看來(lái)，“爬蟲(chóng)”既可為正常的數(shù)據(jù)批量獲取提供有效的技術(shù)手段，也可被惡意使用以獲取不當(dāng)利益。如果“爬蟲(chóng)”技術(shù)被不正當(dāng)利用，就會(huì)帶來(lái)一定的危害。

　　首先，威脅數(shù)據(jù)安全。航空公司售票網(wǎng)站數(shù)據(jù)被惡意爬取，數(shù)據(jù)可能會(huì)被機(jī)票代理公司惡意利用，而且還存在被同業(yè)競(jìng)爭(zhēng)對(duì)手獲取的風(fēng)險(xiǎn)。

　　其次，導(dǎo)致系統(tǒng)性能下降，影響用戶(hù)體驗(yàn)。“爬蟲(chóng)”大量的抓取請(qǐng)求會(huì)導(dǎo)致航空公司售票網(wǎng)站服務(wù)器資源負(fù)載上升、性能下降，網(wǎng)站響應(yīng)變慢甚至無(wú)法提供服務(wù)，對(duì)用戶(hù)搜索和交易體驗(yàn)造成負(fù)面影響。但由于存在巨大的灰色利益空間，同時(shí)“反爬蟲(chóng)”技術(shù)在與“爬蟲(chóng)”對(duì)抗中作用有限，使得這種顯失公平的“作弊”方式成為擾亂機(jī)票市場(chǎng)秩序的技術(shù)“頑疾”。

　　“從技術(shù)角度來(lái)看，阻擊‘爬蟲(chóng)’可以通過(guò)網(wǎng)站流量統(tǒng)計(jì)系統(tǒng)和服務(wù)器訪(fǎng)問(wèn)日志分析系統(tǒng)。”閆懷志說(shuō)，通過(guò)流量統(tǒng)計(jì)和日志分析，如果發(fā)現(xiàn)單個(gè)IP訪(fǎng)問(wèn)、單個(gè)session訪(fǎng)問(wèn)、User-Agent信息超出設(shè)定的正常頻度閾值，則判定該訪(fǎng)問(wèn)為惡意“爬蟲(chóng)”所為，將該“爬蟲(chóng)”的IP列入黑名單以拒絕其后續(xù)訪(fǎng)問(wèn)。

　　再就是設(shè)置各種訪(fǎng)問(wèn)驗(yàn)證環(huán)節(jié)。比如，在可疑IP訪(fǎng)問(wèn)時(shí)，返回驗(yàn)證頁(yè)面，要求訪(fǎng)問(wèn)者通過(guò)填寫(xiě)驗(yàn)證碼、選取驗(yàn)證圖片或者字符等方式實(shí)現(xiàn)驗(yàn)證。如果是惡意“爬蟲(chóng)”爬取，顯然很難完成上述驗(yàn)證操作，進(jìn)而可以封鎖該“爬蟲(chóng)”的訪(fǎng)問(wèn)，防止其惡意爬取信息。

　　互聯(lián)網(wǎng)空間不能有“灰色地帶”

　　當(dāng)前，云計(jì)算、大數(shù)據(jù)等為代表的新一代信息技術(shù)處在高速發(fā)展階段。

　　“上述新技術(shù)如果被非法或者不當(dāng)應(yīng)用，則會(huì)產(chǎn)生嚴(yán)重的危害。互聯(lián)網(wǎng)空間安全需要建立健全完善的保護(hù)體系，絕不能‘裸奔’。”閆懷志說(shuō)。

　　2017年6月1日，我國(guó)網(wǎng)絡(luò)安全法正式實(shí)施，明確了各方在網(wǎng)絡(luò)安全保障中的權(quán)利與責(zé)任。這是中國(guó)網(wǎng)絡(luò)空間治理和法制建設(shè)從量變到質(zhì)變的重要里程碑，這部法律作為依法治網(wǎng)、化解網(wǎng)絡(luò)風(fēng)險(xiǎn)的法律重器，成為我國(guó)互聯(lián)網(wǎng)在法治軌道上健康運(yùn)行的重要保障。

　　然而，目前對(duì)于高科技“黃牛”倒票行為，尚未有明確規(guī)定，使得惡意爬取信息并不當(dāng)獲利行為處在法律法規(guī)監(jiān)管的“灰色地帶”。

　　閆懷志介紹，國(guó)際上，針對(duì)“爬蟲(chóng)”應(yīng)用，專(zhuān)門(mén)制訂了Robots協(xié)議(即“爬蟲(chóng)”協(xié)議、網(wǎng)絡(luò)機(jī)器人協(xié)議等)。該協(xié)議全稱(chēng)為“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”，網(wǎng)站可通過(guò)該協(xié)議告知“爬蟲(chóng)”可以爬取哪些頁(yè)面及其信息，不能爬取哪些頁(yè)面及其信息。該協(xié)議作為網(wǎng)站和“爬蟲(chóng)”的溝通方式，用來(lái)規(guī)范“爬蟲(chóng)”行為，限制不正當(dāng)競(jìng)爭(zhēng)。

　　作為國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，該協(xié)議的原則是：“爬蟲(chóng)”及搜索技術(shù)應(yīng)服務(wù)于人類(lèi)，同時(shí)尊重信息提供者的意愿，并維護(hù)其隱私權(quán);網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。這就規(guī)定了爬取者和被爬取者雙方的權(quán)利和義務(wù)。

　　一位不愿具名的法律專(zhuān)家也表示，“反爬蟲(chóng)”不僅要依靠技術(shù)防范和業(yè)界自律，還應(yīng)該通過(guò)完善管理和法律法規(guī)手段來(lái)約束這種行為，尤其是法律手段才能彰顯懲治力和震懾力。航空公司也要完善賬期管理，不給“爬蟲(chóng)”搶票提供機(jī)會(huì)。(記者付麗麗)