“中国会员电商第一股”云集的反爬虫攻防战 | 产业安全专家谈

时间:2021-09-15来源:栏目:新媒体

纪昀成立于2015年,是一家以社交活动为驱动的精品会员电商公司,被誉为“中国第一家会员电商公司”,积累了海量的数据资源。在数据维护和管理方面,过去IDC主要是自建部署。迁移到...

纪昀成立于2015年,是一家以社交活动为驱动的精品会员电商公司,被誉为“中国第一家会员电商公司”,积累了海量的数据资源。在数据维护和管理方面,过去IDC主要是自建部署。迁移到公共云后,服务器和手动维护的成本大大降低。在最“疯狂”的时候,一个运维人员就能直接管理一两千台云主机,这在以前是不可想象的画面。

数据管理应该选择云服务器还是自建IDC?选择公有云后,如何保证数据安全?公有云对于电商行业困扰的网络爬虫问题有相应的解决方案吗?针对上述问题,本期工业安全专家邀请到云集运维负责人吴兆荣与大家分享在反爬虫攻防中积累的实战经验。

Q1:相比数据本地部署,公有云部署具有哪些优势?

首先,在吴兆荣:,相比之前自建的例子,腾讯云SaaS的产品有更大的价格优势。实际上,相同配置的服务将节省30%以上的成本。

其次,SaaS产品具有高柔性和灵活性的特点。电子商务是一个流量有明显高峰和低谷的行业。服务器资源的过度存储会导致资源浪费。根据之前的操作,购买、部署、测试和验证主机大约需要一周时间,而SaaS产品最终将时间缩短到30分钟。

Q2:数据“上云”提升效率的同时,有哪些令人头疼的网络安全问题?

吴兆荣:云服务器有其独特的灵活优势,而云平台本身有一定的安全保障,云租户和云平台的安全能力是共享的。虽然不需要担心基础设施被攻击,但是业务端本身是对外开放的,所以更容易被攻击。

就业务方面的安全性而言,云租户通常承担主要责任。电子商务行业的商品信息、交易信息、会员信息等重要信息价值较高,往往是黑灰产的重点目标。会员防信息泄露、商品信息防爬虫、应用服务防CC攻击、营销活动防“羊毛党”等。都是电商行业普遍关注的安全问题。

上述信息数据的攻击者往往来自竞争对手和黑灰帮派,只要攻击成功,利润就会相当可观。因此,与其他行业相比,电商行业面临的网络攻击,主要有集中性、长期性、多变性、技术先进性等特征。.

Q3:云集是如何对抗这些问题的?

宏观上,吴兆荣:构建了纵深防御体系,从外到内覆盖了DDoS、防火墙、WAF、主机安全、SOC等安全产品。同时,我们将从多维度进行保护,避免木桶效应带来的缺点,采用监测、识别、处理、优化的链路保护思路,在网络层对抗DDoS攻击。

从腾讯云的平台来看,腾讯云会给我们这样的“大客户”一些免费的防御配额,可以在一定程度上缓解网络层的DDoS攻击。腾讯云WAF作为网站应用流量的入口和出口,面对HTTP Flood的DDoS攻击(俗称CC攻击)有更好的防御效果。同时,WAF还支持BOT防御、SQL注入、XSS跨站脚本、木马上传、未授权访问等问题。

总之,我们认为网络安全体系的构建不是一成不变的,而是不断进化的,需要与攻击者来回对抗,不断进化以提高防御水平。腾讯云原生安全产品的易用性、快速响应,还有协同联动能力都很不错,是能够适应动态多变的网络环境的。

Q4:云集每年在网络安全上投入占IT投入比大约多少?

吴兆荣:每年将服务器成本的10%-15%用于网络安全。网络安全对于电商平台来说非常重要,所以我们认为这个比例是物有所值的。

Q5:面对网络安全的各种威胁,哪些安全产品/服务会让您“眼前一亮”?

吴兆荣:腾讯云WAF产品刷新了我之前对WAF的认识。与之前使用的传统硬件WAF产品相比,腾讯云WAF无论是架构还是功能丰富程度都远远超出了我们的预期。目前我们使用的是去年年底推出的腾讯云的CLB-WAF(负载均衡WAF)。

做过运维的伙伴都知道一个痛点:网关安全产品不敢随便用。由于安全产品的不稳定性可能导致业务失败,所以在做旁路镜像时不可能及时拦截威胁。然而,腾讯云CLB-WAF的侧挂架构没有这个麻烦。简单来说,侧挂架构的原理是:CLB将服务请求镜像到WAF集群,等待WAF集群反馈可信状态,决定释放还是拦截。如果WAF集群出现问题,一旦超时,CLB会自动释放,不会影响服务转发。这样既解决了稳定性问题,又能及时拦截威胁。对我们来说,这是一个引人注目的解决方案。到现在已经运行了半年,完全没有因为WAF问题影响到我们的业务。

Q6:网络爬虫是电商行业的一大顽疾,你们是否有受到这方面的困扰?

g>吴兆荣:电商行业是爬虫受害最严重的行业之一。针对电商行业的爬虫,它有专业性高、变化多端的特点。相信电商行业大部分客户,都会有这类的困扰。

目前云集的反爬虫策略,还处于不断摸索、不断进步的阶段。云集反爬虫主要依赖腾讯云WAF的BOT管理模块,它基于AI分析引擎,通过流量画像匹配用户爬虫,从而建立模型和行为标签,提供给我们爬虫和IP情报,快速识别爬虫行为,从而进行相关的干预。

腾讯云WAF近期推出了“情报IP”功能,我们试验下来效果非常明显。只要某个电商客户出现过爬虫攻击行为,该爬虫就会自动加入到我们的情报IP中。当我们再次遇到这类爬虫,WAF就会进行自动封禁。目前看来,这个功能在业内还是比较创新的,我们非常期待它长期的效果。

1.本站部分来源于互联网用户自主整合上传,如有侵权,请联系我们删除;

2.文章内容并不代表本站的观点或立场,如有关于文章内容,版权或其它问题请联系删除;

3.本文地址:https://jiatu888.com/xmt/83755.html

最新文章

网站介绍

本站部分内容收集于互联网,如有侵犯贵司(个人)版权,请联系本站删除。

Copyright@2018-2021 www.jiatu888.com 嘉图网 All Rights Reserved 粤ICP备20051635号 网站地图 tag列表

嘉图网