来自 网络 2022-05-29 02:30 的文章

高防IP_海外高防服务器_超稳定

高防IP_海外高防服务器_超稳定

Avast Evo Gen的发展:使用机器学习保护数亿用户

作为计算机安全领域的领先公司之一,我们每天都在努力为所有用户提供最高级别的保护。这就要求我们不断探索新的方法来击败恶意软件,经常使用前沿技术或以前从未在我们的环境中尝试过的方法进行实验——借鉴生物学或物理学等领域的思想。许多这样的实验从来没有产生任何实质性的结果,但有时结果甚至超过了我们最乐观的预期。在这里,我想谈谈这样一个实验。我们在六年前启动了它,它发展成为一个系统,很快成为我们今天在Avast使用的最强的恶意软件检测引擎之一。

该系统被称为Evo Gen,如果你仔细阅读我们的博客,你可能会在我们的CTO Ondřej Vlček的博客文章中听到它。早在2012年,我们就在为所有Avast用户首次部署此新系统的过程中。虽然我们没有在博客上真正地报道它,但在过去的五年半里,我们一直在努力工作,企业怎么防御ddos攻击,不断地监控和改进它。如果这是您第一次听说Evo Gen,哪家服务器防御cc好,或者您根本不记得它是什么,让我为您简要介绍一下:

Evo Gen是一种机器学习系统,用于实时对未知样本进行分类。对于被识别为恶意的样本,它会快速创建一个定义,并立即流式传输给所有Avast用户,以保护他们免受新威胁。

它创建的定义(称为"evogens")本质上非常小且简单,这意味着它们非常容易评估。此外,每个evogen通常针对不止一种威胁提供保护-这些定义是通用的,因此涵盖了给定威胁的多种变体。

自2013年初投入生产以来,Evo Gen已经创建了120多万个此类定义,识别了近5亿个独特的恶意软件样本。如果你计算一下,这意味着每天都会创建600多个Evogen,每个Evogen平均识别400多个样本!它用于每项决策的数据集也大幅增长——从几百万个独特样本增加到一亿多个,这还没有考虑到我们用于离线分析和威胁情报的数亿个独特样本。最大的增长得益于AVG的收购,该公司通过数千万新样本丰富了数据集。

该系统完全自动化,无需人工交互。它一直在努力分析传入的样本,并将它们与多年来收集的大量样本进行比较。使用我们的流媒体更新技术,ddos防御防护设备,它生成的所有定义几乎立即发送给所有Avast用户,从而及时为他们提供高质量的保护。

在极少数情况下,出现错误,必须禁用发布的定义。但当这种情况发生时,系统会从中吸取教训,不再犯同样的错误。到目前为止,在它创造的所有Evogen中,cc防御方案,超过40%的Evogen仍然处于活动状态,并且每天都在使用。其中一些是真正的记录保持者——识别的不是数百个而是数百万个独特的样本。

正如我在本文开头提到的,自2013年初部署以来,整个系统经历了许多变化。它从一个具有短期定义的小型概念验证演变为一个高质量和稳定的恶意软件检测引擎。这一点在下面的汇总图上最为明显,您可以看到,过去我们必须禁用比今天多得多的EvoGen:

您可能会注意到2013年夏季创建的定义数量大幅增加。当时我们希望Evo Gen生成更通用的定义,以涵盖更广泛的威胁。因此,我们增加了定义生成器允许使用的随机性量。然而,几个月后,这一变化不得不恢复,因为它被证明过于激进,所以我们回到了一个更确定的方法。有趣的是,在我们的内部测试中,我们没有遇到任何添加更多随机性的问题,但来自外部世界的样本种类繁多,令人难以置信,这导致我们的系统产生了太多带有角点误报的定义。在实验室环境中发现这个问题是不可能的,我们必须以艰苦的方式吸取教训。

2014年期间,我们主要专注于稳定系统——修复漏洞和处理各地的角落案例。然后,在2015年,我们开始讨论对生成器算法的重大重写。到目前为止,我们的方法并没有真正利用底层数据库系统的全部功能,即相似性搜索,它被非常天真地用于执行具有特定领域约束和专家知识规则的k-NN搜索。经过一些研究,我们得出结论,使用HDBSCAN(https://en.wikipedia.org/wiki/DBSCAN )是最合适的,我们的初步测试表明它是有希望的。然而,开发一个在时间限制下表现良好的变体(记住,系统应该实时创建定义!)事实证明这是一个相当大的挑战,因此它花了一年多的时间才部署到生产中。这发生在2016年末,是一次绝对的成功。仅在部署几个月后,由于内部或外部误报,我们就看到禁用的Evogen数量急剧减少。2017年,win7系统防御ddos,我们对算法进行了一些小的调整,并改进了底层数据库的性能,从而进一步提升了其性能。