来自 CC防护 2021-03-06 23:07 的文章

服务器被攻击_能不能_美国高抗服务器

服务器被攻击_能不能_美国高抗服务器

因此,数据库和分析技术的最大革命——即被称为MapReduce的分布式批处理技术(以及围绕它建立起来的以Hadoop为中心的相关生态系统)是一个硅谷玩家的遗留技术。上周,谷歌宣布了谷歌云数据流(googleclouddataflow)的问世,网站怎么防御ddos,这是一项基于云的大数据分析的新服务,谷歌表示,它将取代MapReduce。虽然各种风投公司和公司已经向Hadoop投入了数十亿美元(仅Cloudera一家就获得了数十亿美元的资金),但谷歌现在非常重视这样一个事实:它很久以前就放弃了MapReduce,因为它很难建立灵活的分析管道。他们用什么来代替它?到上周为止,有很多猜测、泄密、前雇员的报告等等,但没有关于细节的真正线索。很明显,他们在内部继续使用分布式大数据处理平台,而最初的MapReduce概念仍然是该基础设施的关键部分。但我们怀疑,考虑到他们拥有的时间优势(毕竟他们已经在这些技术上工作了10年以上),他们已经将它们进化成具有实时能力的东西,并且他们优化了算法以获得更快的结果。另外,考虑到开发人员多年来推动Google向前发展的数据科学,人们可能会认为MapReduce的概念在可用性、生产力等方面已经得到了很好的改进,大量的复杂性被抽象化了(就像Pig也曾试图用MapReduce做的那样)。当然,免费ddos防御,Google已经将数据驱动业务的概念提升到了一个新的层次,在这个新的层次上,及时的洞察变得至关重要,因此他们本可以构建出一个健壮的、容错的架构,并对其进行改进,以在全球数据中心大规模运行。所以是的,数据流就是以上所有的。很明显,数据流使分析开发人员的生活变得更加轻松——尤其是在计算需要实时或在线(在机器学习的意义上)方面时,这与IBM对Infosphere Streams的处理方式非常相似。它隐藏了所有的复杂性。订阅publish-subscribe message broker以获取实时提要,如何配置ddos防御,指定处理每个消息(转换)的步骤,然后将输出写回另一个message broker。或者,您可以直接访问Google的文件系统来读写文件,或者通过BigQuery表访问数据。由于这两种方法的管道是相同的(并行集合),所以您可以重用为在线处理作业而编写的批处理代码,反之亦然。谷歌I/O上的演示甚至建议你可以混合实时和批处理作业,但没有详细说明实现这一点有多容易。谷歌方面真正的魔力似乎在于它能够优化数据处理管道。随着现实世界的分析工作变得越来越复杂,Tcpddos防御,功能也越来越丰富,常常需要多次处理相同的事件集。Dataflow可以优化你的代码,这样它就可以将数据的多次传递合并到更小的处理步骤中,而Google工具可以对开发人员隐藏所有这些信息,这样他们就可以专注于工作应该做什么,而不是他们是如何做的。现在,向Hadoop添加实时功能并不是革命性的。我自己在前世也尝试过——在那里,我们用Apache Kafka做了一个非常强大的设置,为一个进行实时数据浓缩和在线机器学习的暴风集群提供数据,将输出数据输入HBase,在HBase中,批处理作业正在对现在丰富的原始数据进行操作。我们还引入了一个介于实时和批处理之间的中间层,这样我们就可以用另一种方式关闭循环,批处理的输出可以通过内存缓存提供给实时层。所以开源的构建块都在那里——而且一直在变好。但并不是每个人都想花钱构建自己的分析框架,阿里的服务器能防御CC吗,因此Dataflow的工作方式与我们的客户使用Logentries进行日志分析一样,而不是构建自己的基础设施。我们还特别高兴地看到谷歌的声明强调了日志分析的重要性(约27:45进入视频)!我们非常希望看到数据流和日志项如何协同工作来解决这些问题。当然,我们的目标是成为满足您所有日志管理需求的一站式服务,但我们也认识到,预集成服务的生态系统(正如我们本周发布的)可以帮助我们的更多用户解决更多的日志管理问题。谷歌云数据流目前还处于测试阶段,所以这个声明到底有多大的突破性还没有定论(我们已经很好地询问过是否可以尝试一下)。但是,如果这真的是谷歌将自己的内部分析基础设施作为一个云托管平台向世界其他地方开放的话,再加上谷歌进军基础设施即服务领域,看起来它真的可以撼动云服务领域的局面。预计亚马逊会对与肯尼斯有关的新公告做出强烈反应。