监控网络活动可能是一项单调而乏味的事情,但你有充分的情由要这样做。首先,它可以帮助你查找和调查事情站、连网设备和做事器上的可疑登录,同时确定管理员滥用的源头。还可以跟踪软件安装和数据传输,以便实时识别潜在的问题。
这些日志还有助于公司遵守适用于欧盟内任何实体的《通用数据保护条例》(GDPR)。由于如果你的网站要在欧盟是可浏览的,那么就必须遵守 GDPR。
日志记录(跟踪和剖析)该当是任何监控根本举动步伐中的一个基本过程。要从灾害中规复 SQL Server 数据库,就须要事务日志文件。此外,通过跟踪日志文件,DevOps 团队和数据库管理员(DBA)可以保持最佳的数据库性能,或者在网络受到攻击的情形下找到未授权活动的证据。因此,定期监视和剖析系统日志非常主要。
现下有相称多的开源日志跟踪器和剖析工具可供给用,这使得为活动日志选择精确的资源变得比想象中更随意马虎。免费和开源软件社区供应了适用于各种站点以及险些任何操作系统的日志设计,为大家推举 5 个非常好用的开源日志剖析工具。
GraylogGraylog于 2011 年在德国创建,现在作为开源工具或商业办理方案供应。它被设计成一个集中式日志管理系统,吸收来自不同做事器或端点的数据流,并许可用户快速浏览或剖析该信息。
由于其易于扩展,Graylog 在系统管理员中建立了良好的荣誉。大多数 Web 项目开始时规模很小,但是之后可能会成倍增长。Graylog 可以平衡跨后端做事器网络的负载,每天处理几 TB 的日志数据。
IT 管理员会创造,Graylog 的前端界面易于利用,并且功能强大。Graylog 是环绕仪表板的观点构建的,它许可你选择你认为最有代价的度量标准或数据源,并快速查看随着韶光的变革趋势。
当发生安全或性能事宜时,IT 管理员希望能够尽可能快地从症状追溯到根源。Graylog 中的搜索功能使这项事情变得大略。它具有内置的容错功能,可以运行多线程搜索,因此,你可以同时剖析多个潜在的威胁。
NagiosNagios始于 1999 年,当时只有一名开拓职员,后来发展成为管理日志数据的最可靠的开源工具之一。当前版本的 Nagios 可以与运行 Microsoft Windows、Linux 或 Unix 的做事器集成。
它的紧张产品是一个日志做事器,其目的是简化数据网络并使系统管理员更随意马虎访问信息。Nagios 日志做事器引擎将实时捕获数据并将其供应给一个强大的搜索工具。由于内置了安装引导,集成新端点或运用程序变得很随意马虎。
Nagios 最常用于须要监视本地网络安全性的组织。它可以审计一系列与网络干系的事宜,并帮助你自动分发警报。如果知足特定的条件,乃至可以将 Nagios 配置为运行预定义的脚本,从而让你可以在职员参与之前办理问题。
作为网络审计的一部分,Nagios 将根据日志数据来源的地理位置过滤日志数据。这意味着你可以利用映射技能构建一个全面的仪表板,以理解 Web 流量是如何流动的。
Elastic Stack (即 ELK Stack)Elastic Stack,常日称为 ELK Stack,是那些须要筛选大量数据并理解其系统日志的组织中最盛行的开源工具之一(这是我个人的最爱)。
它紧张由以下三个独立的产品组成:
顾名思义,Elasticsearch 旨在帮助用户利用多种查询措辞和类型在数据集中找出匹配项。速率是这个工具的最大上风。它可以扩展成由数百个做事器节点组成的集群,轻松处理 PB 级的数据。Kibana 是一个可视化工具,它与 Elasticsearch 一起运行,许可用户剖析他们的数据并构建强大的报告。当你第一次在做事器集群上安装 Kibana 引擎时,你将得到一个显示数据统计、图形乃至动画的界面。ELK Stack 的末了一部分是 Logstash,它是作为一个纯粹的、进入 Elasticsearch 数据库的做事器端管道。你可以利用各种编码措辞和 API 集成 Logstash。这样,你的网站和移动运用程序中的信息就可以直接输入到强大的 Elastic Stalk 搜索引擎中。ELK Stack 的一个独特特性是,它许可你监控构建在 WordPress 开源版本上的运用程序。与大多数跟踪管理和 PHP 日志(仅此而已)的开箱即用的安全审计日志工具比较,ELK Stack 可以筛选 Web 做事器和数据库日志。
糟糕的日志跟踪和数据库管理是导致网站性能差的最常见缘故原由之一。如果没有定期检讨、优化和清空数据库日志,不仅会降落站点的运行速率,还可能导致完备崩溃。因此,ELK 堆栈对付每个 WordPress 开拓职员的工具包来说都是一个精良的工具。
LOGalyzeLOGalyze是一个位于匈牙利的组织,它为系统管理员和安全专家构建开源工具,帮助他们管理做事器日志并将其转换为有用的数据点。其紧张产品可供个人或商业用户免费下载。
LOGalyze 被设计成一个巨大的管道,个中可以有多个做事器、运用程序和网络设备利用大略工具访问协议(Simple Object Access Protocol,SOAP)方法供应信息。它供应了一个前端界面,管理员可以登录该界面监控数据网络并开始剖析数据。
在 LOGalyze 的 Web 界面中,你可以运行动态报告,并将其导出成 Excel 文件、PDF 或其他格式。这些报告基于 LOGalyze 后台管理的多维统计数据。它乃至可以跨做事器或运用程序组合数据字段,以帮助你创造性能趋势。
LOGalyze 被设计成在不到一个小时内就可以完成安装和配置。它预先构建的功能使它能够以法规所哀求的格式网络审计数据。例如,LOGalyze 可以很随意马虎地运行不同的 HIPAA 报告,以确保你的组织遵守卫生法规并保持合规性。
Fluentd如果你的组织的数据源位于许多不同的位置和环境中,那么你的目标该当是尽可能地集中它们。否则,你将难以监控性能并戒备安全威胁。
Fluentd是一个健壮的数据网络办理方案,并且完备是开源的。它没有供应完全的前端界面,而是作为一个凑集层来帮助组织不同的管道。Fluentd 被天下上一些最大的公司利用,但是也可以在较小的组织中履行。
Fluentd 最大的好处是它与当今最常见的技能工具兼容。例如,你可以利用 Fluentd 从 Web 做事器(如 Apache)网络数据,从智能设备网络传感器数据,从 MongoDB 网络动态记录。如何处理这些数据完备由你决定。
Fluentd 基于 JSON 数据格式,可以与500 多个由著名开拓职员创建的插件一起利用。这使你可以将日志数据扩展到其他运用程序中,并通过最少的手工事情来进行更好地剖析。
小结如果你还没有把活动日志用于安全考量、政府合规性和生产力度量,那么请务必改变这种情形。市场上有很多插件,它们可以用于多种环境和平台,乃至可以用在你的内部网络上。不要等到发生了严重的事宜,才开始采纳积极主动的方法来掩护和监督日志。
关于作者Sam Bocetta是一名美国海军的退休国防承包商、国防剖析师和自由撰稿人。他善于为“不可能”的弹道学问题探求根本的办理方案。目前紧张关注物联网安全、加密、密码学、网络战和网络防御等方面的发展趋势。查看英文原文:5 useful open source log analysis tools