Perf 全称Performance Event,是随着 Linux 2.6+ 一同发布的性能分析工具。通过它,应用程序可以利用 PMU,tracepoint 和内核中的特殊计数器来进行性能统计。它不但可以分析指定应用程序的性能问题 (per thread),也可以用来分析内核的性能问题,当然也可以同时分析应用代码和内核,从而全面理解应用程序中的性能瓶颈。
安装
perf 工具在 linux-tools 下面,安装如下三个包即可
apt-get install linux-tools-common linux-tools-generic linux-
Read more ...
Spark 是一个依托于 Hadoop 生态的分布式内存计算框架,在吸收了 Hadoop MapReduce 优点的基础上提出以 RDD 数据表示模型,将中间数据放到内存,用于迭代运算,适用于实时计算,交互式计算场景。
什么是 Spark
简单的讲是一个通用计算引擎。
A fast and general engine for large-scale data processing
An open source implementation of Resilient Distributed Datasets (RDD)
Support
Read more ...
Kerberos 是一个网络验证协议,通过使用密钥来为 client/server 应用提供高强度的安全校验。一个开源的实现是由 Massachusetts Institute of Technology 实现。Kerberos 也在很多商业产品中被使用。
Kerberos 使用 UDP,默认使用 88 端口
在 Hadoop 生态中涉及到的安全问题可以大致归纳为两类,Authentication 和 Authorization:
Authentication 认证用户身份,也就是证明 A 是 A 的问题
Authorization 则是
Read more ...
最近使用 Gmail 竟然告诉我“即将不支持此版本浏览器”,于是看了一样 Chrome 版本号 —- v52 , 感觉还很新啊,查了一下发现 Chrome 版本已经更新到了 v56。 但是 Linux 下 Chrome 不会自动更新, chrome://help/ 来查看也不会自动更新。所以搜索了一下,发现 Google 其实维护了自己的 Linux Repository。
因为我是通过网站下载 GUI 安装的,所以没有自动更新的模块,添加 Chrome 的 source 即可。
添加 PPA 源
如果使用 PPA,则可以通过下面的命令,让 apt
Read more ...
ln 它的功能是为某一个文件在另外一个位置建立一个同步的链接。当我们需要在不同的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个必须相同的文件,我们只要在某个固定的目录,放上该文件,然后在 其它的目录下用 ln 命令链接(link)它就可以,不必重复的占用磁盘空间。非常类似于 Windows 系统中的快捷方式,但是又比超链接要强很多。
命令格式:
ln [OPTION] TARGET LINK_NAME
命令功能:
Linux 文件系统中,有所谓的链接 (link),我们可以将其视为档案的别名,而链接又可分为两种 : 硬链接 (h
Read more ...
Base64 是一种使用 64 个可打印的字符来表示二进制数据的方法,base64 中仅且包括字母 A-Za-z0-9+/ 共64个字符。Base64 通常处理文本数据,表示、传输、存储二进制数据。
Base64编码由来
有些网络传送渠道不支持所有字节,比如邮件发送,图像字节不可能全部都是可见字符,所以受到了很大限制。最好的解决办法就是在不改变传统协议的情况下,利用一种扩展方式来支持二进制文件的传送,把不可打印的字符用可打印字符来表示。 Base64 就是一种基于64个可打印字符来表示二进制数据的方法。
原理
Base64 索引中,64个字符使用
Read more ...
RESTful 为 Representational State Transfer 的缩写,拆分开这三个单词来就是:
Representational - REST resources can be represented in virtually any form, include XML, JSON, or even HTML 表现层,资源的表现形式
State - concerned with the state of a resource 状态,指的是互联网上资源的状态
Transfer - transferring resour
Read more ...
lscpu 显示 CPU 的架构信息
lscpu 从 sysfs 和 proc/cpuinfo 中收集信息。这个命令的输出是规范的可以用来解析,或者给人来阅读。该命令显示的信息包括,CPU 的数量,线程 (thread),核心 (core),Socket 还有 Non-Uniform Memory Access (NUMA) 节点数。
Socket 具体是指的主板上 CPU 的插槽数量,一般笔记本只有一个,而服务器可能会有多个。如果有两个插槽,通常称为两路
Core 具体是指 CPU 的核心,也就是平常说的几核,比如八核之类
threa
Read more ...
tree 命令,是一个列出树型目录结构的命令。同时也能够统计出目录下的文件数量和目录数量。
生成目录结构的输出,可以是纯 ASCII 字符,也可以是 html
tree -H baseHREF
根据手册
tree 命令是用来以树的方式 list 目录下的所有文件
tree -s -v --du -T "目录索引 - Kindle 伴侣每周一书(往期)(更新:06 月 05 日)" -I "Z.*|index*" -h -H ./ -o index.html
说明:
-s 列出文件或者目录大小
-v 按照字母序排序
--d
Read more ...
nmap 是一个网络探测和安全审核工具,能够扫描主机开放端口。nmap 全称 network mapper 网络映射器,设计的目标是快速扫描大型网络。
nmap 以原始 IP 报文来检测网络上有哪些主机,主机运行哪些操作系统(包括版本),主机提供哪些服务(应用程序名和版本),主机使用什么类型的报文过滤器 / 防火墙,以及一堆其它功能。虽然 Nmap 通常用于安全审核,许多系统管理员和网络管理员也用它来做一些日常的工作,比如查看整个网络的信息,管理服务升级计划,以及监视主机和服务的运行。
Nmap 输出的是扫描目标的列表,以及每个目标的补充信息,至于是
Read more ...