HBase 基本使用

[[HBase]] — Hadoop Database，是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文《Bigtable：一个结构化数据的分布式存储系统》。HBase 是 Google Bigtable 的开源实现，就像 Bigtable 利用了 Google 文件系统（File System）所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力，利用 Hadoop HDFS 作为文件系统，利用 Hadoop MapReduce 来处理 HBase 中海量 Read more ...

2017-02-16 hbase , database , apache , column-database , nosql

获取在线视频的时长

这是清理记事本的文章，解决一个问题之后，将之前整理的内容，整理发布。清空 WizNote 计划。 问题 手上有一些视频链接的 URL，如何快速的得到这些视频的时长信息？ 答案 经过一番调研，发现使用 ffprobe (和 ffmpeg 套件一起) 可以完美解决这个事情。将命令 -i 参数后面的地址改成线上URL 地址即可。 ffprobe -i https://cldup.com/po79gkocrO.mp4 -show_entries format=duration -v quiet -of csv="p=0" 也可以将此代码保存为 ge Read more ...

2017-02-11 ffmpeg , ffprobe

每天学习一个命令：perf 性能分析工具

Perf 全称Performance Event，是随着 Linux 2.6+ 一同发布的性能分析工具。通过它，应用程序可以利用 PMU，tracepoint 和内核中的特殊计数器来进行性能统计。它不但可以分析指定应用程序的性能问题 (per thread)，也可以用来分析内核的性能问题，当然也可以同时分析应用代码和内核，从而全面理解应用程序中的性能瓶颈。 安装 perf 工具在 linux-tools 下面，安装如下三个包即可 apt-get install linux-tools-common linux-tools-generic linux- Read more ...

2017-02-02 linux , 监控 , 资源占用 , command , perf

Spark 学习笔记

Spark 是一个依托于 Hadoop 生态的分布式内存计算框架，在吸收了 Hadoop MapReduce 优点的基础上提出以 RDD 数据表示模型，将中间数据放到内存，用于迭代运算，适用于实时计算，交互式计算场景。 什么是 Spark 简单的讲是一个通用计算引擎。 A fast and general engine for large-scale data processing An open source implementation of Resilient Distributed Datasets (RDD) Support Read more ...

2017-01-28 spark , notes , hadoop

Kerberos 使用

Kerberos 是一个网络验证协议，通过使用密钥来为 client/server 应用提供高强度的安全校验。一个开源的实现是由 Massachusetts Institute of Technology 实现。Kerberos 也在很多商业产品中被使用。 Kerberos 使用 UDP，默认使用 88 端口 在 Hadoop 生态中涉及到的安全问题可以大致归纳为两类，Authentication 和 Authorization： Authentication 认证用户身份，也就是证明 A 是 A 的问题 Authorization 则是 Read more ...

2017-01-27 kerberos , security , protocol

Linux 下自动更新 Chrome

最近使用 Gmail 竟然告诉我“即将不支持此版本浏览器”，于是看了一样 Chrome 版本号 —- v52 , 感觉还很新啊，查了一下发现 Chrome 版本已经更新到了 v56。 但是 Linux 下 Chrome 不会自动更新， chrome://help/ 来查看也不会自动更新。所以搜索了一下，发现 Google 其实维护了自己的 Linux Repository。 因为我是通过网站下载 GUI 安装的，所以没有自动更新的模块，添加 Chrome 的 source 即可。 添加 PPA 源 如果使用 PPA，则可以通过下面的命令，让 apt Read more ...

2017-01-27 Linux , Chrome , Google , APT

每天学习一个命令：ln 创建链接

ln 它的功能是为某一个文件在另外一个位置建立一个同步的链接。当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在 其它的目录下用 ln 命令链接（link）它就可以，不必重复的占用磁盘空间。非常类似于 Windows 系统中的快捷方式，但是又比超链接要强很多。 命令格式： ln [OPTION] TARGET LINK_NAME 命令功能： Linux 文件系统中，有所谓的链接 (link)，我们可以将其视为档案的别名，而链接又可分为两种 : 硬链接 (h Read more ...

2017-01-26 linux , command , ln , link

每天学习一个命令: base64 编解码

Base64 是一种使用 64 个可打印的字符来表示二进制数据的方法，base64 中仅且包括字母 A-Za-z0-9+/ 共64个字符。Base64 通常处理文本数据，表示、传输、存储二进制数据。 Base64编码由来 有些网络传送渠道不支持所有字节，比如邮件发送，图像字节不可能全部都是可见字符，所以受到了很大限制。最好的解决办法就是在不改变传统协议的情况下，利用一种扩展方式来支持二进制文件的传送，把不可打印的字符用可打印字符来表示。 Base64 就是一种基于64个可打印字符来表示二进制数据的方法。 原理 Base64 索引中，64个字符使用 Read more ...

2017-01-20 base64 , linux , encode , decode

RESTful 接口

RESTful 为 Representational State Transfer 的缩写，拆分开这三个单词来就是： Representational - REST resources can be represented in virtually any form, include XML, JSON, or even HTML 表现层，资源的表现形式 State - concerned with the state of a resource 状态，指的是互联网上资源的状态 Transfer - transferring resour Read more ...

2017-01-10 Web , API , RESTful

每天学习一个命令：lscpu 查看 CPU 信息

lscpu 显示 CPU 的架构信息 lscpu 从 sysfs 和 proc/cpuinfo 中收集信息。这个命令的输出是规范的可以用来解析，或者给人来阅读。该命令显示的信息包括，CPU 的数量，线程 (thread)，核心 (core)，Socket 还有 Non-Uniform Memory Access (NUMA) 节点数。 Socket 具体是指的主板上 CPU 的插槽数量，一般笔记本只有一个，而服务器可能会有多个。如果有两个插槽，通常称为两路 Core 具体是指 CPU 的核心，也就是平常说的几核，比如八核之类 threa Read more ...

2017-01-09 linux , command

电子书

本站提供服务

文章分类

最近文章

  • screen.garden：让 Obsidian 拥有 Google Docs 般的实时协作体验 之前我介绍过 Fast Note Sync，这是一款开源的 Obsidian 笔记同步方案，可以实现多设备之间的笔记同步和实时协作。Fast Note Sync 的优势在于完全开源、数据自主可控，但它有一个门槛——你需要自己搭建和维护服务器。对于有技术背景并且享受折腾的朋友来说这不是问题，但如果你不想操心服务器的事情，或者团队里有非技术背景的成员，那么一个开箱即用的托管服务可能是更好的选择。这就是我今天要介绍的 screen.garden，一个为 Obsidian 设计的付费实时协作服务。
  • Clawdbot 深度调研：打造完全属于自己的全平台 AI 助手 最近在折腾各种 AI 工具的时候，发现了一个有意思的现象：市面上大部分 AI 助手要么被牢牢绑定在某个特定平台上（比如只能在 Discord 里用的机器人），要么就是完全依赖某家公司的 SaaS 服务，你的对话数据都在别人的服务器上。作为一个对隐私比较在意的人，我一直在想，能不能有一个完全由自己掌控、可以在所有常用聊天软件里使用的 AI 助手呢？直到我在 GitHub 上发现了 [[Clawdbot]] 这个项目，才发现原来真的有人在认真解决这个问题。
  • 推荐我使用的 Agent Skills 随着 AI 编程助手的快速发展，[[Claude Code]]、[[Codex]]、[[Gemini CLI]] 等工具已经成为开发者日常工作中不可或缺的伙伴。然而，这些工具的默认功能往往只是冰山一角。通过安装和配置 Agent Skills，我们可以大幅扩展这些 AI 助手的能力，让它们更加智能、更加专业。
  • Antigravity Agent Skills 功能介绍与实战指南 2026 年 1 月 14 日，[[Google]] 为其 AI 驱动的开发工具 [[Antigravity]] 推出了 Agent Skills 功能。这个开放标准的技能系统让开发者可以将专业知识打包成可复用的技能包，极大地扩展了 AI 智能体的能力边界。
  • Gemini CLI Agent Skills 功能介绍与上手指南 [[Gemini CLI]] 最近推出了一个非常强大的新功能，名为 [[Agent Skills]]。这个功能极大地扩展了命令行 AI 助手的边界，允许用户根据自己的需求定制专业的技能包。