Verne in GitHub

Java 查漏补缺：线程间通信

wait notify

方法 wait() 是让当前执行代码的线程等待，wait() 是 Object 类的方法。在调用 wait() 方法前，线程需要获得对象级别锁，只能在同步方法或者同步块中调用，执行 wait() 方法后，当前线程释放锁。如果调用时没有持有适当锁，会抛出 IllegalMonitorStateException 异常。

方法 notify() 也需要在同步方法或者同步块中调用，同样调用前也需要获取对象锁。如果调用没有持有适当的锁，也会抛出 IllegalMonitorStateException 异常。notify() 方法永安里通知可能处于等待该对象锁的其他线程，如果有多个线程等待，由线程规划器随机挑选一个呈现 wait 状态的线程，发出 notify 通知，并使它获得该对象的对象锁。notify() 方法执行后，当前线程不会马上释放该对象锁，wait 状态的线程也不能马上获取该对象锁，需要等执行 notify() 方法的线程将程序执行完，也就是退出 synchronized 代码块之后，当前线程才会被释放锁。

如果发出 notify() 操作时没有处于阻塞状态的线程，命令会被忽视。

wait() 方法使线程停止运行，而 notify() 使停止的线程继续运行。

join

如果主线程要等待子线程执行完成之后结束，可以使用 join() 方法。

join(long) 在内部使用 wait(long) 方法实现，所以会释放锁。而 Thread.sleep(long) 方法不会释放锁。

ThreadLocal

ThreadLocal 类主要解决的就是每个线程绑定自己的值，每个线程都有自己的私有数据。

公平锁 vs 非公平锁

公平锁线程在获取锁的顺序是按照线程加锁的顺序来分配的，即先来先得 FIFO ，而非公平锁就是获取锁的抢占机制，随机获的锁。

ReentrantReadWriteLock

类 ReentrantLock 是完全互斥排他，同一时间只有一个线程能够执行 ReentrantLock 后任务，这样的方式保证了实例变量的线程安全，但是效率低下。所以 JDK 中提供了另外一个读写锁 ReentrantReadWriteLock ，在某些不需要操作实例变量的方法中，可以使用读写锁 ReentrantReadWriteLock 来提升方法的效率。

读写锁表示有两个锁，一个读相关锁，也成为共享锁，另一个是写相关的锁，也叫排它锁。读锁之间不排斥，写锁与其他锁互相排斥。多个线程可以同时读操作，但是同一时刻只允许有一个线程写操作。


2018-07-02 java , linux , thread , synchronized

通过 WebDAV 连接 NextCloud

NextCloud 支持 WebDAV 协议，用户可以完全通过 WebDAV 来连接并同步文件。虽然官方还是推荐 使用客户端来同步文件，不过如果要临时访问 NextCloud 上的文件，使用 WebDAV 方式还是很便捷的。

假设 NextCloud 的地址是 example.com 这个，那么在 Linux 下，一般文件管理器中有连接到服务器的选项在其中，填入服务器 IP 地址，访问端口，然后访问地址填写 /remote.php/dav/files/[USERNAME] 输入该用户的用户名和密码即可访问该用户的所有文件列表。

如果要直接在文件管理器中访问，可以尝试使用如下的协议地址：

dav://[USERNAME]@[SERVER_IP]:[PORT]/remote.php/dav/files/[USERNAME]

在 Linux 下还能通过命令行访问，具体可参考下面的链接。

reference


2018-07-01 nextcloud , webdav , dav , sync , files , linux

每天学习一个命令：使用 jpegoptim 和 optipng 优化压缩图片

今天突然遇到一个问题，使用手机拍摄的照片 5+M 体积巨大，但是网易要求的图片大小需要小于 1M，所以就有了压缩图片的需求。记得很久以前使用过 TinyPNG 这个服务，但是唯一一点不好的就是无法脱离他在线的服务，需要把照片上传到他的网站上才能进行压缩。虽然有 tinypng-cli 这个命令行的工具，但其实也是依赖在线服务的。所以就找了一下，然后发现了 jpegoptim 和 optipng 这两个工具。

jpegoptim

安装

apt-get install jpegoptim

使用

jpegoptim file.jpg

然后使用 du -h file.jpg 查看文件大小。使用这种方式 jpegoptim 会尽量使用无损失的压缩方式，所以几乎看不出区别。而如果想要指定大小，比如想要压缩到 500k 大小，可以

jpegoptim --size=500k file.jpg

而如果要批量压缩，在目录中 jpegoptim *.jpg 即可。

如果要将 EXIF 信息移走可以添加参数

jpegoptim --strip-exif file.jpg

结合 find

find images_folder/ *.{jpeg,jpg} -exec jpegoptim {} \;

optipng

安装

apt-get install optipng

使用

optipng file.png

结合 find

find images_folder/ *.png -exec optipng {} \;

reference


2018-06-30 compress , optimize , linux , command , jpeg , png

Java 查漏补缺之位运算符

今天在看 Kafka 源码 LongSerializer 时看到将 Long 型转 byte 数组的实现，感觉需要补习一下位运算符，所有有了这篇。

Java 提供的位运算符有：左移 ( << )、右移 ( >> ) 、无符号右移 ( >>> ) 、位与 ( & ) 、位或 ( | )、位非 ( ~ )、位异或 ( ^ )，除了位非 ( ~ ) 是一元操作符外，其它的都是二元操作符。

与或非，亦或 就不说了。

左移

左移 1 位 (<<1) ，值乘 2，以后依次乘 2.

右移

右移 1 位 (>>1)，值除以 2。

无符号右移

对于负数，二进制高位为 1，所以一个 int 类型的 -5 二进制表示是

1111 1111 1111 1111 1111 1111 1111 1011

对于负数，使用右移 >> 时，则高位补 1，而对于无符号右移，则高位补 0 。

延伸

由位运算操作符衍生而来的有：

  • &= 按位与赋值
  • |= 按位或赋值
  • ^= 按位非赋值
  • >>= 右移赋值 a »= 1 就是 a = a » 1
  • <<= 赋值左移
  • >>>= 无符号右移赋值

和 += 一样，理解为 a += 1 也就是 a = a + 1。


2018-06-26 java , bit , operator , notes

Python Linux 系统管理与自动化运维读书笔记

小工具

HTTP Server

python -m SimpleHTTPServer

python -m http.server

JSON 格式化

echo '<json string>' | python -m json.tool

验证第三方库安装

python -c "import paramiko"

pip 用法

源码安装

python setup.py install

pip 子命令

子命令 说明
search 搜索 pip search flask
install 安装 pip install flask==0.8 , pip install -r requirements.txt
uninstall 卸载
show 查看包详情
check pip 9.0.1 之后提供，检查包是否完整
list 列出已安装
freeze 导出已安装包列表 pip freeze > requirements.txt
completion 生成命令补全配置 pip completion -z >> ~/.zshrc && source ~/.zshrc

加速 pip 安装

下载时指定

pip install -i https://pypi.douban.com/simple/ flask

或者创建 ~/.pip/pip.conf ，写入

[global]
index-url = https://pypi.douban.com/simple/

2018-06-24 python , linux , notes , deploy

威联通折腾篇七：定时任务

威联通的机器本来就是基于 Linux 定义的，所以想要定时任务就会想到 crontab，在威联通中使用 crontab 必须使用 SSH 登录。

然后基本使用 crontab -l 查看当前 qnap 中已经存在的定时任务。

在大多数桌面版 Linux 中会使用 crontab -e 来编辑 crontab 配置，但是注意不要在威联通中使用这种方法，威联通在重启的时候会覆盖使用这种方式写入的配置。如果想要永久的保存配置，应该使用

vi /etc/config/crontab

然后写入配置，比如

0 4 * * * /share/custom/scripts/custom1.sh

这行配置表示在 凌晨 4 点执行后面的脚本。

或者直接使用 echo，将命令放到双引号中

echo "1 4 * * * /share/custom/scripts/custom1.sh" >> /etc/config/crontab

另外需要注意可执行文件一定需要可执行权限 chmod +x filename.sh

重启 crontab

crontab /etc/config/crontab && /etc/init.d/crond.sh restart

标准的 crontab 任务

定时任务 解释
0 3 * * 0 /etc/init.d/idmap.sh dump  
10 15 * * * /usr/bin/power_clean -c 2>/dev/null  
0 4 * * * /sbin/hwclock -s http://linux.die.net/man/8/hwclock
0 3 * * * /sbin/vs_refresh  
0 3 * * * /sbin/clean_reset_pwd  
0-59/15 * * * * /etc/init.d/nss2_dusg.sh  
30 7 * * * /sbin/clean_upload_file  
0-59/10 * * * * /etc/init.d/storage_usage.sh  
30 3 * * * /sbin/notice_log_tool -v -R  
*/10 * * * * /sbin/config_cache_util 0  
0-59/20 3 * * * /sbin/adjust_time  
0 8 * * * /usr/local/medialibrary/bin/mymediadbcmd buildall 1>/dev/null 2>/dev/null  
55 9,21 * * * /sbin/notify_update -s -p 1>/dev/null 2>&1  
0 23 */1 * * /sbin/qpkg_cli -U 1>/dev/null 2>/dev/null  
0 0 * * * /share/CACHEDEV1_DATA/.qpkg/Qcenter/qnap-cms/bin/log_retention.sh > /dev/null  
0 0 * * * /share/CACHEDEV1_DATA/.qpkg/Qcenter/qnap-cms/bin/nasconfig_retention.sh > /dev/null  
0 2 * * * /sbin/qfstrim  
0 0 * * 0 /sbin/storage_util –data_scrubbing raid_id=-1 >/dev/null 2>&1  
51 * * * * /sbin/qddns_check 2>/dev/null  
* * * * * /var/cache/netmgr/lock_timer.sh  
* * * * * /var/cache/netmgr/detect_defaultgw_internet.sh  
0 4 * * * /etc/init.d/wsd.sh restart  
4 3 * * 3 /etc/init.d/backup_conf.sh  
0 0 * * * /etc/init.d/antivirus.sh archive_log  
56 0 */1 * * /etc/init.d/antivirus.sh update_db  
20 08 * * * /mnt/ext/opt/QcloudSSLCertificate/bin/ssl_agent_cli  
35 7 * * * /sbin/qsyncsrv_util -c > /dev/null 2>/dev/null  
0 0 * * * /sbin/qsyncsrv_tool –fix > /dev/null 2>/dev/null  

reference


2018-06-23 qnap , qnap-tutorial , linux , crontab

修复 NextCloud 消失的托盘图标

NextCloud 算是很重度 的使用起来了，VPS 上安了，NAS 上也有。各个平台使用体验非常不错，不过唯一一点缺憾是有些时候 Ubuntu/Mint 上 NextCloud 随机启动之后托盘消失，导致看不到同步进度，老是让我感觉没有启动。

所以为了修复这个问题，需要完成以下两个步骤。第一个步骤就是在 startup applications 中将 NextCloud 设定延迟 10s 启动。

nextcloud-startup-applications

第二步就是需要卸载 appmenu-qt5 这个 bug 可以参考这个 issue

sudo apt remove appmenu-qt5

2018-06-21 nextcloud , dropbox , ubuntu , linux

Fabric 2.x 使用

Fabric 在升级 2.x 之后，几乎就是重写了。很多以前的用法都变了，然后在 1.x 时代，本地和远程都是用一套代码处理，但是 2.x 的时候将 local 处理部分和远程处理部分分别拆分为 fab 和 invoke 了，拆分的理由可以参考这里。

以前 Fabric 是不支持 Python 3 的，升级之后的版本可以完美支持 Python 3，然后下面是 Fabric 2.x 的升级理由：

  • Python 3 compatibility support 2.7 and 3.4+
  • Thread-safe
  • API reorganized around fabric.connection.Connection
  • Command-line parser overhauled to allow for regular GNU/POSIX style flags and options on a per-task basis (no more fab mytask:weird=custom,arg=format);
  • Task organization is more explicit and flexible
  • Tasks can declare other tasks to always be run before or after themselves;

更多关系 1.x 和 2.x 的对比可以参考这个网址

忘记 1.x 的一切，然后从头开始


2018-06-19 fabric , python , deploy

《分布式服务架构：原理、设计与实战》读书笔记

总得来说这本书按照微服务的各个内容介绍了一遍，但是只适合入门，并不适合深入了解。看完可以对什么是微服务有一个大致的了解，对于自己实现一个微服务架构还是需要更多的阅读。

第 1 章 原理

微服务架构的目的是为了解决传统单体应用在业务急剧增长时遇到的水平扩展问题。通过拆分服务，将微服务系统中的服务划分明确的职责，做到低耦合，高内聚。

微服务交互模式

  1. 读者容错处理
  2. 消费者驱动契约模式，服务提供者向所有消费者承诺遵守的约束，一旦消费者把具体期望告诉提供者，提供者无论在什么时间和场景下，都不应该打破契约。

两个概念：

  • 水平扩展，扩展单节点
  • 垂直扩展，功能拆分，专业的人做专业的事，将复杂功能拆分为多个单一，简单功能的组合

SOA 面向服务的架构

常见的 SOA 服务化架构

  • Dubbo
  • Thrift

第 2 章 分布式系统一致性问题

分布式系统 CAP 原理

  • Consistency 一致性，同一时刻，所有副本数据一致
  • Availablity 可用性
  • Partition tolerance 分区容忍性，可容忍部分数据丢失，但系统仍然能够继续工作

三者不能同时兼得。

BASE 思想，满足 CAP 原理，牺牲强一致性获得可用性，通过最终达到一致性来满足业务

  • BA Basically Available 基本可用
  • Soft State 软状态，状态可以在一段时间内不同步
  • Eventually Consistent，最终一致性，在一定时间窗口内达到一致

解决方案：

  • 两阶段提交协议
  • 三阶段提交协议
  • TCC 协议

第 3 章 服务化系统容量评估末日性能保障

容量：按照峰值 5 倍冗余计算

MySQL

  • 单端口读 1000/s
  • 单端口写 700/s
  • 单表容量 5000 万

Redis

读写 40000/s

Kafka 单机 读 30000/s 写 5000/s

然后书上介绍了一些压测工具，ab，jmeter，mysqlslap，sysbench，dd，loadRunner，hprof 等等

第 4 章 日志

首先介绍了一些日志框架，然后是 ELK。

第 5 章 调用链

这部分没有细看，先开始介绍了 APM 的功能和作用，然后介绍了 Dapper 论文里面提到的调用链跟踪原理。

第 6 章 线上问题

海恩法则：

每一次严重事故的背后，必然有 29 次轻微事故和 300 起未遂先兆及 1000 起事故隐患。

墨菲定律，这个条太熟悉了，星际穿越中就提及了

如果有两种或两种以 上 方式去做某件事情，而选择其中一种方式将导致灾难，则必定有人会做出这种选择。

墨菲定律实际上是个心理学效应，如果你担心某种情况会发生，那么它更有可能发生，久而久之就一定会发生。

后面介绍了 java 自带的调试工具，还有一些 Linux 下的常用命令。

后面作者举了一个真实的线上问题解决思路。

第 7 章 服务容器化

主要就是介绍 Docker 了。

第 8 章

关于敏捷开发，持续集成，持续交付和持续部署。然后是一些常用的开发，运维工具。


2018-06-18 distributed-system , reading , book

威联通折腾篇五：安装 Transmission 下载 BT

这一篇讲在威联通上安装和使用下载工具 – Transmission。

Transmission 是一个 BT 客户端，提供了 Web 和命令行界面，非常适合在威联通机子上跑。威联通自身的 Download Station 根本无法用，而迅雷和百度也基本无法用。只能尝试一下这个方法了。

安装

如果看过之前的文章，应该知道威联通第三方的应用市场 QNAP CLUB，在其中直接能够找到 QTransmission。安装完成之后用户名密码是 qnap 和 qnap。

配置文件路径：

  • /opt/QTransmission/etc
  • /share/CACHEDEV1_DATA/.qpkg/QTransmission/etc

为什么有两个路径呢，是因为 opt 目录下的路径其实是一个软连接，指向真实在 /share/CACHEDEV1_DATA/.qpkg/QTransmission 的目录。

如果要修改 WEB 界面的端口，需要同时修改 /mnt/HDA_ROOT/.config/qpkg.conf 里面 QTransmission 配置的端口。

配置

安装完成后直接在威联通 WEB 界面上点击进入，然后使用 qnap - qnap 登录。设置限速、关闭 DHT，然后在路由器上做端口转发，保证 51413 端口开放。

其他常用的配置

"cache-size-mb": 16

然后在威联通中新建共享文件夹，配置下载保存的位置。

"download-dir": "/share/Transmission"

等等。

不过经过我这番尝试，我的 51413 端口依然无法连上，所以放弃了。代替方案先用小米路由器好了。


2018-06-17 qnap , qnap-tutorial , download , bt

电子书

文章分类

最近文章

  • MySQL 中的日志配置和管理 MySQL 中默认是没有开启日志记录的，所以需要手动修改配置文件开启日志。而在 MySQL 中我们需要关心的有三类日志：
  • Java 查漏补缺之：ThreadLocal 使用 ThreadLocal 线程本地变量，每个线程保存变量的副本，对副本的改动，对其他的线程而言是透明的。
  • 为知笔记导出和备份 WizNote 已经用了好几年，虽然也一直在续费，但总感觉将死不死，基于整理这几年近 4000 条的笔记的目的，也一方面为迁移出 WizNote 的目的，研究一下 WizNote 笔记导出和备份的方法。
  • Nginx location 匹配规则 之前的关于 Nginx Config 的文章是当时看 Nginx 书记录下来的笔记，很大略，没有实际操作，等终究用到 location 的时候发现还是有很多需要注意的问题，比如匹配的优先顺序，比如 root 和 alias 的区别等等，所以单独拿一篇文章来记录一下目前遇到的问题，并来解决一下。
  • koajs 简单使用 Koa 是一个背靠 Express 的团队设计的全新的 Web 框架，旨在使之成为一个更轻量，更丰富，更加 robust 的基础框架。通过促进异步方法的使用，Koa 允许使用者抛弃 callback 调用，并且大大简化了错误处理。Koa 并没有将中间件绑定到核心代码，而是提供了一组优雅的方法让编写服务更加快速，通过很多第三方的扩展给 Koa 提供服务，从而实现更加丰富完整的 HTTP server。