Git 使用过程中遇到的小技巧

Git 使用过程中遇到的小技巧，平时没有 commit, merge, branch 用的那么勤快，但是需要时也需要查看一下，因此记录一下，以免忘记。将其他分支中多次提交合并到 master 的一次提交开发中经常使用分支开发，因此不可避免的在开发中向 dev，或者 bugfix 分支进行多次提交，而有些提交可能仅仅为了测试，commit message 也没有认认真真写，所以当开发完成，或者 bug 修复完成想要合并到 master 分支时，不希望保留中间糟糕的提交信息，有一种方法是使用 merge 的 --squash 。而在之前我可能会用 Read more ...

2017-05-14 git , linux , 经验总结 , version-control

URL 短域名

逛博客看到别人在讨论 [[短 URL 的设计实现]]，然后偶然间发现了 GitHub 曾经推出 1 过的短域名服务 Git.io 创建短域名 curl -i https://git.io -F "url=https://github.com/einverne" HTTP/1.1 100 Continue HTTP/1.1 201 Created Server: Cowboy Connection: keep-alive Date: Sun, 14 May 2017 03:05:40 GMT Status: 201 Created Content-T Read more ...

2017-05-14 github , google , short-url , url

目录 /usr/local vs /opt 的区别及 JDK 安装

今天看 JDK 的路径突然发现我在两台机子上，一台装在了 /usr/local/ 目录下，而我自己的 Mint 装在了 /opt/ 目录下。感觉对 Linux 目录结构还需要增加了解，就Google了一下。 /usr/local 和 /opt 目录设计为存放非系统级命令，而 /usr/local 目录一般用来防止管理员通过本地编译安装的程序，比如通过 ./configure; make; make install 等命令安装的程序，该目录的目的就是为了使用户产生的命令不和系统命令产生冲突。 /opt 目录一般用来安装非捆绑的软件程序，每个应用都有其自 Read more ...

2017-05-13 Linux , FHS , Java

SQLAlchemy session 使用问题

在更改 SQLAlchemy Session 从每次请求都创建到共享同一个 Session 之后遇到了如下问题： StatementError: (sqlalchemy.exc.InvalidRequestError) Can’t reconnect until invalid transaction is rolled back [SQL: ] 或者是 raised unexpected: OperationalError(“(_mysql_exceptions.OperationalError) (2006, ‘MySQL ser Read more ...

2017-05-12 python , sqlalchemy , mysql , orm , sql , session , flask

保持 SSH 连接

记录一些 SSH 相关的内容，经常使用。 SSH 是 Secure Shell 的缩写，是一个应用层的加密网络协议，它不只可以用于远程登录，远程命令执行，还可用于数据传输。当然它由 ssh Client 和 ssh Server 端组成，有很多实现，Ubuntu 上就默认安装的 OpenSSH, Client 端叫做 ssh, Server 端叫做 sshd. OpenSSH 只用来做远程登录和命令执行。免密登录查看本地 ~/.ssh/ 目录是否有 id_rsa.pub，如果没有，在本地创建公钥 ssh-keygen -t rsa 一 Read more ...

2017-05-07 ssh , linux , git , github , gitlab

MySQL 命令记录

MySQL 命令行操作相关内容，防止遗忘。MySQL 常用命令记录，总结。安装 Under Ubuntu sudo apt update sudo apt-get install mysql-server sudo mysql_secure_installation 如果安装过程中没有弹出设置密码的对话，那么可以在安装完成后执行： sudo mysql_secure_installation 来设置密码，及一些安全的设置。之后就可以用 sudo mysql -u root -p 来登录。启动停止 MySQL 服务可以使用如下 Read more ...

2017-05-04 mysql , database , linux

Dockerfile 基础镜像

首先随便看看 Python 的镜像就能看到非常多的版本，这些版本怎么选择呢。首先解释几个常见的名词，其实都是 Linux 的发行版本 Stretch Debian 9 Jessie , 指的是 Debian 8 Wheezy Debian 7 Alpine 轻型 Linux 发行版其次基于不同版本系统制作的镜像自身大小都有区别，比较精简的 python:2.7-slim 可能也要比 python:2.7-alpine 来的大。 Read more ...

2017-05-02 linux , docker , dockerfile , docker-image

借助 scrapy-redis 实现 scrapy 分布式爬虫

最原始的 Scrapy 项目是只能将爬虫部署到单机上，如果要实现分布式爬虫就需要手动去维护一个待抓取的列表，那么 scrapy-redis 项目就是这样一个存在。特性：分布式抓取，可以部署多个 spider 实例，共享同一个 redis 队列分布式后处理，抓取的内容会放到一个队列中，这样就意味可以开启足够多的实例来处理结果提供了即插即用的组件，包括定时，去重，等等 Scrapy 的局限 Scrapy 已经能够满足大部分爬虫的需要，但是有一些场景 Scrapy 并不适用。对于页面数量比较少的站点，并不需要 Scrap Read more ...

2017-04-30 scrapy , scrapy-redis , redis , spider , distributed , python

Linux 安装 VMware workstation 12

VMware Workstation 12 虚拟机，适用于 RHEL/CentOS 7, Fedora 20-24, Debian 7-9, Ubuntu 16.04-14.14 and Linux Mint 17-18. Prerequisites 确保系统 64 位 VMware 12 不支持 32 位 CPU 确保有 root 权限安装更新 apt-get update && apt-get upgrade # On Debian Systems 下载 wget 'http://www.vmwa Read more ...

2017-04-29 linux , linux-mint , vmware , virtual-machine

在 Python 中使用 redis 作为任务队列 Python RQ 使用

在学习 Flask 时接触 flask-rq2，然后知道了 python-rq 因为之前使用过 Celery ，所以对 python-rq 倒也没有多大的困惑。因为 python-rq 只依赖于 redis，相较于 Celery 轻量很多，如果在 Flask 中不需要非常繁重的后台任务队列（比如只有发送注册邮件任务）可以考虑使用 python-rq，毕竟有 flask-rq2 为 Flask 度身定做，结合 Flask 要比 Celery 容易很多。 RQ (Redis Queue) is a simple Python library for Read more ...

2017-04-25 python , redis , queue , python-rq , flask-rq2