使用 Python BeautifulSoup4 快速获取网页内容

BeautifulSoup4 能够帮助我们从 HTML 或 XML 文件中提取数据 安装 pip install beautifulsoup4 解析器 使用方法 优势 劣势 Python 标准库 BeautifulSoup(markup, “html.parser”) Python 的内置标准库 执行速度适中 文档容错能力强 Python 2.7.3 or 3.2.2) 前 的版本中文档容错能力差 Read more ...

2016-06-21 python , beautifulsoup4 , crawler , html , parser

每天学习一个命令:iftop 流量监控

在类 Unix 系统中可以使用 top/htop 查看系统资源、进程、内存占用等信息。查看网络状态可以使用 netstat、nmap 等工具。若要查看实时的网络流量,监控 TCP/IP 连接等,则可以使用 iftop。 iftop 是类似于 top 的实时流量监控工具。 官方网站:http://www.ex-parrot.com/~pdw/iftop/ iftop 可以用来监控网卡的实时流量(可以指定网段)、反向解析 IP、显示端口信息等。 安装 apt-get install iftop 或者使用源码编译安装 Debian 上安装所需依 Read more ...

2016-06-06 linux , command , iftop , network , monitor

Ubuntu 下安装 Gradle 及简单使用

Gradle 的核心是基于 Groovy 的 领域特定语言 (DSL),目的是为了代替 XML 繁多的构建工具。 自动安装 可以使用这个 PPA sudo add-apt-repository ppa:cwchien/gradle sudo apt-get update sudo apt install gradle 或者根据官网的教程 手动安装。 使用 https://gradle.org/guides/#getting-started Read more ...

2016-06-05 gradle , ubuntu , linux , usage , build-system , jvm , java

Kindle 使用小技巧及常见问题

整理 Evernote 笔记的时候偶然看到这篇文章,总结自己使用 Kindle 一年来的小小经验,以及一些 Tips。 注册 Kindle 邮箱 这个功能非常实用,不然能够节省连接数据线的时间,更重要的是这个活用这个邮箱能够自动化完成很多事情,可是遗憾的事,很多人并不知道这个福利。所以建议在拿到手之后的第一件事情就是查看这个邮箱,设置中 Send-to-KindleE-mail 中查看。 Kindle 可以享受的两个最容易被忽略的功能是: 在线文档存储,亚马逊为每位用户提供至少 5G 的云存储空间 在线文档格式转换,支持格式包括 Read more ...

2016-06-04 kindle , book , 阅读 , amazon , ebook

Spring 中 ThreadPoolTaskExecutor 配置

The Spring Framework provides abstractions for asynchronous execution and scheduling of tasks with the TaskExecutor and TaskScheduler interfaces, respectively. The Spring TaskExecutor abstraction Spring’s TaskExecutor interface is identical to the java.util.concurrent.Executor i Read more ...

2016-05-26 spring , thread , thread-pool , queue

Spring BeanPostProcessor 使用

BeanPostProcessor 接口允许在 Spring Bean Factory 返回 Bean instance 时修改 Bean 的创建过程。这是影响 Bean 生命周期的一部分。 接口有两个方法: public interface BeanPostProcessor { @Nullable default Object postProcessBeforeInitialization(Object bean, String beanName) throws BeansException { retur Read more ...


gunicorn 使用

之前的文章使用 gunicorn 来部署 webpy 中简单的提到了 gunicorn 的使用。这篇文章就在官方文档的基础上学习下 gunicorn 的其他更多的用法。 基本的安装和参数就跳过了,这边讲下文档中很有用却不是常用的一些选项,如果要看基础使用可以去看之前的文章 配置文件 我们知道 gunicorn 能够直接使用命令行来启动,常见的参数 gunicorn -w 2 -b 0.0.0.0:5000 app:app --log-level info --access-logfile logfile.log --log-file error.l Read more ...

2016-05-25 python , gunicorn , wsgi , http , unix , web , server

Pypi 国内镜像记录

官方 PyPI 源的 URL 为 https://pypi.org/simple pip 临时换用国内的镜像 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 或者设为默认: pip install pip -U pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 或者修改配置文件: vi ~/.config/pip/pip.conf 设为: [glob Read more ...

2016-05-23 pip , python , mirror

gnome do 技巧

自 Mint 开始才接触到 Gnome-do 这样一个神器,一句话介绍他的功能就是启动器,完全键盘操作的启动器。当然在启动应用之外还有很多扩展的功能,自开始使用 Gnome-do 开始几乎已经很少使用菜单开应用了。正如这篇 文章所讲使用了 Gnome-do 之后就会让 Windows 和 OS X 下的用户嫉妒不已。 不过 OS X 下貌似也有 Alfred 这样的神器。 安装与启动 Mint 下直接从软件管理里面搜索安装吧,如果想使用命令行,下面的也可以: sudo apt-get install gnome-do 忘记了初始设置的启动快捷键 Read more ...

2016-05-20 Linux , gnome-do

snapseed 中的一些参数

照片编辑一些参数,了解一个 App 就能知道所有图像处理类 App 原理,比如 VSCO,泼辣修图,大到 Photoshop 等等。 Tools Snapseed 中的常用调整工具 Tune Image 调整图像最常见的操作基本都能在这个 section 中找到。比如亮度、对比度、饱和度等等,细节部分可以单独调整暗部,或者亮部,还有图片整体色调。 Brightness 亮度,很容易理解的概念 Contrast 对比度,黑色像素和白色像素的对比度。利用S曲线的功能也能够实现,不过直接调节Contrast参数倒是来的更加直接。 Saturation Read more ...

2016-05-19 Snapseed , PhotoEditing , Anroid , VSCO

最近文章

  • HomeShare 让本地电脑文件夹成为文件分享服务器 前些天出门拍了很多照片,回来从 SD 卡导出之后就想有一个可以快速一键分享出去的方法,通过微信传,虽然可以通过笔记一次发送超过 9 张图片,但是还是需要将照片上传到微信的笔记里面,虽然我之前也有使用自己的在线图库,但依然避免不了上传等待的过程,并且如果照片比较大时,等待的时间会很长。所以这几天我一直再想能不能有一个方法可以直接将本地的文件夹共享出来,或者直接让别人将图片一次性发送到我本地。
  • Dola 你的私人智能 AI 助手轻松管理日程 我个人一直使用 Google Calendar 作为日程管理,很久以前也购买了一个叫做 Checker Plus 的 Chrome 插件,可以直接在 Chrome 的插件栏查看日程,并且还可以直接通过自然语言来创建日程,以及在日程之前弹窗提醒,实话说这款插件已经能满足我 90% 的日程安排了。
  • K3s 部署 Bitwarden 我之前一直是在一台机器上使用 Docker compose 安装了 Bitwarden,但是这样存在一个隐患,那就是如果这一台机器宕机了,或者发生任何意外,那么我可能有一段时间无法访问我的所有密码仓库,所以为了避免这样的问题,尤其是在我已经稳定运行 K3s 一段时间之后,我就想着将 Bitwarden 迁移到 K3s 上,并且我希望直接使用 Bitwarden 历史的数据,并且也直接使用原来的域名,密码等等,这样就不需要让我所有的设备重新再登录一遍。那么本文就记录一下我在 K3s 上搭建 Bitwarden ,以及将历史数据迁移到 K3s 中的过程。
  • K3s 中给节点添加标签并实现 Pod 调度控制 给 K3s 中的节点添加标签并实现 Pod 调度是一个非常常见的需求,特别是当你希望某些 Pod 只在特定地理位置的节点,比如美国,日本,上运行的时候。
  • 使用 Claw Cloud 免费部署 Gemini 反向代理教程 前两天介绍过永久免费的 Claw Cloud Run,本文将介绍一下如何使用 Claw Cloud Run 来免费部署一个 Gemini API 反向代理服务。