借助 scrapy-redis 实现 scrapy 分布式爬虫

最原始的 Scrapy 项目是只能将爬虫部署到单机上，如果要实现分布式爬虫就需要手动去维护一个待抓取的列表，那么 scrapy-redis 项目就是这样一个存在。 特性： 分布式抓取，可以部署多个 spider 实例，共享同一个 redis 队列 分布式后处理，抓取的内容会放到一个队列中，这样就意味可以开启足够多的实例来处理结果 提供了即插即用的组件，包括定时，去重，等等 Scrapy 的局限 Scrapy 已经能够满足大部分爬虫的需要，但是有一些场景 Scrapy 并不适用。 对于页面数量比较少的站点，并不需要 Scrap Read more ...

2017-04-30 scrapy , scrapy-redis , redis , spider , distributed , python

Linux 安装 VMware workstation 12

VMware Workstation 12 虚拟机，适用于 RHEL/CentOS 7, Fedora 20-24, Debian 7-9, Ubuntu 16.04-14.14 and Linux Mint 17-18. Prerequisites 确保系统 64 位 VMware 12 不支持 32 位 CPU 确保有 root 权限 安装 更新 apt-get update && apt-get upgrade # On Debian Systems 下载 wget 'http://www.vmwa Read more ...

2017-04-29 linux , linux-mint , vmware , virtual-machine

在 Python 中使用 redis 作为任务队列 Python RQ 使用

在学习 Flask 时接触 flask-rq2，然后知道了 python-rq 因为之前使用过 Celery ，所以对 python-rq 倒也没有多大的困惑。因为 python-rq 只依赖于 redis，相较于 Celery 轻量很多，如果在 Flask 中不需要非常繁重的后台任务队列（比如只有发送注册邮件任务）可以考虑使用 python-rq，毕竟有 flask-rq2 为 Flask 度身定做，结合 Flask 要比 Celery 容易很多。 RQ (Redis Queue) is a simple Python library for Read more ...

2017-04-25 python , redis , queue , python-rq , flask-rq2

每天学习一个命令：tcpdump 命令行下抓包

tcpdump 是一个运行在命令行下的抓包工具，如果想知道网络中有什么在流通，那么 tcpdump 就是一个很好的工具。它允许用户拦截和显示发送或收到过程中网络连接到该计算机的 TCP/IP 和其他数据包。tcpdump 适用于大多数的类 Unix 系统操作系统（如 Linux,BSD 等）。类 Unix 系统的 tcpdump 需要使用 libpcap 这个捕捉数据的库就像 Windows 下的 WinPcap。 tcpdump 可以识别的协议有： ARP RARP ICMP TCP UDP IP IPv6 App Read more ...

2017-04-23 tcpdump , linux , network

Scrapy 学习笔记及简单使用

Scrapy 是纯 Python 实现的爬虫框架（scraping and crawling framework），可以非常轻松地提取网页结构信息。最初设计时 Scrapy 仅仅作为网页抓取工具，但因其功能强大，配置简单，逐渐的被扩大使用范围，也经常被用于以下方面： 数据挖掘 Data Mining 信息处理 information processing 历史信息存储 historical archival 检测及自动化测试 monitoring and automated testing 因为网上的教程已经非常详细了，这里就重点 Read more ...

2017-04-23 scrapy , python , crawler , spider , 学习笔记

使用 pyenv 管理 Python 版本

记录一下使用过程，留备以后使用。 pyenv 是 Python 版本管理工具。 pyenv 可以改变全局的 Python 版本，在系统中安装多个版本的 Python， 设置目录级别的 Python 版本，还能创建和管理 virtual python environments 。所有的设置都是用户级别的操作，不需要 sudo 命令。 pyenv 的一个典型使用场景就是，比如一个老项目需要使用 Python 2.x ，而另一个新项目需要 Python 3.x 。而 virtualenv 主要是用来管理相同版本 Python 不同项目的包的依赖不同的问题， Read more ...

2017-04-22 python , pyenv , 经验总结 , dev

Redis 常用命令

Redis 是典型的 KV 数据库，通常所说的 Redis 数据结构指的是 Value 的数据结构，常用的数据结构有 String, Hash, List, Set, Sorted Set. 前三种类型不用多讲，几乎每种语言都存在，后两种 set 是单纯的集合， Sorted Set 是有序集合，在集合内可以根据 score 进行排序。Redis 的命令不区分大小写，但通常情况下使用大写以示区分。 几个常用网址： https://redis.io/commands https://redis.io/documentation 中文命令 Read more ...

2017-04-21 redis , database , 学习笔记 , cli , key-value , in-memory-database

Redis 介绍

Redis (Remote Dictionary Server) 是由 Salvatore Sanfilippo（antirez） 开发的开源数据库，基于内存的 Key-Value 类型的 NoSQL 。目前在 DB Engines Ranking K-V 数据库中排行第一 1。 Redis 是 REmote DIctionary Server 远程字典服务的缩写，他以字典结构存储数据，并允许其他应用通过 TCP 协议来读写字典中的内容。 Redis 支持很多的特性： 所有数据存放在内存中 支持数据持久化：AOF 和 RDB 两种类型 Read more ...

2017-04-20 redis , database , nosql , 学习笔记

每天学习一个命令：df 查看磁盘剩余空间

之前也介绍过 di disk information，不过系统默认不带，需要自己安装，如果遇到没有权限安装时，就可以使用 df 来查看当前机器剩余磁盘空间。 df 全称 disk filesystem，用于显示 Linux 系统磁盘利用率，通常也用来查看磁盘占用空间。 命令格式 df [OPTIONS] [FILE] 直接使用不加任何参数会显示所有当前被挂载的文件系统的可用空间。默认会以 1KB 为单位显示。 选项： -a 全部文件系统列表 -h 方便阅读方式显示 -H 等于“-h”，但是计算式，1K=1000 Read more ...

2017-04-12 linux , df , disk , 磁盘空间 , command

Celery 使用介绍

Celery 简单来说就是一个分布式[[消息队列]]。简单、灵活且可靠，能够处理大量消息，它是一个专注于实时处理的任务队列，同时也支持异步任务调度。Celery 不仅可以单机运行，也能够同时在多台机器上运行，甚至可以跨数据中心。 Celery 中比较关键的概念： worker: worker 是一个独立的进程，任务执行单元，它持续监视队列中是否有需要处理的任务； broker: broker 消息传输中间件，任务调度队列，接收生产者发出的消息，将任务存入队列，broker 负责协调客户端和 worker 的沟通。客户端向队列添加消息，bro Read more ...

2017-04-10 celery , python , queue , task , distribution

电子书

本站提供服务

文章分类

最近文章

  • 利用 mise 替换 asdf 的迁移方案
  • Field Theory CLI：把 X Bookmarks 同步到本地，变成可搜索的个人知识库
  • 在 OpenClaw 中配置 Longbridge CLI 与 Skill 打造对话式量化交易工作流 最近我一直在折腾自己的投资工作流，想把 AI Agent 和真实的行情、持仓、交易动作接到一起。手里一边是 [[Longbridge]] 账户，一边是 [[OpenClaw]] 这类可以扩展 Skill 的开源 Agent，单看都不缺能力，问题是它们原本不在一个工作界面里。查行情要切 App，下单要切网页，想做一点自动化分析还得自己补脚本。直到我把 Longbridge 官方的 longbridge-terminal 和 OpenClaw 里的 Longbridge Skill 接上，这套东西才终于顺了起来。现在我可以直接在终端里问 AI 一句话，让它去查报价、看持仓、整理数据，必要的时候再把下单命令准备好。这篇就把我自己跑通的过程和一些实际感受整理下来。
  • CLIProxyAPI 把 Claude Code、Gemini CLI、Codex 订阅包装成统一 API 的开源神器 最近在折腾自己的 AI 工具链时，我遇到了一个非常现实的痛点。手里同时握着 [[Claude]] Pro、ChatGPT Plus、Gemini Advanced 这几个订阅，每次想在自己的脚本或小工具里调用它们的能力，都只能望洋兴叹——订阅账号给的是网页端或 CLI 工具的使用权，而不是 API Key。如果想走 API 路径，就得额外付一次费，而且 API 的定价往往比订阅贵得多。于是我一直在找一个能把订阅账号的额度转化为 API 调用能力的方案，直到最近发现了 [[CLIProxyAPI]] 这个项目。今天就聊聊这个工具到底解决了什么问题。
  • LM Studio：在本地运行大语言模型的最佳桌面工具 自从各类大语言模型开始开源以来，我就一直在尝试在本地运行它们。早期折腾 [[llama.cpp]] 的时候，需要手动编译、手动下载模型权重、在命令行里敲参数，对于非技术背景的用户来说门槛相当高。直到我发现了 [[LM Studio]]，才算是真正体验到了”把 AI 装进自己电脑”的顺畅感。用它运行本地模型，就像在 App Store 下载一个 App 一样自然。