Elasticsearch 导入数据

Elasticsearch 既然作为一个全文检索引擎，那么自然需要将数据导入，让 Elasticsearch 去索引。 Elasticsearch(后简写为 ES) 的基本单元是文档，使用 JSON 来描述。有很多方法可以把数据导入到 ES： RESTful 接口 Bulk API 批量导入 elasticsearch-dump Logstash 将收集的数据导入 Prerequisite 导入数据前要了解的知识。 Cluster，集群，通常由多个节点组成 ES 集群 Index，通常称为索引，文档的属性 D Read more ...

2022-07-08 elasticsearch , kibana , import-data , csv

使用 Docker 安装最新 8.x Elasticsearch 和 Kibana

[[Elasticsearch]] 是基于 [[Lucene]] 开源的全文搜索引擎。提供 RESTful 接口，可以实现精确快速的实时检索。 [[Kibana]] 是一个基于 Web 的可视化前端。还有一个 [[elasticsearch-head]] 也是一个 Elasticsearch 的前端，不过这里因为 Kibana 使用场景更加广泛，就选择 Kibana。 Installation 创建 network: docker network create elastic 这里仅演示单节点的 Elasticsearch 搭建过程，如果要搭 Read more ...

2022-07-07 docker , elasticsearch , kibana

FFmpeg 使用指南之 concat demuxer 串联多个文件

FFmpeg 可以使用 -i 参数来输入一个或多个文件，但有些时候会有一些将多个文件串联成一个文件的需求。比如将多个视频合并成一个视频文件，将多个音频文件合并和一个长音频文件。这个时候就需要使用到 FFmpeg 的 concat demuxer。 concat demuxer 是 FFmpeg 1.1 引入的。主要可以用来合并多个媒体文件。串联多个相同编码的文件 FFmpeg 有两种方式可以串联相同的文件： the concat “demuxer” the concat “protocol” demuxer 更加灵活，需要相同的编码 Read more ...

2022-07-06 ffmpeg , linux , video , encoder , ffmpeg-concat

Linux 服务器控制面板 HestiaCP 使用

Hestia CP 是一个开源的 Linux 服务器控制面板（Control Panel），HestiaCP fork 自另一款流行的控制面板 VestaCP 。由于 VestaCP 开发和维护趋于停止，很多安全问题和漏洞没有及时修复，所以有人从 VestaCP 拉出新分支进行开发和维护。Hestia 可以作为 aaPanel（宝塔面板）的很好的开源代替。 HestiaCP 提供了一个简单干净的网页界面，给网站维护人员提供了更加简单的方式维护网页服务器。HestiaCP 提供了很多功能，包括管理部署网站(Nginx, Apache，PHP) Read more ...

2022-07-05 linux , control-panel , hestia , web-server , mail-server , dns , aapanel , php , nginx , open-source , mail-server , pop2 , imap , mariadb , vsftpd , iptables

Elasticsearch 入门使用

[[Elasticsearch]] 是一款基于 [[Lucene]] 的开源的、分布式的搜索引擎。提供一个分布式、多租户的全文搜索引擎。提供 HTTP Web 界面和 JSON 格式接口。 Elasticsearch 由 Java 实现，是目前最流行的大数据存储、搜索和分析引擎。 GitHub：https://github.com/elastic/elasticsearch 大数据要解决三个问题：存储传统关系型数据库 MySQL，Oracle 遇到瓶颈，Google 提出 Map/Reduce 和 Google F Read more ...

2022-07-04 elasticsearch , elastic , lucene , search , java

编码读书笔记

怎么知道的这一本书之前在 Twitter 上看到一则帖子，有人求推荐书，如果要向一位学金融的朋友推荐一本计算机入门书籍，你会选择哪一本？在答复里面，我看到了有人推荐这一本《编码：隐匿在计算机软硬件背后的语言》。所以我把这一本书作为 [[20220627 21 天挑战计划]] 中要阅读的一本书。当时我没有想到的是，在豆瓣标记的时候我意外发现我早已经在 2018 年标记读过，但当时没有做笔记，也没有整理标记，4 年过去，就像没有读过一样。这更加坚定了我之后读书一定要整理书摘，用自己的语言撰写一下读书笔记的决心。几句话总结书的内容编码是一本由实体世界 Read more ...

2022-07-03 reading , reading-2022 , code , computer , computer-language , encoding , computer-software , language

Plex Media Server 备份恢复和数据迁移

这些年来逐渐将我的音乐库迁移到了 Plex Media Server 上，因为之前部署的 Plex 是用了 Docker，迁移到独立主机之后想直接安装，所以想将之前的 Plex 数据迁移出来，直接恢复使用。备份备份是一定要做的事情，为了数据安全。通常 Plex 中的媒体文件都会用 [[Syncthing]] 来做一份备份冗余，但是 Plex Media Server 生成的媒体文件，包括 viewstates, metadata, settings 等等就需要直接去备份 Plex Media Server 的内容了。在 Debian/Fed Read more ...

2022-07-02 plex , plex-media-server , backup , syncthing

使用 Owncast 搭建自己的在线视频串流直播间

Owncast 是一个开源，可自行架设的、去中心化的，单用户视频串流工具。Owncast 使用 Go 语言编写。支持简单的在线聊天，支持 HLS 和 S3 存储。 GitHub：https://github.com/owncast/owncast Owncast 可以很好的成为 Twitch，YouTube Live 等等在线直播平台的代替。用户可以完整地控制自己的内容以及服务器。 Prerequisite Ubuntu 20.04 [[FFmpeg]] 4.2 以上版本，需带有 x264/var_stream_map Do Read more ...

2022-06-29 owncast , docker-compose , docker , livesteam , streaming

修复突然断电后 git 仓库 corrupt

今天在 Ubuntu 下编译项目，突然负载飙升到 140 多，然后整个系统就卡住，所有 UI 卡死，无奈之下只能对系统强制重启，不过重启之后发生了一件更严重的问题，当我访问我的项目，执行 git status 之后，显示： error: object file .git/objects/2b/ca69094c49050b232756d8d862c39be9d4fe55 is empty error: object file .git/objects/2b/ca69094c49050b232756d8d862c39be9d4fe55 is empty f Read more ...

2022-06-27 git , linux , git-repair , ubuntu

金融的本质读书笔记

《金融的本质》是美联储主席[[本伯南克]]关于美联储历史，以及在 2008 年应对金融危机手段的一本科普读物。本伯南克以非常通俗的语言讲述了美联储的历史，以及央行的职能。每一章节后面都有一个答学生的提问，所以看起来就像是一本写给学生的科普读物，读完可以对美联储是做什么的？为什么要成立美联储？以及当危机来临时美联储能够做什么？有非常详细的介绍和解释。怎么知道的这一本书在和朋友聊天的时候，说到美联储，于是朋友给推荐了这一本。几句话总结书的内容美联储的起源与历史，以及美联储调整经济的手段本伯南克应对金融危机的应对措施和后续影响 Read more ...

2022-06-21 reading , reading-2022 , financial , financial-crisis