Github on Colinx Blog

我的 RSS 方案与心得

Mon, 10 May 2021 00:00:00 +0000

使用 RSS 已经一年有余，这种对信息的主动掌握让我获取信息的质量和密度都上升了一个台阶。最早是使用 TTRSS 做服务端，安卓手机使用 FeedMe 订阅，主要订阅的是有源的商业内容站点、个人博客以及其他人分享的使用 Feed43 或 Feedburner 压制的源。随着我逐渐加大 RSS 阅读在我闲暇、琐碎时间内的比重，我对 RSS 有了更高的期望和要求，便开始了对如何构建更高效、更易用的 RSS 方案的探索。

0x01 借助 RSSHub 订阅各种热门冷门网站

RSSHub 是个很赞的项目，它聚集了众多 RSS 爱好者来为现代的网站构建 RSS 订阅源。众所周知，网站提供 RSS 并不能为他的站点带来更高的收入，反而会减少主站的访客数。借助 RSSHub 可以方便地通过 RSS 订阅知乎、豆瓣、Facebook 等现代媒体社交平台。

0x02 获取 Feed 文章全文

部分 RSS 源并不会在 xml 文件内提供文章全文，说白了是想让你点进他们的网站去浏览，这样网页上的广告才有可能被你点击。解决的方案有很多，方便起见我使用了 TTRSS 的插件 Readability 和 Mercury。两者都不能完美适配所有站点，同时启用这两者以实现互补。

0x03 无障碍阅读繁体中文 Feed

发现了几个质量不错的繁体中文信息源，主要是台湾的站点，如泛科学。由于文字和部分两岸文化差异，直接阅读繁体中文的文章有些困难。我的解决方案是使用 OpenCC 简繁转换服务，它能够对可映射的简繁汉字以及同一事物的两岸不同的表述进行翻译，输出的简体中文版文章基本可以无障碍阅读。Awesome-TTRSS 内有集成相应的插件和服务程序。

不过原作者是使用 node.js 编写的服务端，翻译数据库得不到及时更新，如翻译后还是写的是义大利而不是意大利。而且 docker image 体积 100+M，内存占用也较大。我在考虑用 Go 语言重写 OpenCC 的服务端并兼容 TTRSS 的 OpenCC 插件，并加入 CI 自动从上游同步翻译数据库。

0x04 为不支持 RSS 的网站自制源

繁茂如 RSSHub 也不能保证拥有所有站点的 RSS 源。对于自制源，网上的方案大多数为使用 Feed43 和 Feedburner，但是人家是商业服务，虽然使用确实方便，但说到底还是为了商业。白嫖用户限制多不说，天知道哪天会有 break change 或者直接被墙或者跑路。最稳妥的做法还是自建。

手写爬虫程序简单灵活，不过后期维护难度较高而且难以复用。对于我想要订阅而有没有现成的源的网站，我的解决方案主要是两个：

1. 为 RSSHub 编写目标站点的规则，并 Pull Request 申请合并

RSSHub 除了提供众多现成的各类站点的 RSS 规则之外，也提供了快速构建一个站点的 RSS 源的常用工具类和模板。需要对 JavaScript 和爬虫技术有一定了解。很荣幸能提交了几个 pr 并且已经合并进了主分支，如 CQUT 的教务处通知和知乎的用户文章列表。

2. 使用 Huginn 为目标站点自制源

Huginn 是一个强大的 IFTTT 应用，用它来生成 RSS 源简直是大材小用（主要是他动辄 200M 的内存占用）。不过某些情况下我需要监视特定站点并在内容变化时得到通知，个人向为主，这类就不适合写 RSSHub 的规则。

使用门槛比 RSSHub 略低，可视化界面还是比较友好的，不过新手上手还是会有点困难，了解了 Huginn 的工作原理和基本的 Liquid 语法之后就手到擒来了。

3. 使用 feed43 和 rss-proxy 这类可视化工具自助生成 RSS 链接

手写解析规则还是太麻烦，很多网页结构很简单根本没必要单独花时间写一堆解析规则，而且有些时候只是想临时订阅一段时间或是订阅个很小的网站，不想大费周章，选择 feed43 这类工具不失为一个轻量又便捷的选择。不过feed43对免费账户创建的 RSS 并不保证稳定，时常无法连接甚至直接失效。在 Github 上发现一个不错的替代品rss-proxy，一个可视化的，快速自助生成站点 RSS 链接的工具。

填入目标网址就可以自动解析目标网页，程序会自动检测网页上的列表内容，可以自己选择要订阅哪个列表，然后就可以生成一个 RSS 链接。生成的 RSS 链接包括的信息有目标网址、要订阅的目标列表的节点信息和输出格式（RSS/ATOM）等，也就是说，rss-proxy 并不像 feed43 会把解析的规则存储在服务端，它是直接编码在 url 里面的！rss-proxy 开源支持自部署，不想用它提供的公用实例也可以自建，迁移零门槛。rss-proxy 也支持调用无头浏览器渲染异步获取数据的网页，可玩性很高。

-»» rss-proxy 公用实例，可以点击体验下，还是很方便的

使用了一段时间体验挺不错，有个小问题就是对 UTF-8 以外的编码不太友好。

0x05 解锁海外 RSS 源

由于众所周知的原因，我国的互联网是不「互联」的。rsshub.app 部署在国外，现已基本无法直接访问。国内服务器上自建的 RSSHub 订阅如 Facebook 等国外站点更是不可行。为此我使用了 Clash 代理，并添加了一些公开的机场订阅，虽然速度和稳定性不是很高，但对于 RSS 这种需求还是绰绰有余的。又完善了一些爬墙的规则，比如对 google、facebook，rsshub.app 走代理，内网地址和 CN 的 IP 直连，反爬严格的网站完全走随机节点。一番操作下来，基本可以实现全球 RSS 订阅自由了 😁

0x06 RSS 订阅破 CloudFlare 五秒盾

如上所述，海外 RSS 源走公用机场可以解决国内的网络问题。但是很多站点会使用 CloudFlare 做 CDN 和防火墙，我们使用的公用机场其实一大半都是被用作非法用途的，IP 很多都在人家的黑名单里面，但凡通过那个节点访问 CloudFlare 保护的网站都会触发五秒盾防御，浏览器访问倒是没什么，但是可苦了 RSS。

google 了一番，没人写过我这个问题。。。人家都是爬虫绕过五秒盾，调包实现的破解。不过好在最终还是有了可行的解决方案：Clash 识别 CloudFlare 节点 IP 段，对于他家的节点，使用 Round-Robin 算法的 Load-Balance 策略走海内外随机节点，包括本机直连。

上面一句话有三个技术要点：

识别 CF 节点：CF 的节点遍布全球，把 IP 列表加到 Clash 规则集里面肯定是不现实的。不过好在人家家大业大都是买的 IP 段，官网也给出了所有节点的 IP 段，也就十个左右。
Round-Robin：一种常见的负载均衡算法，简单来说就是把所有节点组成一个圆环，每次访问选择一个环上的节点，之后沿环方向移动一个特定步长，作为下一个要使用的节点，每次访问所使用的节点都不一样。另一种常用的算法是 Consist-Hashing，一致性哈希，相同的 url 拥有相同的哈希值，根据哈希值来选择的节点是一样的，同一个 url 会使用同一个节点。对于上文提到的场景，要实现反反爬虫，那必须选择 Round-Robin 算法。
包括本机节点：如上文所述，触发五秒盾的原因是那些公用机场的 IP 都不大干净，但是我用来部署 RSS 这些东西的自用的服务器没有这个问题，只有网络问题 😂。使用本机作为随机节点的兜底，即便特殊情况下所有的公共机场都是脏 IP，但是本机能直连东亚和美西的 CF 节点，还是可以保证 RSS 的可用性。

可能的改进：匹配到 CF 节点，选择从本机连接东亚的连接较好的 CF 节点来请求目标站点的内容，可以一次解决那两个问题

以上都被我整合进了我的 Github 项目 RSSman X

RSSman X 基于 docker-compsoe 提供容器化 TTRSS 与 RSSHUB 等组件的一键部署，整合实用组件为你带来最佳 RSS 体验

Feature：简单一键部署，常用组件整合，自动更新支持，服务健康自检支持，海外站点 RSS 解锁

感兴趣的朋友可以关注一下 🍺

RSSManX - 一套 RSS 综合解决方案

Sat, 08 May 2021 00:00:00 +0000

中文说明｜ English

RSSman X is a project that composed several useful services to help you build an excellent RSS experience.

RSSman X 基于 docker-compsoe 提供容器化 TTRSS 与 RSSHUB 等组件的一键部署，整合实用组件为你带来最佳 RSS 体验

Feature：简单一键部署，常用组件支持，自动更新支持，服务健康自检支持，海外站点 RSS 解锁

快速开始

(若已安装 docker 和 docker-compose)

mkdir RSSmanX && cd $_ && wget https://cdn.jsdelivr.net/gh/Colin-XKL/RSSmanX/docker-compose.yml && sudo docker-compose up -d

说明

本项目旨在为 RSS 的同好提供一个方便地搭建自己的 RSS 服务的捷径。毕竟不是所有 RSS 爱好者都懂代码 😂。如果你想快速地搭建自己的 RSS 服务，能够有 RSS 订阅管理、RSS 在线阅读界面，进阶功能包括服务健康自检、海外站点 RSS 解锁等。希望订阅国内外的各大网站的 RSS 信息源又不想跟着网上漫天飞的教程瞎折腾的话，那么你可以使用本仓库的脚本快速完成安装部署。

不同版本中包含的组件说明

三个版本的docker-compose文件对应不同的需求，包含的组件和服务有差异。

组件/服务/功能名称	标准版	Lite 版	Ultimate 版 ✨
TTRSS	✅	✅	✅
RSSHub	✅	✅	✅
Huginn			✅
Mercury	✅		✅
OpenCC			✅
Redis	✅		✅
Browserless			✅
数据持久化保存	✅	✅	✅
容器自动更新	✅		✅
容器健康检查	✅		✅
海外站点加速			✅
智能路由			✅

不同组件的功能描述见文末。不同版本对应的配置文件如下：

标准版：docker-compose.yml

Lite 版：docker-compose-lite.yml

Ultimate 版：docker-compose-ultimate.yml和config.yaml

选择对应版本下载到本地后都 compose 文件需要重命名为标准的docker-compose.yml才可使用

安装说明

需求

一台 Linux 系统的服务器

本文以腾讯云 Ubuntu 18.04 系统的服务器为例，其他云服务商的没差，系统为 CentOS 的会有点差异

依赖项

docker
docker-compose

安装 Docker

sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo
sudo add-apt-repository \
 "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
 $(lsb_release -cs) \
 stable"
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

安装 docker-compose

sudo apt install docker-compose

完整文档参见 📕

如何安装

安装好了 docker 和 docker-compose 后可以执行文章开头的快速开始的指令。或者可以按照下面的步骤手动操作：

确定安装好了 docker 和 docker-compose
克隆本仓库/下载你所需要的版本的 compose 文件，注意修改文件名
cd 进入文件夹，编辑docker-compose文件，修改密码及 ttrss 的SELF_URL处的值
运行 sudo docker-compose up -d
等待程序跑完
安装完成 ✅

使用相关事宜：

访问你设置的SELF_URL即可看到 Tiny Tiny RSS 的登陆页面，使用默认账户admin，密码password登陆即可开始使用。
如开启海外站点解锁支持，第一次冷启动需要等待 3-5 分钟才能完全启动所有组件。
数据保存位置 ~/.dockerData/Database/

详细配置和使用事宜请参考对应应用的文档说明。

TTRSS 相关文档 https://ttrss.henry.wang/
RSSHub 相关文档 https://docs.rsshub.app/

功能模块介绍

Tiny Tiny RSS RSS 订阅管理与在线阅读工具

RSShub 生成国内大部分网站的 RSS 信息源，同时自部署可以访问到那些严格防爬的站点的源（知乎、微博等）

Huginn 高级 IFTTT 工具，你可以用生成任何 RSS 源，但使用门槛略高

Postgres 数据库，用于存储 RSS 文章数据等。比 MySQL 更轻，性能更好

OpenCC 简繁体转换，如果你订阅了一些繁体的 RSS 源，可以用它来将文章转为简体

Mercury 用于获取 RSS 全文

Browserless 用于获取常规方式无法获取的网站 RSS，为 RSSHub 的可选组件

Redis 提供缓存，提升性能，为 RSSHub 的可选组件

WatchTower 用于自动更新 RSShub 等组件，可以更好地支持新添加的源以及更快的获得 bug 修复

Clash 智能路由与正向代理工具，用于解锁海外站点及提供海外 RSS 源的加速

Acknowledgement

License

GPL-3.0

Changelogs

2020-07-07 v1.0 First release
2020-07-14 v1.1 Update quick start shell script
2020-10-05 v1.2 Fix wrong environment variable.
2020-11-08 v1.3 TTRSS now can update feeds with ports except 80/443, and our self-hosted rsshub works again.
2020-11-13 v1.4 Several updates includes security and performance enhancements.
2020-11-24 v1.5 Lock the docker image version of some services to avoid unexpected errors.
2021-05-08 v2.0 Add container network isolation, health check, global proxy, smart routing etc.

Colin's 实验室 - 2021 春

Thu, 25 Feb 2021 00:00:00 +0000

小玩具及他们的 demo

英语文本智能查词（Project Sweeper）

自动分割给定的英文文本，提取词元后在数据库中搜索，根据给定的词汇量和难度等级进行筛选，只能提取阅读障碍词汇并高亮当前备考项目（如四级）的重点单词

知乎爬虫及 JS 逆向

日常用 RSS 订阅知乎的一些高质量专栏。但由于知乎本事并不支持 RSS，内容大多通过 RSShub 来的，其本质是个爬虫，经常会受到前端页面结构变更的影响。为了应对这个变化，RSShub 中对于知乎相关页面的爬取规则必须得重写。

分析了一通知乎的页面，发现有个接口可以直接请求，但是会检验 header。header 里面有几项特殊的自定义参数，x-zse-83 和 x-zse-86等。为了搞清楚这里面的数值怎么来的，就必须对知乎前端页面资源中的一个 js 文件进行逆向分析。

逆向折腾了大半天，就快要成功提取核心加密函数的时候，发现知乎的前端页面为了 SEO 有加入一页的文章列表数据，可以直接用上。考虑到逆向的工作量和潜在的法律问题，遂放弃原本的方案。

新的方案完成后，已向 RSShub 提交 PR 并已被合并。

MC 服务器搭建与极限优化

1 核 2G 学生机，从 2 人联机频频崩溃到 8 人挖矿毫无压力，学习了 JVM GC 种种，对服务端程序的一些参数也渐渐熟悉。优化效果喜人，总有还能压榨的性能，就像资本家看手下的骡子一样 hhh

洞洞板/冰箱贴/CVPRO/（…没想好名字）

一款跨平台的灵感素材收集与简易管理 App，基于 Flutter 构建，跨平台，颜值在线。

持续开发中，附 roadmap

version 1.0

[x] Text support
[x] Key shortcut support
[x] About Page
[ ] Content editing
[x] List item dismiss [x] List Sorting

Future - Key functions

[ ] Data Storage
[ ] Pic support
[ ] Trashbin
[ ] File support
[ ] Multiple List

Future - Key features

[ ] Grid view
[ ] Drag and Drop support
[ ] Card resize

Future - Extra

[ ] Text reformat, delete useless spaces etc.
[ ] Pic OCR support
[ ] WebDav support and automatically upload files<10M

JAMStack 初体验 - 基于 Pocket 和 Gatsby 构建你的「网络日志」

Sat, 09 Jan 2021 00:00:00 +0000

折腾了自己的专属 RSS 信息流，每天都能从那些高质量的信息源中获得不少干货知识，一般就会顺手收藏一下。有一天突然想起自己收藏的那些文章，本身不就是经过二次筛选的高质量文章吗？于是便在构想能不能通过某种方式将这个信息源也公开出来，一方面是记录，另一方面也是间接地展示自己。恰逢遇见JAMStack，最近在国外非常火，国内的阿里和腾讯也在跟进，搞静态托管那一套。经多方物色，最终确定基于Pocket API+Gatsby来构建这样一个自己的「网络日志」。

You are what you read.

简谈 JAMStack

JAMStack 即基于客户端 JavaScript，可重用 API 和预先构建 Markup 的现代 Web 开发架构。当我们谈论“堆栈”时，我们不再谈论操作系统，特定 Web JAMStack 与特定技术无关。这是一种构建网站和应用程序的新方法，可提供更好的性能，更高的安全性，更低的扩展成本以及更好的开发人员体验。

JAMStack 是一种新颖的网站架构，与传统的服务端渲染和近些年国内流行的前后端分离等架构不同的是，他的网页是静态的，可以托管在 CDN 上，内容是动态的，可以方便地进行修改。

JAMStack 几个显著的优势：

页面为静态，TTFT（TimeToFirstByte）的时间可以降到非常低
页面为静态，服务器遭受的安全风险要低得多
不同于客户端渲染，JAMStack 对 SEO 会非常友好
不同于传统纯静态网站，内容可以方便地动态更新

为什么选择 Gatsby

作为一个网站生成器 Site Generator，Gastby 的入门门槛其实是较高的，相对于 Hexo、Hugo 那种简简单单配置下就是一个站点，Gatsby 的难度要更高，因为其灵活度更大，所有的配置、页面都是 Javascript 来配置的，当然你也可以使用 Typescript。其基于 React，生态丰富且灵活度高，天生GarphQL是选择它的主要原因。

网站架构及效果

流程：

我在其他地方看到不错的文章，将其收藏到 Pocket
定时任务，从Pocket API获取文章数据，交给 Gatsby 生成站点
自动部署，将生成的静态文件部署到 CDN
reading.colinx.one站点主页就会出现我收藏的文章啦

这其中，Gastby 充当的是Site Generator的角色，而数据来源为我的Pocket API，也就是我把 Pocket 作为Headless CMS来管理我的数据，可以方便地进行更新和管理。

总结

项目已经开源，地址在https://github.com/Colin-XKL/Colinx-Reading.git。你也可以去申请自己的 Pocket API 然后部署你自己的站点。

初始尝试 JAMStack，感觉对于博客、文档这类的站点会非常友好，国外比较火的像 Shopify 这种的无头电商也不错，国内的碍于国情应该不大可能了。

链接

Welcome to the Gatsby Way of Building | Gatsby https://www.gatsbyjs.com/docs/
For fast and secure sites | Jamstack https://jamstack.org/

Github on Colinx Blog

我的 RSS 方案与心得

0x01 借助 RSSHub 订阅各种热门冷门网站 #

0x02 获取 Feed 文章全文 #

0x03 无障碍阅读繁体中文 Feed #

0x04 为不支持 RSS 的网站自制源 #

1. 为 RSSHub 编写目标站点的规则，并 Pull Request 申请合并 #

2. 使用 Huginn 为目标站点自制源 #

3. 使用 feed43 和 rss-proxy 这类可视化工具自助生成 RSS 链接 #

0x05 解锁海外 RSS 源 #

0x06 RSS 订阅破 CloudFlare 五秒盾 #

RSSManX - 一套 RSS 综合解决方案

快速开始 #

说明 #

不同版本中包含的组件说明 #

安装说明 #

需求 #

依赖项 #

如何安装 #

使用相关事宜： #

功能模块介绍 #

Acknowledgement #

License #

Changelogs #