在网页中提取链接的“三板斧”
宿舍有个树莓派常年开着吃灰,装了 Transmission 用来挂种子。由于挂下来的资源大部分都是视频类型,所以也不必下载下来。于是我配置了一个开了 autoindex 的 Nginx 服务器,在校园网内,直接通过一个内网的 URL 来实现资源的访问。
宿舍有个树莓派常年开着吃灰,装了 Transmission 用来挂种子。由于挂下来的资源大部分都是视频类型,所以也不必下载下来。于是我配置了一个开了 autoindex 的 Nginx 服务器,在校园网内,直接通过一个内网的 URL 来实现资源的访问。
最近自己有个批量调用 API 抓取数据的需求,类似爬虫抓数据的感觉。听到爬虫二字,我们常常想到的是 Python, Beautiful Soup 之流,而对于简单地抓取数据这种需求来说,一个小米加步枪就能干掉的东西,拉个加农炮来,显得有些大材小用。实际上,只需要围绕着 抓取->格式转换处理->保存 这简单三步,然后用合适的工具或编程语言实现就好了。
有时候觉得,人的大脑有点类似一个单核CPU的电脑,同一时刻只能做一件事情,如果中途需要做别的事情的话,得把正在干的事情的上下文保存起来,再切换到新的事情上,新的事情处理完后又切回来,加载回原本的上下文继续干活。
这学期的安全学课程有个作业,内容是写一个软件实现 SHA3 Hash 值的快速计算。想一想老师这么安排,大致上也有一种推广新的密码学算法的意图。既然希望应用起来,天然跨平台的 Web 显然是一项非常具备优势的技术,想到 HTML5 有定义网页与文件系统交互的 File API 标准,而且很多浏览器已经实现,基于浏览器端,实现一个 Sha3 的在线哈希岂不是更好?
开放的互联网对我来说一直都充满着魅力。一直觉得,互联网的各种开放协议设计得十分精巧,很多东西都恰到好处,就像邮件、日历、RSS订阅之流。大学两年来,我接触的最多的也是它们,于是乎对于身边事物的追求,也有类似的近乎极致的强迫症,很多东西都希望向着某些极致的标准去设计。
今天在 阑夕的一条微博 又看到了“他们的时间和生命不值钱,是我们的产品给了他们幸福感”这句熟悉的话,想起了在上一次看到这句话的时候关于信息爆炸的一些思考,也试着整理整理。自从互联网诞生开始以来,我们渐渐进入了信息过载的时代,面对信息过载,通常有以下思路:一种是走编辑精选路线,在特定的专题上提供高质量的信息源,比如杂志,网站,新闻客户端等;另一种是走聚合路线,就像博客时代的RSS订阅,现在的微博、微信公众号、今日头条等等。
最近启动了刷 LeetCode 的进程,Accepted 了几道题,但两天不到就忘了,即使是留了注释,想想写写笔记还是蛮有必要的,但我不希望不经思考整理就贴一堆代码,把博客搞的乱糟糟的,像 XSDN、XX园、X书 一样,所以也只是想把一些印象深刻的部分,留个笔记。
11.11,是程序员通宵赶代码的节日~ 偶然打开自己的 Github 的主页发现,当初高三的时候啥也不懂靠着移植大佬主题插件蹭了点星星的我,真正意义上从头到尾写的小项目竟然突破了 200 Stars,小小的感慨一下下。
之前好多东西随手编辑完之后,没有过多的思考就发到了朋友圈,想一想还是得整理一下。朋友圈的东西几天就会被忘却,记录在 blog 上,至少在未来,我还能看见过去那个思考着的自己。最近过了一段时间基本脱离微信的生活,越来越觉得,微信的很多功能仅仅只是只能满足浅层的需要,并不足以承载重度的需求~
从大一开始用 Ubuntu 16.04 LTS 作为主力系统开始,我一直用着搜狗输入法的 Linux 版本来输入中文,一直以来都相安无事,除了偶尔搜狗会崩溃一下之外。最近在网上发现 有人把 Deepin 的 wine QQ 打包整合了一个脚本,可以实现在 Deepin 以外的 Linux 发行版上安装 QQ 等 Windows 软件,看到之初有点小激动,从此我也在 Ubuntu 用上了心心念念的 TIM,尝试了一段时间,体验几乎完美!
也许你没有听说过侯捷老师,没关系,在此之前,我也没有了解过。经过两次无意中与侯捷老师写的书的邂逅,这个名字已经开始深深地印在了我的脑海中。大概,侯捷老师也会是一个像贺利坚老师,Barbara Oakley 教授一样,影响着我未来的人生轨迹的人?
今天在整社团的一些杂碎事务,其中需要打印若干个PDF文档,到打印店一个个文件来打印显然比较麻烦,所以我在思考,有没有把多个PDF合并为一个的操作呢?
折腾服务器的时候常常会遇到一些将本地写的代码传上服务器的需求,利用 SFTP 工具(Filezilla、WinSCP 之类)较为麻烦,所以我通常的做法是先使用 Vim 编辑器打开目标的文件,再将本地的代码粘贴到终端,然后保存、运行。
自从高中有了这个博客开始,过去那个害怕语文、害怕表达、害怕写东西的我,也渐渐有了在网上写东西的习惯。到现在,常常一写就是一大段文字。过去的很多痕迹,都留在了这个博客里面。但到了大学以后,正如3月份时写的那篇博文 所述,我大学以来的尝试与折腾,除了技术上的东西,这里并没有留下什么。
期末复习之余,偶尔也在朋友们的博客上闲逛,看到大家生动形象的 ID 名,想到了自己曾经用过的一些奇奇怪怪的ID,打算写一写关于我取用户名的那些心路历程。
最近在尝试基于 PHP 做一个反向代理 HTTP 的程序,其中一个需求是将程序收到的HTTP请求还原回 RFC2616 的原始格式。
写完作业逛PT站发现 Beyond 专辑合集的 CD,想到网易云音乐里面没有一直很喜欢的 Beyond 的《长城》,遂让树莓派花了半个小时时间把它拖到了本地。
最近有折腾小程序的意向,但微信的开发者工具只提供了 Windows 和 Mac 两个版本,对于我这样的 Linux 用户来说不是那么地友好。
上上周的某天,我在网上偶然遇到这本书,豆瓣的简介是这样子的:在这个飞速发展的信息时代,程序员仅仅掌握甚至精通一门语言是远远不够的。了解多门语言蕴涵的思维方式,在编码中互相借鉴,再挑出一两门对自己口味的语言深入学习,这些已经成为在软件行业中安身立命之本。从这个意义上说,每个程序员都应该看看这本《七周七语言》。
上完上午的课,时间尚早,不想去赶人流高峰挤食堂,遂留在教室刷刷网页,读读文章,打算11点半下一波下课高峰之前再去解决午饭问题。
最近在用 Node 的 cheerio 类库整一个抓取课表的小爬虫,其中有部分不需要的信息的 HTML 标签内部只有一个 ,我想利用它作为特征来过滤掉无用的信息。
新学期伊始,年度抢课大戏同步上映,学校的正方教务系统也迎来了前所未有的流量冲击。教务系统这个跑在 Windows 2003 的上古时期的 ASP.NET 程序的服务器自然也承受不住,在选课高峰期频频崩溃,从而也导致了用户登录的账户在选课期间频频掉线的问题。
一直以来都想着拯救我的 broken English,好准备接下来的六级考试。前段时间在 V2EX 看到一位大神分享了一份实用的英语学习指导 https://github.com/byoungd/English-level-up-tips-for-Chinese,遂被种草。同时我也认识到了自己单词量的匮乏,想通过背单词的方式把基础的词汇攒起来。恰好教程提供了一份「麦克米伦7000高频词」的 Anki 牌组,便打算从这里开始。
前两天写博文的时候,想贴个截图,忽然意识到,Typecho 的编辑器并不支持粘贴图片上传的功能。 想传截图,得先保存一下图片,然后再拖到编辑器里面上传。 简书在这方面做的还是很不错的,可以拖文件,也可以粘贴,上传以后自动转成了 Markdown 的图片链接,一步到位,简直不能再爽。 于是我研究了一下浏览器的 ClipboardEvent API,模仿简书编辑器的设计,做了这个增加幸福感的小插件
作为一个 Typecho 老用户 & 插件/模板开发者,我一直关注着 Typecho 的动态,也一直关注着 joyqi 的Typecho 开发频道,但是由于太懒了,加之学业、社团日常背锅的繁忙,无暇折腾,怕整出大麻烦,所以我也一直没有打算动手升级。之前 Typecho 爆出了任意文件删除漏洞,当时也是草草删除 install.php 了事。
上一篇文章 Linux 下 Nginx + PHP 环境的配置 扯了那么多复杂的概念,现在让我来说一说怎么把它用在实践之中。最近我也想重新把 VPS 重装一遍,恰逢 PHP 发布了最新的 PHP 7.2.0 版本 (2017年12月14日),所以就直接安装最新版本的 PHP 吧。
本文假定读者对 Linux 的命令、程序的文件IO、HTTP 协议、基本的PHP语法、正则表达式 有一些大致的了解。
一个基于 Node.js 构建的微博 RSS 订阅格式转换器
根据老师和前辈们的建议以及我这一年的折腾经验,在 Linux 系统下学习 C 语言和 C++ 的话那真是极好的,但是鉴于现实的情况(例如 Linux 命令行操作对于一个暂时对电脑不是非常了解的人来说可能一开始不太好上手),很多东西还是需要在 Windows 下进行。
感谢 斌头老师 的强力支持
© zgq354 2014 - 2023 | CC BY-NC-SA 4.0 | RSS