把一个小爬虫写成了个简单的网站(Avdict) 是不是没救了。

[syhsyh9696]

网站不是很大，部署挺方便，我在自己家 nas 里部署了个，功能一点一点往上加吧。

恳请大家提点意见，几个小时后关吧，小水管可能会猝死...

Demo

Source code

[kslr]

NSFW

[ys0290]

技术交流，嗯！

[takanasi]

你人在国内吗？

[cominghome]

哇，大兄弟玩的 6 啊，来一个长期会员

[ranleng]

收藏之

[wfd0807]

666

[laoertongzhi]

有趣~

[mokeyjay]

项目 666666，但是你居然敢挂国内，作死噢，赶紧下了吧

[jpyl0423]

自己也撸过一个, 不过就我一个人用

[simonlify]

666

[chen2016]

起码自适应弄好吧

[misaka19000]

10s 没打开

[Tunar]

俺要封面

[syhsyh9696]

@kslr 哈哈哈是的相当危险。

[syhsyh9696]

@takanasi 我还只是个学生啊(逃
@cominghome 你可以自己部署一下体验自己做站长的感觉(逃

[syhsyh9696]

@mokeyjay 哈哈没部署，跑在 development 下

[syhsyh9696]

@chen2016 您的意思是，影片那个封面大小吗？还是在手机上不合适？如果是后者的话请见谅，我最近学学响应式，我对前端真是一窍不通哇。

[syhsyh9696]

@misaka19000 可能是我小鸡的问题抱歉抱歉。
@Tunar 14 多万张，老哥要吗给你数据库哈哈哈

[codermagefox]

楼主牛逼,做了我一直想做不敢做的事

[7654]

看完只能说 NB

[chen2016]

@syhsyh9696 你用的是 bootstrap，自带自适应，只需要加个 meta

[sxm]

几个月前用 PHP 做过一个，各种尺寸图片全部抓取差不多 400G 左右，再写了个数据展示，基本和原站类似。当时踩的坑是，单个文件夹内存放了百万+的小文件，导致之后文件夹复制删除那耗时惨不忍睹。

[syhsyh9696]

@sxm 源站是，javlibrary 还是 dmm.r18 。

如果是全下载的话还是应该影片文件夹分别储存啊~
我分析了一下数据库里的 url，里面的很多照片是可以构造出来的，所以我没抓图片。

主要是我硬盘不够用了(哭， 已经 4 个移动硬盘了，ssd 里还有好多电影没法存呢(哭

[clearbug]

到底咋播放啊？用手机点 video 找不到播放入口啊

[tf141]

半天没打开。。。。。。

[sxm]

@syhsyh9696 源站是 javbus,当时也只是写写玩的，只按图片类型及尺寸分文件夹，忘记了单个文件夹内文件过多的问题。之后转移到另一块硬盘上时才发现，那复制速度，差不多一天了。删除时只好把硬盘上的其他大文件又转移下，然后直接格盘了。影片数量大概 30 多万吧，我发现大图他是直接引用 DMM 的，而 DMM 编号与番号略有差异，所以抓取时就直接存图片 URL，毕竟也要不了多少容量。硬盘我也是不够用，本机上的 2 块硬盘可用空间常年是 20G 不到，移动硬盘我是用 3.5 硬盘+硬盘盒

[tedd]

居然有 30 多万部？ Orz

[syhsyh9696]

@sxm 这样子 Javbus 骑兵步兵都有，这个很不错，但是我感觉分类稍微乱了点，而且 jbus 在 github 上已经有许多项目了。我现在还是个穷学生啊…只有一台笔记本，等以后挣钱了搞一套像样的存储好好整理一番再数据挖掘下(逃

我可是拥有天使萌所有影片的(逃

[sosloop]

赶紧 fork，^_^，感谢楼主

[yangonee]

用 avgle 啊，有 api

[syhsyh9696]

@yangonee 我这个也有哇，只不过还没完善好

[jasondan]

= =握爪，楼主。我之前也搞过类似的，不过不敢放给大家用