爬了三大门户网站的股票频道，网站已开源

[newghost]

http://anynb.com 是开源 ourjs 的一个 DEMO 网站，原来只爬了一些知名的博客，后来发现还是有些人访问的。

现在加入了三大门的网站股票频道新闻,为了避免法律风险只爬了标题和链接，内容指向原文

最新开源代码在 0.1.1 的分支　　　 https://github.com/newghost/ourjs/tree/0.1.1 可能不稳定

稳定简单版的代码可查看默认分支 https://github.com/newghost/ourjs/tree/0.1.x

[yh7gdiaYW]

时间字体太难看了啊

[aabbccli]

@yh7gdiaYW 同感，整个网站的字体看起来不美丽

[figofuture]

只是爬爬新闻还好，先马克下。

[GhostEX]

有意思啊，整站花了多久做出来的？

[master13]

所以，你认为只要把内容指向原文就能“避免法律风险”吗？

[newghost]

@yh7gdiaYW
@aabbccli

默认字体是微软雅黑，改成默认的了；　　时间是斜的，扶正了

[newghost]

@master13

如果这都有风险， HackNews 早就关站了吧？

[fising]

有什么意义吗。

[newghost]

@GhostEX

这个项目比较久了，花了一个月的时间用 redis 重写了一下……

[Andy00]

想求教一下题主是如何保证抓取每个页面都能拿到标题？是统一用 h1 标签抓取的吗？

[newghost]

@fising

说实话，这个网站一个月前上线的，期间０推广，但我发现 Alexa 排名一直在增长，对有些人应该是有意义的

[newghost]

@Andy00

每个网站的ＤＯＭ都是不一样的，用的是 css 选择器

[Andy00]

还是不太懂，求教题主细说一下
我之前的做法都是把整个页面拿下来然后用用正则表达式提取，所以需要去找每个网站的页面 html 代码然后写对应的正则，感觉这种做法效率太低了，求教更高效的做法

[onion83]

那个进度条对于视频网站才有意义，一般的文字网站我觉得太晃眼了。

[newghost]

@Andy00

anynb 全部使用 JavaScript(DOM)，用 JavaScript 操作ＤＯＭ再简单不过了。你可以参考以下技术

https://github.com/atom/electron

https://github.com/nwjs/nw.js

http://phantomjs.org/


有空我会整理一篇文章出来……

[newghost]

@onion83

我就觉得这个效果还稍微绚点……

[Andy00]

学习了学习了！
我之前都是用 java 写，感觉入了个坑。。。决定转投 js 了

[magicdawn]

可以直接从 chrome devtools 复制出 selector, 放到 cheerio 的 selector 里...完美
其他语言, BeautifulSoup / CsQuery / goquery 应该也可以, 估计要改改... 这个 node 的 cheerio 真是无敌了

[newghost]

@magicdawn

网易的 DOM 是动态渲染出来的， cheerio 估计不合适

[cheneydog]

下一步添加市场情绪分析吧。

[magicdawn]

@newghost 那这个 DOM 动态渲染你是咋做的~

我觉得 DOM 动态渲染分两种, 一种是 ajax 接口然后去渲染, 一种是淘宝那样, 内嵌 js 数据, 去渲染
前面一种直接用它接口就好, 后面估计要去找 js

[newghost]

@cheneydog

估计有难度，刚加了个新闻联播

[newghost]

@magicdawn

参看 15 楼，使用基于浏览器的解决方案

[magicdawn]

@newghost
这种估计会先看下 [nightmare]( http://www.nightmarejs.org/)

[newghost]

@magicdawn

写法挺高级的，估计就是把 phantomjs 封装了一下

[newghost]

@magicdawn

嗯，是基于 Electron 的

[junging]

@newghost 赞

[kelaodo]

赞一个