摘要：
有没有好的网,比如知乎,知乎日报,天涯使用习惯:知乎+知乎日报.如果用苹果系统的话,有个知乎月刊,比知乎日报好用.这两款产品的性能都非常不错,它们的基本功能可以满足一般人的需求.如... 有没有好的网,比如知乎,知乎日报,天涯
使用习惯:知乎+知乎日报.如果用苹果系统的话,有个知乎月刊,比知乎日报好用. 这两款产品的性能都非常不错,它们的基本功能可以满足一般人的需求.
如何对知乎内容进行爬虫
下面说明知乎爬虫的源码和涉及主要技术点:
（1）程序package组织
（2）模拟登录（爬虫主要技术点1）
要爬去需要登录的网站数据,模拟登录是必要可少的一步,而且往往是难点.知乎爬虫的模拟登录可以做一个很好的案例.要实现一个网站的模拟登录,需要两大步骤是:（1）对登录的请求过程进行分析,找到登录的关键请求和步骤,分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher;（2）编写代码模拟登录的过程.
?模拟登录
（3）网页下载（爬虫主要技术点2）
模拟登录后,便可下载目标网页html了.知乎爬虫基于HttpClient写了一个网络连接线程池,并且封装了常用的get和post两种网页下载的方法.
（4）自动获取网页编码（爬虫主要技术点3）
自动获
取网页编码是确保下载网页html不出现乱码的前提.知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题.
（5）网页解析和提取（爬虫主要技术点4）
使用Java写爬虫,常见的网页解析和提取方法有两种:利用开源Jar包Jsoup和正则.一般来说,Jsoup就可以解决问题,极少出现Jsoup不能解析和提取的情况.Jsoup强大功能,使得解析和提取异常简单.知乎爬虫采用的就是Jsoup.
（6）正则匹配与提取（爬虫主要技术点5）
虽然知乎爬虫采用Jsoup来进行网页解析,但是仍然封装了正则匹配与提取数据的方法,因为正则还可以做其他的事情,如在知乎爬虫中使用正则来进行url地址的过滤和判断.
（7）数据去重（爬虫主要技术点6）
对于爬虫,根据场景不同,可以有不同的去重方案.（1）少量数据,比如几万或者十几万条的情况,使用Map或Set便可;（2）中量数据,比如几百万或者上千万,使用BloomFilter（著名的布隆过滤器）可以解决;（3）大量数据,上亿或者几十亿,Redis可以解决.知乎爬虫给出了BloomFilter的实现,但是采用的Redis进行去重.
（8）设计模式等Java高级编程实践
除了以上爬虫主要的技术点之外,知乎爬虫的实现还涉及多种设计模式
,主要有链模式、单例模式、组合模式等,同时还使用了Java反射.除了学习爬虫技术,这对学习设计模式和Java反射机制也是一个不错的案例.
4. 一些抓取结果
知乎会员能几个人用
如果是会员账号的话,那么一个人用就行了,因为一个人一个账号,如果你想要借给别人用的话,可以把你的账号给他.
除了百度知道,知乎还有哪些好用的问答软件?
不多,但除了百度知道和知乎外,还有今日头条的悟空问答,以及微博里面的微博问答.但这两个问答想得到优质取得回报有点难,就是说悟空问答和微博问答的老板有点抠门,不如百度知道的东家大方.
所以从目前看百度知道应该是问答类APP里面最好最活跃的.
