现在的位置: 首页 > 综合 > 正文

自己动手做网络爬虫系列——2 CrawlScript基本语法。

2018年04月10日 ⁄ 综合 ⁄ 共 3304字 ⁄ 字号 评论关闭

        这篇教程描述如何用CrawlScript语言(基于JAVA)的语法,附带一个获取新闻网页正文的程序,关于CrawlScript的入门,请看自己动手做网络爬虫系列——1。

        CrawlScript是一套用JAVA编写,基于ECMA(javascript)规范的语言,只需要懂javascript的基本语法,就可一轻松学会。

        关于javascript的语法,请看:http://www.w3school.com.cn/js/

        我们这里用一个实例来介绍CrawlScript的语法:

       

doc=$("http://news.xinhuanet.com/politics/2014-01/15/c_118968479.htm");
result=doc.select("div[id=content]");
print(result.text());
write("log.txt",result.text()); 

运行结果:

set charset=UTF8
ok
有严格监督,才有为民本色——一论如何看待“为官不易”   学会在约束中工作,习惯在监督下干事,我们摆脱的是名缰利锁的束缚,赢得的是有理想更自由的人生   针对“中央禁令对公务员影响”,最近有媒体在东、中、西部三个地区的一些省份随机抽取了100位公务员进行调查发现,全部受访者都认为中央禁令对其影响很大;更有93位受访者表示“公务员不好当”。   “为官不易”、“官不好当了”,随着中央规范各级干部行为的多项“紧箍咒”密集出台,有人发出了这样的慨叹。一些干部说,想吃点喝点,送点收点,办公室大点,车配得好点,这在以前根本不算个事儿,现在处处受到掣肘。好像不管做什么事情,总感觉头上悬着一把剑,身边有一双眼,伸手就怕碰上高压线。总归一句话,当官越来越不自在、日子越来越不好过了。   扪心自问,“为官不易”的慨叹在理吗?中央是对领导干部的不少行为划定了“红线”、通上了高压线,但平心而论,规范干部“吃、住、行、游”的桩桩件件,哪一项管得过分、管得过度了?用公款送年货节礼,应该吗?公款吃喝奢侈浪费,不该管吗?腐化挥霍、劳民伤财,能行吗?所谓的“为官不易”,只不过是让各级干部守住底线、坚持原则、不要违法乱纪而已,还不到为官不易的程度,更不到“官不聊生”的地步。   权力的本质是责任,权力的本色是为民。要为民尽责,立规矩、定底线、划红线,就是对各级干部最起码的要求,而不是什么难以承受的过高标准。我们说,不要既想当官又想发财,不要觉得当了官就可以无拘无束、随心所欲,不要以为当上官就能享受各种不当福利、收获诸多不正利益,就是这个道理。中央出台各种禁令,反对各种不正之风,为的就是促使各级干部端正自己的态度,摆正自己的位置,回归自己的本色与本位。   一些人抱怨“为官不易”,实质是一种权力观的错位、宗旨意识的淡薄。真要彰显为民本色,远离不正之风才是;真要与群众保持血肉联系,首先就要从弘扬清风正气开始。一个领导干部,如果有为官一任造福一方的自我期许,有为政清正、为人廉洁的自我要求,反而最欢迎这种“为官不易”的清新环境,觉得更有利于开展工作。“为官不易”,说到底并不是官不好当了,而是如群众所言,是贪官不好贪了,庸官不好混了,坏官不好受了。   “为官不易”感叹,恐怕也对应着以前“为官太易”的现实。说白了,正是因为在思想观念、行为习惯、工作作风上缺乏足够的束缚,让一些人对不正之风习以为常,误以为这就是“当官”的应有状态。显然,各级干部只有从思想深处纠偏,才能赢得行为的主动,要看到在中央下大力气整饬作风的形势下,这种“为官不易”的状态,必然是一种常态。从今而后,权力不仅不会带来种种方便、福利、好处,相反,面临的约束只会越来越多,受到的监督只会越来越严,遵从的标准只会越来越高。   从另一个视角看“为官不易”,也许会让问题更加清晰。一项在2万余人中作的调查显示,81.2%的受访者一直在关注中央八项规定的落实情况,不少人认为干部作风有所改进,但仍有66.4%的人认为当地落实情况不太理想,52.9%的人期待加大落实力度。这从一个侧面表明,当一些干部感叹“为官不易”时,群众认为还是不够,还希望再接再厉。面对一些人“为官不易”的抱怨,我们应当有清醒的认知,必须跟得上群众期待,乘胜前进,固化“为官不易”成果。   “我们不舒服一点、不自在一点,老百姓的舒适度就好一点、满意度就高一点,对我们的感觉就好一点”, “政府过紧日子,群众才能过好日子”。在不同的场合,习近平总书记语重心长地反复强调这样的观点。在密切与人民群众血肉联系的政治要求下,在转变政府职能的时代背景下,在增强现代治理能力的改革目标下,我们应该对“为官不易”有更为深刻的理解。权力只有被关进制度的笼子里,建立起为官用权的底线原则,建树崇高的价值理念和追求,才能干干净净地为人民谋福祉,我们也才能赢得人民的信任和拥护。学会在约束中工作,习惯在监督下干事,我们摆脱的是名缰利锁的束缚,赢得的是有理想更自由的人生。(人民日报评论部)

        我们可以看到,网页http://news.xinhuanet.com/politics/2014-01/15/c_118968479.htm中的正文区域被我们完全提取,而且没有包含广告信息,信息显示在控制台上,并保存在了log.txt中。整个程序只有4行代码,完成了以往需要几十行才可以完成的功能。

        代码解析:

        第1行:javascript是不需要申明变量的,所以我们可以直接使用"doc="来给一个变量赋值,$是一个函数名,参数是http://news.xinhuanet.com/politics/2014-01/15/c_118968479.htm,是待爬取页面的url,$的返回值是一个网页(严格说是一个网页的DOM树的树根)。

       第2行:doc.select(selector)函数表示在网页(DOM树结点)doc中,根据条件selector,找出符合条件的元素的集合,作为返回值返回。这里的selector是div[id=content],我们打开网页http://news.xinhuanet.com/politics/2014-01/15/c_118968479.htm可以发现,网页的正文部分的源码如下:

<div id="content">
<p style="TEXT-ALIGN: center" align="center"><font color="blue"><strong>有严格监督,才有为民本色——一论如何看待“为官不易”</strong></font></p>
<p><font color="blue" face="楷体">  学会在约束中工作,习惯在监督下干事,我们摆脱的是名缰利锁的束缚,赢得的是有理想更自由的人生</font></p>
<p>  针对“中央禁令对公务员影响”,最近有媒体在东、中、西部三个地区的一些省份随机抽取了100位公务员进行调查发现,全部受访者都认为中央禁令对其影响很大;更有93位受访者表示“公务员不好当”。</p>
<p>  “为官不易”、“官不好当了”,随着中央规范各级干部行为的多项“紧箍咒”密集出台,有人发出了这样的慨叹。一些干部说,想吃点喝点,送点收点,办公室大点,车配得好点,这在以前根本不算个事儿,现在处处受到掣肘。好像不管做什么事情,总感觉头上悬着一把剑,身边有一双眼,伸手就怕碰上高压线。总归一句话,当官越来越不自在、日子越来越不好过了。</p>
..............
</div>

       所有的正文都在一个id=content的div中,所以我们这里将selector设置为div[id=content],表示找到id=content的div元素的集合。

       第3行,print()表示在屏幕上显示内容。

       第4行,write(文件路径,字符串),表示将字符串写到指定路径的文件中。

         


   

抱歉!评论已关闭.