• 博客访问: 196958
  • 亚虎娱乐数量: 25
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1711
  • 用 户 组: 普通用户
  • 注册时间: 2013-09-09 10:51
文章分类

全部亚虎娱乐(25)

文章存档

2016年(3)

2015年(6)

2014年(1)

2013年(15)

我的朋友
微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

订阅
热词专题

发布时间:2016-07-08 20:59:20

    本文会介绍使用xpath来获取数据,并附上相应的代码片段来做说明。    lxml是python语言里处理XML以及HTML工作的功能最丰富和最容易使用的库。当然scrapy框架里也是使用xpath来解析数据的。lxml的安装在这里就不用赘述了,下面列举的代码片段是没有使用scrapy框架。1. xpath简介 .........【阅读全文】

阅读(1602) | 评论(0) | 转发(0)

发布时间:2016-07-08 08:27:12

    最近刚开始使用python来做爬虫爬取相关数据,使用了python自带的urllib和第三方库requests,解析html使用了beautifulsoup以及lxml    这里说下lxml,lxml是python的一个html、xml解析库,lxml使用XPath能快速,简单的定位元素并获取信息。下面进入正题1. 遇到的中文乱码问题1.1 简单.........【阅读全文】

阅读(3608) | 评论(0) | 转发(0)

发布时间:2016-03-14 20:58:22

1. flume安装使用     下载flume安装包http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz     解压$ tar -xzvf apache-flume-1.5.2-bin.tar.gz -C /opt/flume     flume配置文件放在conf文件目录下,执行文件放在bin文件目录下。  &.........【阅读全文】

阅读(16690) | 评论(0) | 转发(1)

发布时间:2015-06-09 10:36:58

    最近遇到服务器迁移,增加了mongodb的权限认证,所以导致之前的程序不能正确的执行,特意查看了相应的api1. java连接mongodb    MongoClient mongoClient;    MongoCredential credential = MongoCredential.createCredential("user", "database", password);&n.........【阅读全文】

阅读(10560) | 评论(1) | 转发(0)

发布时间:2015-05-08 11:09:28

    同事有个需求,需要监控mongodb数据库中某一个collection的数据增长情况,原因是由于有定时任务不断往数据库里填充数据,如果定时任务挂掉了可以及时重启任务,保证数据的准确性。其实也可以监控定时任务的执行情况,之后再研究。    跟博客:使用ganglia监控mongodb集群   .........【阅读全文】

阅读(3701) | 评论(0) | 转发(2)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册