Python获取所有我喜欢的贴吧名字+等级+经验值

阿星

python贴吧登陆+获取我喜欢的贴吧名字、贴吧的fid、贴吧等级、贴吧经验值、贴吧链接
执行结果：

代码：

1. # coding:utf-8
   
2. '''
   
3. Created on 2016年5月2日
   
4. 
   
5. @author: hisenyuan
   
6. '''
   
7. from bs4 import BeautifulSoup
   
8. import urllib2
   
9. import urllib
   
10. import cookielib
    
11. import re
    
12. import json
    
13. from pip._vendor import requests
    
14. 
    
15. URL_BAIDU_INDEX = u'http://www.baidu.com/';
    
16. # https://passport.baidu.com/v2/api/?getapi&class=login&tpl=mn&tangram=true 也可以用这个
    
17. URL_BAIDU_TOKEN = 'https://passport.baidu.com/v2/api/?getapi&tpl=pp&apiver=v3&class=login';
    
18. URL_BAIDU_LOGIN = 'https://passport.baidu.com/v2/api/?login';
    
19. 
    
20. # 设置用户名、密码
    
21. username = '梦殇国际';  #
    
22. password = 'www.714.hk';  #
    
23. 
    
24. # 设置cookie，这里cookiejar可自动管理，无需手动指定
    
25. cj = cookielib.CookieJar();
    
26. opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj));
    
27. urllib2.install_opener(opener);
    
28. reqReturn = urllib2.urlopen(URL_BAIDU_INDEX);
    
29. 
    
30. # 获取token,
    
31. tokenReturn = urllib2.urlopen(URL_BAIDU_TOKEN);
    
32. matchVal = re.search(u'"token" : "(?P<tokenVal>.*?)"', tokenReturn.read());
    
33. tokenVal = matchVal.group('tokenVal');
    
34. 
    
35. 
    
36. # 构造登录请求参数，该请求数据是通过抓包获得，对应https://passport.baidu.com/v2/api/?login请求
    
37. postData = {
    
38. 'username' : username,
    
39. 'password' : password,
    
40. 'u' : 'https://passport.baidu.com/',
    
41. 'tpl' : 'pp',
    
42. 'token' : tokenVal,
    
43. 'staticpage' : 'https://passport.baidu.com/static/passpc-account/html/v3Jump.html',
    
44. 'isPhone' : 'false',
    
45. 'charset' : 'UTF-8',
    
46. 'callback' : 'parent.bd__pcbs__ra48vi'
    
47. };
    
48. postData = urllib.urlencode(postData);
    
49. 
    
50. 
    
51. # 发送登录请求
    
52. loginRequest = urllib2.Request(URL_BAIDU_LOGIN, postData);
    
53. loginRequest.add_header('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8');
    
54. loginRequest.add_header('Accept-Encoding', 'gzip,deflate,sdch');
    
55. loginRequest.add_header('Accept-Language', 'zh-CN,zh;q=0.8');
    
56. loginRequest.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36');
    
57. loginRequest.add_header('Content-Type', 'application/x-www-form-urlencoded');
    
58. sendPost = urllib2.urlopen(loginRequest);
    
59. 
    
60. 
    
61. # 查看贴吧个人主页 ，测试是否登陆成功，由于cookie自动管理，这里处理起来方便很多
    
62. # http://tieba.baidu.com/home/main?un=XXXX&fr=index 这个是贴吧个人主页，各项信息都可以在此找到链接
    
63. 
    
64. # 获取我喜欢的贴吧页数，一页20个
    
65. def getnum():
    
66.     url_forum = 'http://tieba.baidu.com/i/68449687/forum'
    
67.     r2 = requests.get(url_forum)
    
68.     search = re.findall(ur'forum_name":"(.+?)"', r2.text)
    
69.     num_forum = len(search)
    
70.     if num_forum % 20 != 0:
    
71.         num_forum = num_forum / 20 + 1
    
72.     return num_forum
    
73. 
    
74. 
    
75. 
    
76. 
    
77. #获取我喜欢的贴吧信息
    
78. def getinfo(num):
    
79.     start = 1;
    
80.     print '吧名\t\t贴吧fid\t\t等级\t\t经验\t贴吧链接';
    
81.     while(start <= num):
    
82.         teibaUrl = 'http://tieba.baidu.com/f/like/mylike?&pn=' + str(start);
    
83.         start = start + 1;
    
84.         content = urllib2.urlopen(teibaUrl).read();
    
85.         content = content.decode('gbk').encode('utf8');
    
86.         # 打印个人贴吧网页内容
    
87.         # print content;
    
88.         
    
89.         # 解析数据，用的BeautifulSoup4，感觉没有jsoup用的爽
    
90.         soup = BeautifulSoup(content, 'html.parser');
    
91.         list = soup.findAll('tr');
    
92.         list = list[1:len(list)];
    
93.         # careTeibalist = [];
    
94.         for elem in list:
    
95.             soup1 = BeautifulSoup(str(elem), 'html.parser');
    
96.             # 获取fid的前缀网址，等号后面跟贴吧名字的URL编码
    
97.             url1 = 'http://tieba.baidu.com/f/commit/share/fnameShareApi?ie=utf-8&fname=';
    
98.             # /f?kw=%D3%A2%D0%DB%C1%AA%C3%CB 截取后面的%D3%A2%D0%DB%C1%AA%C3%CB
    
99.             name = soup1.find('a')['href'].split('=')[1];
    
100.             # 解析json
     
101.             fidconnect = urllib2.urlopen(url1 + name).readline();
     
102.             fid = json.loads(fidconnect)['data']['fid'];
     
103.             print soup1.find('a')['title'] + '\t\t' + '%d' % fid + '\t\t' + soup1.find('a', {'class', 'like_badge'})['title'] + '\t\t' + soup1.find('a', {'class', 'cur_exp'}).get_text() + '\t' + 'http://tieba.baidu.com' + soup1.find('a')['href'];
     
104. 
     
105. #获取页数
     
106. num = getnum();
     
107. #获取信息
     
108. getinfo(num)
     

复制代码

把里面的帐号密码设置成你自己的即可
python2即可运行
有兴趣的可以试一试，或者网上去搜索一下
很多源码可以参考，自己做点小工具什么的还是可以

twas556

谢谢分享

leeds

不会编程，谁做个现成的吧

阿星

leeds 发表于 2016-5-10 03:10
不会编程，谁做个现成的吧

这就是现成的

alice10501

我就喜欢帅哥

newxunyu

这个不懂怎么用

百度度娘

什么~

青争青争

嗦嘎

aaaa3738

高大上的样子

vsuperfly

不错不错哈