mysql学习笔记

环境准备

　　在编译R之前，需要使用root用户安装以下几个程序：

　　Scrapy框架的数据处理流程是由Scrapy引擎进行控制，它的整体架构如图所示。图中的绿色街头表示数据的流向。

　　python中对文件、文件夹的操作需要涉及到os模块和shutil模块。

　　在R语言的绘图函数中，如果文本参数是合法的R语言表达式，那么这个表达式就被用Tex类似的规则进行文本格式化。

　　参考于jiebaR中文分词帮助文档，做了个笔记，方便以后学习。这里是官方英文文档，以及jiebaR官网的地址。

　　使用结巴中文分词（jiebaR）对爬取的新浪新闻 文本进行分词，统计词频之后，使用包wordcloud画词云。

　　linux下的jdk环境变量配置笔记。

　　在上一篇博客python模拟新浪微博登陆之获取cookies中，已经实现了登陆新浪微博并把cookie保存了下来。接下来通过得到的cookie去访问新浪微博其他页面，并获取我们想要的信息。

　　顺便一提，我的软件是python2.7.10（64位），IDE是pycharm，win8.1系统环境。所用到的包是base64、rsa、binascii、re、requests。

• 这里，我首先通过访问自己新浪微博主页获取我的所有微博；
• 然后进入我的关注用户页面，获取我关注用户的用户ID、用户名；
• 最后分别进入各个用户的微博主页获取所有微博。

　　首先感谢敲代码的耗子，之前一直搞不懂登陆新浪微博的原理，看了他那篇文章之后，终于明白了基本原理。在这里主要是通过代码实现那篇文章的过程。

　　获取网页使用的包是requests，正则匹配用的是re，其他需要的还有base64、rsa、binascii。如果安装有pip，可以直接在cmd（linux在终端）中输入命令“pip install 包名”进行安装，包的安装方法有很多种，这里不详述。

　　其实，过程的实现还是比较容易的。新浪微博登陆主要是post时提交表单的用户名与密码都是经过处理后才提交的。