构建实时机器学习系统
(副标题):无 ;
(作者): 彭河森,汪涵 ;
内容简介:
7.2 AMQP和RabbitMQ简介
本章下面的内容将会围绕RabbitMQ的理论结构和实战用法来进行介绍。在介绍RabbitMQ之前,先来介绍一下RabbitMQ在设计上遵循的AMQP。AMQP全称是Advanced Message Queuing Protocol(高阶消息队列协议)。这一协议发表于2003年,当时金融市场的IT化正在进行,摩根大通(JP Morgan Chase)的程序员John O扝are意识到了实时消息传导在金融系统中的重要作用,提出了高阶消息队列协议,用于抽象化消息传导的各种模式。这一协议提出后随即受到众多工业界领军组织的重视,AMQP不久之后就成为了消息队列的工业界标准。
在AMQP中,实时数据处理的流程抽象为以下三个成分。
·消息产生者(Producer):是指整个实时任务流程产生的源头,可能是网页前端、上游服务等。
·消息中介(Message Broker):是指搜集整理实时数据任务,并指派到下游任务的成分,这里主要由分布式队列服务如RabbitMQ等担当。
·数据的消费者(Consumer):是指下游对数据进行处理的服务,可能是具有无状态性可以自由伸缩的的服务器集群,也可能是储存数据库、搜索引擎等。
RabbitMQ的身世具有传奇色彩。本书作者还在吃奶的时候(1986年),作者的父母刚刚知道世界上有大哥大这样一个神奇高洋的物品,爱立信(没错,就是电信巨头爱立信)的研究员们就意识到了高并发(concurrent)、稳定的编程语言的重要性,开发了Erlang这一语言。从此Erlang成为了爱立信通信核心技术的开发语言,在爱立信的3G、LTE网络等技术中都有广泛应用。得益于Erlang语言对高并发高可用性应用场景的支持,自然而然的,Erlang后来成为了RabbitMQ的开发语言。
RabbitMQ的开发始于2007年,到本书写作时
目录预览:
构建实时机器学习系统
第1部分 实时机器学习方法论
第1章 实时机器学习综述
1.2 机器学习发展的前世今生
1.3 机器学习领域分类
1.4 实时是个“万灵丹”
1.5 实时机器学习的分类
1.6 实时应用对机器学习的要求
1.7 案例:Netflix在机器学习竞赛中学到的经验
1.8 实时机器学习模型的生存期
第2章 实时监督式机器学习
2.2 怎样衡量监督式机器学习模型
2.3 实时线性分类器介绍
第3章 数据分析工具Pandas
3.2 Pandas的安装
3.3 利用Pandas分析实时股票报价数据
3.4 数据分析的三个要点
第4章 机器学习工具Scikit-learn
4.2 Scikit-learn的安装
4.3 Scikit-learn的主要模块
........