elasticsearch 客户端工具_如何用ElasticSearch进行机器学习

前言

机器学习已经在现在的工业实践中得到了广泛的应用。作为强大搜索引擎的ElasticSearch也在6.3开始内置了对机器学习的支持。

ElasticSearch也在6.3开始内置了对机器学习的支持

概述

从应用角度来看，如果你有异常侦测和数据回归方面的需求，并且数据不需要特别处理，直接从es里就可以接入，可以选择Es内置的机器学习功能，这样又快又迅速。但是如果要借助更多的机器学习算法来进行建模，选择python的Eland模块进行机器学习就比较合适。下面会就这2种机器学习方式,从安装到应用进行一一介绍。

Es内置的机器学习功能

elasticsearch内置的机器学习

Kibana主页上加载样本Web日志数据集后，点击 查看数据> ML作业。

在机器学习应用程序中，当您kibana_sample_data_logs 在"数据可视化工具"或"异常检测"作业向导中选择索引模式时，使用其已知配置创建作业。选择 Kibana示例数据Web日志配置。

Kibana支持四种类型的机器学习作业

• 1. 在Kibana中，Single-metric jobs：数据分析仅在一个索引字段上执行
• 2. Multi-metric jobs：可以对多个索引字段执行数据分析； 但是，每个字段都分别进行分析
• 3. Advanced jobs：可以对多个索引字段执行数据分析。提供检测器和影响者的完整配置设置
• 4. Population jobs：对不常见数据(例如检测总体中的异常值)的分布行为的数据分析
• 现在以Single-metric jobs为例，学习如何使用Elasticsearch内建机器学习功能。

样本作业(low_request_rate)之一是单个度量异常检测作业。它具有使用该low_count功能和有限工作属性的单个检测器。如果要确定网站上的请求率何时显着下降，则可以使用这样的工作。

让我们从在Single Metric Viewer中查看这个简单的工作开始 ：

该视图包含一个图表，该图表表示一段时间内的实际值和期望值。仅当作业已model_plot_config启用时才可用。它只能显示一个时间序列。

图表中的蓝线代表实际数据值。蓝色阴影区域表示期望值的界限。上限和下限之间的区域是模型最可能的值。如果某个值不在该区域内，则可以说它是异常的。

将时间选择器滑动到时间序列中包含红色异常数据点的部分。如果将鼠标悬停在该点上，则可以查看更多信息。除了异常侦测，es还可以方便的做数值回归预测。

python的eland模块

如果需要引入更多的机器学习模型训练方式，可以使用eland模块来和ElasticSearch协作。

为什么会有eland?

数据科学家通常不习惯NoSQL数据库引擎执行常见任务，甚至不依赖复杂的REST API进行分析。例如，使用Elasticsearch的低级python客户端处理大量数据也不是那么直观，并且对于来自SWE以外领域的人来说，学习曲线有些陡峭。

尽管Elastic为增强用于分析和数据科学用例的ELK堆栈做出了巨大的努力，但它仍然缺乏与现有数据科学生态系统(pandas，numpy，scikit-learn，PyTorch和其他流行的库)的便捷接口。

的推出是一个全新的Python Elasticsearch客户端和工具包，具有强大(且熟悉)的类似于pandas的API，用于分析，ETL和机器学习。

Eland在可能的情况下使用现有的Python API和数据结构来简化在numpy，pandas，scikit-learn和其Elasticsearch支持的等效项之间的切换。通常，数据驻留在Elasticsearch中，而不是内存中，这使Eland可以访问Elasticsearch中存储的大型数据集。Eland还提供了一些工具，可以从，和等通用库经过训练的机器学习模型上传到Elasticsearch中。

Eland使数据科学家可以有效地使用已经强大的Elasticsearch分析和ML功能，而无需对Elasticsearch及其许多复杂知识有深入的了解。

Elasticsearch的功能和概念被转换为更易于识别的设置。例如，Elasticsearch索引及其文档，映射和字段成为具有行和列的数据框，就像我们以前在使用pandas时所看到的那样。

Eland的安装

可以使用Pip从安装Eland ：

$ python -m pip安装eland

也可以使用Conda从安装Eland ：

$ conda安装-c conda-forge eland

Eland链接Es

Eland使用连接到Elasticsearch。该客户端支持一系列。可以将实例传递elasticsearch.Elasticsearch给Eland API，也可以将包含主机的字符串传递给以下对象：

import eland as ed# Connecting to an Elasticsearch instance running on 'localhost:9200'df = ed.DataFrame("localhost:9200", es_index_pattern="flights")# Connecting to an Elastic Cloud instancefrom elasticsearch import Elasticsearches = Elasticsearch(cloud_id="cluster-name:...",http_auth=("elastic", ""))df = ed.DataFrame(es, es_index_pattern="flights")

用eland进行机器学习

eland.DataFrame在类似于Pandas的API中包装Elasticsearch索引，并将所有对数据的处理和过滤推迟到Elasticsearch而不是本地计算机上进行。这意味着您可以从Jupyter Notebook中在Elasticsearch中处理大量数据，而不会导致计算机过载。

现在可以对xboost框架进行模型训练后，将模型部署到Elasticsearch，就可以直接实现对数据的预测了。一切很简单。

>>> from xgboost import XGBClassifier>>> from eland.ml import ImportedMLModel# Train and exercise an XGBoost ML model locally>>> xgb_model = XGBClassifier(booster="gbtree")>>> xgb_model.fit(training_data[0], training_data[1])>>> xgb_model.predict(training_data[0])[0 1 1 0 1 0 0 0 1 0]# Import the model into Elasticsearch>>> es_model = ImportedMLModel(es_client="localhost:9200",model_id="xgb-classifier",model=xgb_model,feature_names=["f0", "f1", "f2", "f3", "f4"],)# Exercise the ML model in Elasticsearch with the training data>>> es_model.predict(training_data[0])[0 1 1 0 1 0 0 0 1 0]

结束语

es作为搜索引擎，赋能了快速排序，搜索的场景。现在内置的机器学习模块为借助es搜索的场景又增加了异常侦测，回归预测等强大的ai能力，无疑为es在和其他搜索引擎竞争中增加了强大助力。对这方面有兴趣的读者，可以关注我们，持续获取这方面资讯。