ITeye博客

小小的草=孙革兵

sunbin · 共 271 篇文章

Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)

1、#下载镜像 docker pull elasticsearch:7.1.1 docker pull kibana:7.1.1 docker pull logstash:7.1.1 docker pull store/elastic/filebeat:7.1.1 docker network create elknetwork ============================================== 2、#设置nginx日志保存位置 mkdir --p /var/log/nginx ============================================…

2021-10-31 21:03 · 日志工具 · 评论(0)

esxi6.7中手动克隆虚拟机的方法

本文示例在esxi中克隆虚拟机hadoop-1(已存在), 克隆到hadoop-2。 1、启用esxi的ssh 登录esxi web界面,在左侧导航器右击主机->服务->启用安全Shell(ssh) image.png 2、ssh登录esxi 3、找到虚拟机所在目录 假设已经存在虚拟机名为hadoop-1, 那么在终端输入命令: find / -name hadoop-1 , 结果如下: image.png 可以看到虚拟机所在目录为:/vmfs/volumes/5dee862f-6c107bc2-9290-0c9d9239daa7, 4、建立新虚拟机目录 切换目录并新建hadoop-2目录:…

2021-06-17 10:02 · exsi · 评论(0)

cdh5-centos7-安装

cdh官方网站已经收费,目前无法联机下载安装文件。文中所有文件可到网上搜索下载 一、以下操作需要master、worker1、worker2各自做一遍: 本次实战在所有机器上的操作,都使用root账号; 1 、hosts 主机名称设置 vi /etc/hosts 192.168.8.44 cdh44 192.168.8.45 cdh45 192.168.8.46 cdh46 2、ssh免密登录 ssh-keygen -t rsa ssh root@cdh41 ssh root@cdh42 ssh root@cdh40 ssh-copy-id 192.168.8.40 ssh-copy-id …

2021-03-09 21:58 · hadoop · 评论(0)

linux后台运行和关闭、查看后台任务

一、& 加在一个命令的最后,可以把这个命令放到后台执行,如 watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本 二、ctrl + z 可以将一个正在前台执行的命令放到后台,并且处于暂停状态。 三、jobs 查看当前有多少在后台运行的命令 jobs -l选项可显示所有任务的PID,jobs的状态可以是running, stopped, Terminated。但是如果任务被终止了(kill),shell 从当前的shell环境已知的列表中删除任务的进程标识。 四、fg 将后台中的命令调至 前台 继续运行。如果后台中有多个命令,可以用fg %jobnumb…

2020-06-13 14:46 · linux · 评论(0)

opencv读取rtsp图像处理后推流rtmp

参考:https://blog.csdn.net/u014303844/article/details/80394101 1 背景 在做图像处理任务时,一个很常见的需求就是读取网络相机rtsp码流做识别,可以抽帧检测,也可以一帧一帧检测,识别完毕后,再将处理过的图片串成视频流,在客户端进行显示。可在网页端显示的比较成熟的方案是rtmp流,因此,我们的方案是用opencv读取摄像头rtsp码流,图像处理之后,串成rtmp码流,在客户端显示 操作环境:Ubuntu 16.04 + python3 2 Nginx服务器搭建 因为要将处理过的图片串成rtmp码流,因此,需要搭建一个rtmp服务器,常…

2020-04-25 18:49 · 机器学习算法 · 评论(0)

python opencv实现视频UDP传输

python实现服务器录制视频,UDP实时传输到客户端,实时显示。 报错 data, addr = s.recvfrom(4096),socket.error: [Errno 10040] Buffer设置为65536,按说不应该会有buffer不足的情况。 代码如下: host.py import cv2 import socket s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.bind(('127.0.0.1', 9999)) cap = cv2.VideoCapture(1) cap.set(3, 320) cap.set…

2020-04-24 22:28 · 机器学习算法 · 评论(0)

python 实现摄像头人脸识别

1、window安装dlib、face_recognition ace_recognition简介 face_recognition是Python的一个开源人脸识别库,支持Python 3.3+和Python 2.7。引用官网介绍: Recognize and manipulate faces from Python or from the command line with the world's simplest face recognition library. 安装配置 我目前的开发环境是,操作系统:Win10,Python3.6:Anaconda集成开发环境。在安装 face_re…

2020-04-24 20:58 · 机器学习算法 · 评论(0)

K-均值聚类(k-means)算法

1、准备数据 0.0 0.0 0.0 0.1 0.1 0.1 0.2 0.2 0.2 9.0 9.0 9.0 9.1 9.1 9.1 9.2 9.2 9.2 2、python算法 import numpy as np import matplotlib.pyplot as plt from sklearn.cluster import KMeans from sklearn import metrics #导入sklearn效果评估模块 raw_data=np.loadtxt("../../data.txt") X_test=raw_data[5:6,:] X=raw_data[:,:] #…

2020-04-13 17:59 · 机器学习算法 · 评论(0)

逻辑回归算法

1、准备数据 0 1:59 2:2 3:43.4 4:2 5:1 0 1:36 2:1 3:57.2 4:1 5:1 0 1:61 2:2 3:190 4:2 5:1 1 1:58 2:3 3:128 4:4 5:3 1 1:55 2:3 3:80 4:3 5:4 0 1:61 2:1 3:94.4 4:2 0 1:38 2:1 3:76 4:1 5:1 0 1:42 2:1 3:240 4:3 5:2 0 1:50 2:1 3:74 4:1 5:1 0 1:58 2:3 3:68.6 4:2 5:2 0 1:68 2:3 3:132.8 4:4 5:2 1 1:25 2:2 3:94.6 …

2020-04-11 21:52 · 机器学习算法 · 评论(0)

KNN最邻近分类算法

参考 https://blog.csdn.net/pengjunlee/article/details/82713047 ,讲解的较为详细 1、数据准备 40920 8.326976 0.953952 3 14488 7.153469 1.673904 2 26052 1.441871 0.805124 1 75136 13.147394 0.428964 1 38344 1.669788 0.134296 1 72993 10.141740 1.032955 1 35948 6.830792 1.213192 3 42666 13.276369 0.543880 3 67497 8.631…

2020-04-11 13:21 · 机器学习算法 · 评论(0)

贝叶斯分类算法

贝叶斯算法主要用于分类数据预测 以下为垃圾邮件分类算法 数据 type,text ham,00 00 00 are 0089 0089 having a good week. Just checking in ham,K..give back my thanks. ham,Am also doing in cbe only. But have to pay. spam,"complimentary 4 STAR Ibiza Holiday or £10,000 cash needs your URGENT collection. 09066364349 NOW from Landline n…

2020-04-09 15:45 · 机器学习算法 · 评论(0)

线性回归算法

线性回归算法 准备数据 -0.4307829,-1.63735562648104 -2.00621178480549 -1.86242597251066 -1.02470580167082 -0.522940888712441 -0.863171185425945 -1.04215728919298 -0.864466507337306 -0.1625189,-1.98898046126935 -0.722008756122123 -0.787896192088153 -1.02470580167082 -0.522940888712441 -0.863171185425945 -1.042…

2020-04-08 15:44 · 机器学习算法 · 评论(0)

spark 统计黑名单之外的数据次数

此处代码还有三个功能 1、spark流式文件处理 2、全局统计 3、广播变量 以下代码可运行 package com.sunbin.stream; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.functi…

2020-04-04 00:14 · hadoop · 评论(0)

pyspark demo

demo spark 在不使用mllib的情况下,可以使用python的数据分析。 使用方法如下 代码可以运行 eclipse添加 window--preferences---pydev----interpreters---python interpreter 1、环境变量 SPARK_HOME=C:\spark-2.3.1-bin-hadoop2.6 SPARK_LOCAL_IP=本机ip/localhost 2、jar包 libraries中添加 C:\spark-2.3.1-bin-hadoop2.6\python C:\spark-2.3.1-bin-hadoop2.6\python…

2020-04-02 23:51 · hadoop · 评论(0)

Spark集群搭建 & spark-shell & Master HA

一、环境 CentOS-6.8-x86_64/jdk1.8/spark-2.3.1-bin-hadoop2.6.tgz 二、组建方案: -----1--------2--------3-------4-------5-------- -----N1-----N2-------D-------D------D-------- -----R1------R2-------Z-------Z-------Z-------- -----Hi-------Hi--------------------------------- -----M-------W-------W----------------…

2020-03-17 00:57 · hadoop · 评论(0)