sunbin
- 浏览: 340696 次
- 性别:
- 来自: 深圳
-
最新评论
-
sunbin：
不好意思，这个用于个人记录。http://sunbin.ite ...
Spring boot+Spring Security 4配置整合实例 -
v韧竹v：
大神，你这个有demo源码吗？我安装您这边操作的，好像有问题， ...
Spring boot+Spring Security 4配置整合实例 -
sunbin：
西蜀石兰 写道关键的是controller建立了一个中转吧，这 ...
Spring Boot 添加JSP支持【转】 -
czwanglei：
这篇文章写的真不错。。
Spring Boot 添加JSP支持【转】 -
西蜀石兰：
关键的是controller建立了一个中转吧，这样所有的jsp ...
Spring Boot 添加JSP支持【转】
文章列表
1、#下载镜像
docker pull elasticsearch:7.1.1
docker pull kibana:7.1.1
docker pull logstash:7.1.1
docker pull store/elastic/filebeat:7.1.1
docker network create elknetwork
==============================================
2、#设置nginx日志保存位置
mkdir --p /var/log/nginx
=================================== ...
esxi6.7中手动克隆虚拟机的方法
- 博客分类：
- exsi
本文示例在esxi中克隆虚拟机hadoop-1（已存在）, 克隆到hadoop-2。
1、启用esxi的ssh
登录esxi web界面，在左侧导航器右击主机->服务->启用安全Shell（ssh）
image.png
2、ssh登录esxi
3、找到虚拟机所在目录
假设已经存在虚拟机名为hadoop-1, 那么在终端输入命令：find / -name hadoop-1
cdh5-centos7-安装
- 博客分类：
- hadoop
cdh官方网站已经收费，目前无法联机下载安装文件。文中所有文件可到网上搜索下载
一、以下操作需要master、worker1、worker2各自做一遍：
本次实战在所有机器上的操作，都使用root账号；
1 、hosts 主机名称设置
vi /etc/hosts
192.168.8.44 cdh44
192.168.8.45 cdh45
192.168.8.46 cdh46
2、ssh免密登录
ssh-keygen -t rsa
ssh root@cdh41
ssh root@cdh42
ssh root@cdh40
ssh- ...
linux后台运行和关闭、查看后台任务
- 博客分类：
- linux
一、&
加在一个命令的最后，可以把这个命令放到后台执行，如
watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本
二、ctrl + z
可以将一个正在前台执行的命令放到后台，并且处于暂停状态。
三、jobs
参考：https://blog.csdn.net/u014303844/article/details/80394101
1 背景
在做图像处理任务时，一个很常见的需求就是读取网络相机rtsp码流做识别，可以抽帧检测，也可以一帧一帧检测，识别完毕后，再将处理过的图片串成视频流，在客户端进行显示。可在网页端显示的比较成熟的方案是rtmp流，因此，我们的方案是用opencv读取摄像头rtsp码流，图像处理之后，串成rtmp码流，在客户端显示
操作环境：Ubuntu 16.04 + python3
2 Nginx服务器搭建
因为要将处理过的图片串成rtmp码流，因此，需 ...
python opencv实现视频UDP传输
- 博客分类：
- 机器学习算法
python实现服务器录制视频，UDP实时传输到客户端，实时显示。报错data, addr = s.recvfrom(4096)，socket.error: [Errno 10040]Buffer设置为65536，按说不应该会有buffer不足的情况。 代码如下：
python 实现摄像头人脸识别
- 博客分类：
- 机器学习算法
1、window安装dlib、face_recognition
ace_recognition简介
face_recognition是Python的一个开源人脸识别库，支持Python 3.3+和Python 2.7。引用官网介绍：
Recognize and manipulate faces from Python or from the command line with the world's simplest face recognition library.
安装配置
我目前的开发环境是，操作系统：Win10，Python3.6：Anaconda集成开发环境 ...
K-均值聚类（k-means）算法
- 博客分类：
- 机器学习算法
1、准备数据
0.0 0.0 0.0
0.1 0.1 0.1
0.2 0.2 0.2
9.0 9.0 9.0
9.1 9.1 9.1
9.2 9.2 9.2
2、python算法
import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn import metrics #导入sklearn效果评估模块
raw_data=np.loadtxt("../../data.txt") ...
1、准备数据
0 1:59 2:2 3:43.4 4:2 5:1
0 1:36 2:1 3:57.2 4:1 5:1
0 1:61 2:2 3:190 4:2 5:1
1 1:58 2:3 3:128 4:4 5:3
1 1:55 2:3 3:80 4:3 5:4
0 1:61 2:1 3:94.4 4:2
0 1:38 2:1 3:76 4:1 5:1
0 1:42 2:1 3:240 4:3 5:2
0 1:50 2:1 3:74 4:1 5:1
0 1:58 2:3 3:68.6 4:2 5:2
0 1:68 2:3 3:132.8 4:4 5:2
1 1:25 ...
KNN最邻近分类算法
- 博客分类：
- 机器学习算法
参考https://blog.csdn.net/pengjunlee/article/details/82713047，讲解的较为详细
1、数据准备
40920 8.326976 0.953952 3
14488 7.153469 1.673904 2
26052 1.441871 0.805124 1
75136 13.147394 0.428964 1
38344 1.669788 0.134296 1
72993 10.141740 1.032955 1
35948 6.830792 1.213192 3
42666 13.276369 ...
贝叶斯算法主要用于分类数据预测
以下为垃圾邮件分类算法
数据
type,text
ham,00 00 00 are 0089 0089 having a good week. Just checking in
ham,K..give back my thanks.
ham,Am also doing in cbe only. But have to pay.
spam,"complimentary 4 STAR Ibiza Holiday or £10,000 cash needs your URGENT collection. 09066364349 NOW ...
线性回归算法
准备数据
-0.4307829,-1.63735562648104 -2.00621178480549 -1.86242597251066 -1.02470580167082 -0.522940888712441 -0.863171185425945 -1.04215728919298 -0.864466507337306
-0.1625189,-1.98898046126935 -0.722008756122123 -0.787896192088153 -1.02470580167082 -0.522940888712441 -0.863171185425945 ...
spark 统计黑名单之外的数据次数
- 博客分类：
- hadoop
此处代码还有三个功能
1、spark流式文件处理
2、全局统计
3、广播变量
以下代码可运行
package com.sunbin.stream;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spa ...
pyspark demo
- 博客分类：
- hadoop
demo
spark 在不使用mllib的情况下，可以使用python的数据分析。
使用方法如下
代码可以运行
eclipse添加 window--preferences---pydev----interpreters---python interpreter
1、环境变量
SPARK_HOME=C:\spark-2.3.1-bin-hadoop2.6
SPARK_LOCAL_IP=本机ip/localhost
2、jar包
libraries中添加
C:\spark-2.3.1-bin-hadoop2.6\python
C:\spark-2.3.1-bin-h ...
一、环境
CentOS-6.8-x86_64/jdk1.8/spark-2.3.1-bin-hadoop2.6.tgz
二、组建方案：
-----1--------2--------3-------4-------5--------
-----N1-----N2-------D-------D------D--------
-----R1------R2-------Z-------Z-------Z--------
-----Hi-------Hi---------------------------------
-----M-------W-------W--- ...