Yinhj Blog

做一个有动力、有魄力、有实力、有耐力的四有青年。

[机器学习]TensorFlow安装与入门

virtualenv 可以用来建立一个专属于项目的python环境，保持一个干净的环境。只需要通过命令创建一个虚拟环境，不用的时候通过命令退出，删除。实践证明用虚拟环境能避免很多糟心的事。下面介绍一下安装方法：安装 virtualenv; 安装 virtualenvwrapper; 安装 Numpy，Scipy，Matplotlib 等Python科学计算的库; 1....

Posted by Yinhj on December 5, 2016

[机器学习]开源的深度学习框架

关于视频分析或者图像处理过程如下： 1.首先要提取视频中的运动物体，常用算法有：帧差法，GMM，vibe等； 2.提取前景（运动物体）后对其进行跟踪，主要算法有：camshift，粒子滤波，TLD，压缩感知等； 3.对监控视频的去模糊，去雾，夜视增强等，可基于opencv来实现。 4.最后通过机器学习对视频进行分析。下面着重介绍机器学习的分支：深度学习，也就是深度神经网络，是近来...

Posted by Yinhj on November 20, 2016

[大数据与分布式系统]大数据架构之数据处理

离线批量处理海量处理计算框架： MapReduce；管理框架YARN改进了MapReduce的缺点；计算框架Spark更迅速；在此基础上，还提出了hive,pig,impala,spark sql等工具。 MapReduce： 1.分割Data splitting: 数据分片发送到Mapper。 2.映射Mapping: key-value映射。 (合并combining...

Posted by Yinhj on November 10, 2016

[大数据与分布式系统]大数据架构之数据存储

持久化存储关键概念: 文件系统，数据库系统文件系统中，大量文件没有很好组织，缺乏对象之间关键，读取效率低，因此有了数据库。单台计算机无法满足数据存储和处理需求，需要集群化方案，如何高效读取分布式计算机文件，高效执行分布式数据库的SQL查询，就有了NOSQL。知名分布式文件系统HDFS，分布式非关系型(非结构化)数据库Hbase和MongoDB。分布式文件系统 2003年，Goog...

Posted by Yinhj on October 25, 2016

[C++篇]如何正确学习C++ Primer这本书

首先，读一遍是不够的，所以第一遍要快读，然后再分而治之，深入研究，不断练习。以C++ Primer第五版为例，第一遍，除了个别章节要通读之外，其他都可以速读。个人建议通读章节如下： Part1 3.2 string 3.3 vector 6.6 函数匹配 6.7 函数指针 Part2 9 顺序容器 11 关联容器 10 泛型算法、函...

Posted by Yinhj on October 18, 2016

[大数据与分布式系统]文件系统原理分析

参考链接《FAT文件系统原理》为什么引入文件系统？因为磁盘上面不仅要存放文件数据本身，还需要有对这些数据进行管理的数据，比如文件起始位置、大小、创建时间等。这些数据又叫做元数据（Metadata）。不同文件系统的元数据是不一样的。元数据会占用额外的磁盘空间，但总体比例不会很大，它对功能的实现和性能的提升有非常重要的作用。格式化文件系统，其实就是写入一些初始化的元数据的过程。 ...

Posted by Yinhj on October 16, 2016

[文件系统]块文件系统BUG引起的系统复位问题归零报告

故障现象着陆时，MCU收集MFL数据并转发给VCM，由VCM存储到IDR记录卡。在MCU开始发送MFL数据9秒左右时，VCM复位。故障定位测试发现，通过MCU端手动向双口长时间地周期（2个tick）写MFL数据，必然会导致VCM复位，有时候复位前会打印program和data access错误，有时候直接复位。分析可能出现的几种复位方式：应用监控的任务挂起，引起...

Posted by Yinhj on October 14, 2016

[网络协议]基于UDP实现的可靠传输协议

UDP实现的可靠协议，基本都会对TCP的某一部分进行加强，另外一部分进行削弱。因为： “实时性+可靠性+公平性” 三者不能同时保证，因此可以牺牲TCP的局部公平性来换取更好的实时性，或者更浪费点带宽，来实现更低的延迟。参考资料 QQ 为什么采用 UDP 协议，而不采用 TCP 协议实现

Posted by Yinhj on September 22, 2016

[网络协议]TCP粘包分析

拆包与拼包

这两天看csdn有一些关于socket粘包，socket缓冲区设置的问题，发现自己不是很清楚，所以查资料了解记录一下：一 .两个简单概念长连接与短连接：长连接 Client方与Server方先建立通讯连接，连接建立后不断开，然后再进行报文发送和接收。短连接 Client方与Server每进行一次报文收发交易时才进行通讯连接，交易完毕后立即断开连接。此种方式...

Posted by Yinhj on September 20, 2016

[常用命令]Git命令(持续更新)

取得Git仓库初始化一个版本仓库 git init Clone远程版本库 git clone https://github.com/yhj167/yhj167.github.io.git 添加远程版本库origin，语法为 git remote add [shortname] [url] git remote add origin https://gith...

Posted by Yinhj on September 11, 2016