spark hdfs 调研目标 调研高可用分布式存储、计算框架，以适应当前和未来可期阶段的部门业务发展。 需求 存储为主 (如：当前simone Record目录下生成的录像文件的存储) 分析 （对上述大量文件进行二次分析） 成熟稳定 （满足日常操作需求） 市面常见方案 NFS、AFS 系统级网络通用文件系统，30年历史了，设计风格和如今有很大差异。常见用途挂载到本机，提供最容易的多用户访问方式,如NAS。 TFS 淘宝分布式文件系统，针对图片类小文件设计，前些年还打广告，github项目已废弃,官网打不开 BFS c++分布式文件系统，百度核心业务的底层存储，为实时业务设计，…
Monitoring and Tuning the Linux Networking Stack: Receiving Data…
Ring Buffer 相关监控及配置 收到数据包统计 ethtool -S eh0 NIC statistics: rx_packets: 792819304215 tx_packets: 778772164692 rx_bytes: 172322607593396 tx_bytes: 201132602650411 rx_broadcast: 15118616 tx_broadcast: 2755615 rx_multicast: 0 tx_multicast: 10 RX 就是收到数据，…
export ALL_PROXY=socks5://127.0.0.1:1080 brew update brew upgrade boost ll /usr/local/Cellar/boost drwxr-xr-x 6 xuhaibin admin 204 4 27 2017 1.64.0_1 drwxr-xr-x 6 xuhaibin admin…
InnoDB存储引擎的逻辑存储结构和Oracle大致相同，所有数据都被逻辑地存放在一个空间中，我们称之为表空间（ta-blespace）。表空间又由段（segment）、区（extent）、页（page）组成。 表空间 表空间可以看做是InnoDB存储引擎逻辑结构的最高层，所有的数据都是存放在表空间中。默认情况下InnoDB存储引擎有一个共享表空间ibdata1，即所有数据都放在这个表空间内。如果我们启用了参数innodbfileper_table，则每张表内的数据可以单独放到一个表空间内。 段 表空间是由各个段组成的，常见的段有数据段、索引段、回滚段等。InnoDB存储引擎表是索引组织的（index organized），因此数据即索引，索引即数据。那么数据段即为B+树的页节点，索引段即为B+树的非索引节点。 区 区是由64个连续的页组成的，…