沒有計算機基礎應該如何學習大數據知識？學習程序開發是可以多瀏覽一些開源平臺上面的項目，博客，問答等。比較好著名的平臺如stackoverflow,stackoverflow等。在github上收索bi

沒有計算機基礎應該如何學習大數據知識？

學習程序開發是可以多瀏覽一些開源平臺上面的項目，博客，問答等。比較好著名的平臺如stackoverflow,stackoverflow等。

在github上收索big data,都會出現相關的項目，有一個大數據入門指南的項目挺不錯的，你可以不參照著去學習。地址：，如果不是ftp訪問被限制，可以點贊，評論。

萬分感謝是本文摘自項目中的圖解，和章節導航。

附：項目的具體知識點追加

前言

大數據學習路線

大數據技術棧思維導圖

大數據常用軟件安裝指南

一、Hadoop

分布式文件存儲系統——HDFS

分布式計算框架——MapReduce

集群資源管理器——YARN

Hadoop單機偽集群環境搭建

Hadoop集群環境搭建

HDFS具體用法Shell命令

HDFSJavaAPI的使用

基于Zookeeper堆建Hadoop高可用集群

二、Hive

Hive簡介及核心概念

Linux環境下Hive的安裝部署

HiveCLI和Beeline命令行的基本都使用

Hive具體用法DDL你的操作

Hive分區表和分桶表

Hive視圖和索引

Hive具體方法DML你的操作

Hive數據查詢詳細解析

三、Spark

SparkCore:

Spark簡介

Spark開發環境搭建

彈性式數據集RDD

RDD具體用法算子求答

Spark運行模式與作業并提交

Spark累加器與廣播變量

基于組件Zookeeper壘建Spark高可用集群

SparkSQL:

DateFrame和DataSet

StructuredAPI的基本使用

SparkSQL外部數據源

Spark SQL具體用法聚合函數

SparkSQLJOIN不能操作

SparkStreaming：

SparkStreaming簡介

SparkStreaming基本操作

Spark Streaming整合Flume

SparkStreaming整合起來Kafka

四、Storm

Storm和流如何處理簡介

Storm核心概念詳解

Storm單機環境搭建

Storm集群環境搭建

Storm編程模型求答

Storm項目三種打包對比分析

Storm集成顯卡Redis詳解

Storm集成HDFS/HBase

Storm集成主板Kafka

五、Flink

Flink核心概念綜述

Flink開發環境搭建

FlinkDataSource

FlinkDataTransformation

FlinkDataSink

Flink窗口模型

Flink狀態管理與檢查點機制

FlinkStandalone集群作戰部署

六、HBase

Hbase簡介

HBase系統架構及數據結構

HBase都差不多環境搭建(Standalone/pseudo-structuredmode)

HBase集群環境搭建

HBase廣泛Shell命令

HBaseJavaAPI

HBase過濾器求答

HBase協處理器求答

HBase容災與備份

HBase的SQL中間層——Phoenix

Spring/Spring Boot整合起來Mybatis Phoenix

七、Kafka

Kafka簡介

實現Zookeeper搭建Kafka高可用集群

Kafka生產者詳細解析

Kafka消費者求答

探索再理解Kafka副本機制

八、Zookeeper

Zookeeper簡介及核心概念

Zookeeper單機環境和集群環境搭建

Zookeeper正確Shell命令

ZookeeperJava客戶端——ApacheCurator

ZookeeperACL權限控制

九、Flume

Flume簡介及基本是可以使用

Linux環境下Flume的安裝部署

Flume統一整合Kafka

十、Sqoop

Sqoop簡介與安裝好

Sqoop的基本是使用

十一、Azkaban

Azkaban簡介

Azkaban3.x代碼編譯及部署

AzkabanFlow1.0的使用

AzkabanFlow2.0的使用

十二、Scala

Scala簡介及開發環境配置

基本都數據類型和運算符

流程控制語句

數組——Array

數學集合類型綜述

具體方法集合類型之——List Set

廣泛真包含于類型之——MapTuple

類和對象

繼承和特質

函數閉包柯里化

模式不兼容

類型參數

隱式轉換和隱式參數

十三、bec內容

大數據應用廣泛發郵箱

后記

資料分享與開發工具推薦

Shell腳本得到文件夾大小？

ls-ld文件夾路徑|awk{printint($5/1024)}

或則：

du-b文件夾路徑|awk{printint($1/1024)}

跟你上面算出文件大小類似于，能得到的都是以KB為單位的大小。

如果不是要以Byte為單位，不要乘以1024也千萬不能int取整應該是了。

特別注意：Linux的ext2或ext3文件系統會給目錄分配一個inode塊（索引節點），用來記錄文件信息，所以我文件夾的大小并非很簡單地將其中文件大小累加就能換取的，還除了了這個索引節點的大小。索引節點是一個結構，它真包含了一個文件的長度、創建角色及直接修改時間、權限、隸屬關系、磁盤中的位置等信息。