久久精品亚洲综合一品|国产精品福利片免费看|国产精品青青青高清在线|亚洲一级大尺码毛片专区|国产精品99精品久久免费|91精品人人槡人妻人人玩|日韩精品久久久久久久久久欠|91福利精品老师国产自产在线

        第六周-大數(shù)據(jù)學(xué)習(xí)班,深圳模具廠,模塑科技

        2019-10-20 09:12:26

        回顧第5周  , 上周的 Hbase 軟件, 盧老師提供過百度云盤的記錄。   或者自己下載。

        image.png


        image.png



        Hbase  增刪改查 的 操作;

        image.png


        image.png

        image.png

        image.png

        image.png


        image.png


        image.png


        image.png

              image.png

             多種類型可以混合應(yīng)用


             image.png

        可以增加邏輯判斷和計(jì)算, 在條件中, 這是  scala 的強(qiáng)大之處。


        image.png

        image.png

        image.png


        這種是遞歸的函數(shù), 也就是函數(shù)中調(diào)用了自己本身的函數(shù)


        image.png


        image.png


             image.png


            image.png

          image.png

        變長數(shù)組,定長數(shù)組, 可變數(shù)組,  可以相互轉(zhuǎn)化。


        image.png

        reverse  , 這個(gè)是  取反 的意思,  也就是倒序。

        image.png

        %2  取模 , 也就是去偶數(shù)


        image.png


        .min 是進(jìn)行取小。 



        image.png

        映射,必須有鍵值對,有K 有 V,   對鍵值對的調(diào)換、


        Scala 主要是計(jì)算  文本搜索統(tǒng)計(jì)中, 得到的統(tǒng)計(jì)結(jié)果, 

        MAP 映射相關(guān)的操作。


        1、壓平, 

        2、鍵值對,

        3、統(tǒng)計(jì),

        4、鍵值對調(diào)換,

        5、在進(jìn)行排序,

        6、再次統(tǒng)計(jì)。


        定義元組 

        image.png

        這個(gè)元組, 也就是一個(gè)容器, 可以對他取值。

        image.png  這就是結(jié)果。   


        parton 用的很多,  


        image.png

        image.png

        image.png


        =JaVa 中的重載


        image.png

        這些就是   SCALA 的 類的運(yùn)用 


        image.png


        image.png


        image.png

        image.png


        image.png


        image.png



        image.png




        上周  Hbase  和  Scala的復(fù)習(xí)


        接下來講    kafaka     再講    zookeppr


        -------------------------------------------------------------------------------------------------------------------------------------------------

        image.png


        KAFAKA   ,首先要了解  KAFAKA 的如下內(nèi)容

        image.png


        產(chǎn)生的背景, 一個(gè)分布式的發(fā)布以及訂閱的消息系統(tǒng),她最初由  linkdin 開發(fā)的, 

        使用   scala 語音書寫的。  最終成為 Apache項(xiàng)目的一部分,可劃分, 多訂閱者

        image.png


        image.png



        image.png

        舉例說明:   灑水車是  kafaka  裝水就是 生產(chǎn) ,     灑水就是消費(fèi)的過程。

        灌水的速度 和 灑水的速度是多少?    就是消息





        image.png



        -----------------下午開始學(xué)習(xí)   KAFAKA  


          image.png

        parttion  有序列號, 可以并行處理更多的數(shù)據(jù), 每個(gè)消息都有ID , 也叫 offset 。


          image.png

        image.png





        image.png

        image.png



        image.png



        image.png




        image.png


        image.png

        image.png

        image.png

        image.png

        image.png





        image.png

        image.png

                     image.png



        image.png


        image.png

        一個(gè)生產(chǎn)交易系統(tǒng),  每天產(chǎn)生 1億的訂單量 , (分布在很多?。?nbsp; ,  需要全國的銷量監(jiān)控,  以及各個(gè)省份的, 

        匯總到北京, 可以做到, 各個(gè)省份的排名, 


        1、 實(shí)際放入 的數(shù)據(jù), 是實(shí)時(shí)產(chǎn)生的, 并不是同時(shí)產(chǎn)生的, 所以輸入到 KAFKA 中, 然后由 Spark 取出來計(jì)算出來。

              具體的接口


        2、統(tǒng)計(jì)第一步,  第二步, 預(yù)測 , 學(xué)習(xí),  挖掘 。   甚至可以人臉識別。 

        image.png

          


        image.png


        image.png

        image.png

        image.png


        image.png







        image.png

        image.png


        image.png


        image.png


        image.png


        image.png


        KaFKa 的 Message  , 也就是把 Message  。    下周講      10-13  上課 。









        Hbase  是No SQL數(shù)據(jù)庫 ,  



        深圳塑膠模具廠,深圳市模具廠,深圳模具廠,深圳模具,深圳塑膠模具
        首頁
        產(chǎn)品
        新聞
        聯(lián)系
        鸡泽县| 九台市| 宜都市| 昌图县| 仁化县| 盘锦市| 娱乐| 霍邱县| 武宁县| 泸水县| 海原县| 阿巴嘎旗| 桃源县| 卢湾区| 军事| 湛江市| 来宾市| 且末县| 霍林郭勒市| 乐东| 荔浦县| 金乡县| 石河子市| 宜良县| 乌兰县| 新龙县| 桦南县| 搜索| 杭锦后旗| 龙口市| 桑植县| 攀枝花市| 长治县| 华阴市| 綦江县| 鹰潭市| 繁昌县| 奉新县| 西峡县| 手机| 汝州市|