SparkSQL對于批流支持的特性及批流一體化支持框架的難點
二、基于SparkSQL－Flow的
分析框架
何為 SparkSQL－Flow
1．一個由普元技術(shù)部提供的基于 SparkSQL 的開發(fā)模型；
2．一個可二次定制開發(fā)的大數(shù)據(jù)開發(fā)框架，提供了靈活的可擴展 API；
3．一個提供了 對文件，數(shù)據(jù)庫，NoSQL、流處理等統(tǒng)一的數(shù)據(jù)開發(fā)模式；
4．基于 SQL 的開發(fā)語言和 XML 的模板配置，支持 SparkSQL UDF 的擴展管理；
5．支持基于 Spark Standlone，Yarn，Mesos 資源管理平臺；
6．支持多種平臺Kerberos認證（開源、華為、星環(huán)）等平臺統(tǒng)一認證；
SparkSQL Flow XML 概覽
用戶只需要定義 Source，Transformer，Target 幾個核心組件：
1．Source 數(shù)據(jù)源：支持Data、DB、File、NoSQL、MQ 等眾多源；
2．Transformer 為上述定義的數(shù)據(jù)源和已有的Transformer 間的組合操作，一般為SQL；
3．Target 為輸出目標，支持show、DB、File、NoSQL、MQ 等眾多目標，支持類型基本和源相同；
4．用戶可以在Properties定義一些變量，作為Source／Transformer／Target 的宏替換；
SparkSQL Flow 適合的場景
1．批量 ETL；
2．非實時分析服務(wù)；
3．流式 ETL；
支持從多種獲得數(shù)據(jù)源：
1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile
2．大數(shù)據(jù)：Hive、HDFS
3．支持RDBMS數(shù)據(jù)庫：PostgreSQL、 MySQL、Oracle
4．支持 NOSQL 數(shù)據(jù)庫：Hbase、MongoDB、Redis
5．Streaming：JMS、AMQP、Kafka、Socket
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
-
9 每日AI全球觀察
- 1 特斯拉工人被故障機器人打成重傷，索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后，張一鳴終于把算法公司變成AI公司？
- 3 AI 時代，阿里云想當“安卓” ，那誰是“蘋果”？
- 4 拐點已至！匯川領(lǐng)跑工控、埃斯頓份額第一、新時達海爾賦能扭虧為盈
- 5 硬剛英偉達！華為發(fā)布全球最強算力超節(jié)點和集群
- 6 隱退4年后，張一鳴久違現(xiàn)身！互聯(lián)網(wǎng)大佬正集體殺回
- 7 00后華裔女生靠兩部AI電影狂賺7.8億人民幣，AI正式進軍好萊塢
- 8 谷歌“香蕉”爆火啟示：國產(chǎn)垂類AI的危機還是轉(zhuǎn)機？
- 9 機器人9月大事件｜3家國產(chǎn)機器人沖刺IPO，行業(yè)交付與融資再創(chuàng)新高！
- 10 美光：AI Capex瘋投不止，終于要拉起存儲超級周期了？
- 生產(chǎn)部總監(jiān) 廣東省/廣州市
- 資深管理人員 廣東省/江門市
- Regional Sales Manager 廣東省/深圳市
- 銷售總監(jiān) 廣東省/深圳市
- 結(jié)構(gòu)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 自動化高級工程師 廣東省/深圳市
- 技術(shù)專家 廣東省/江門市
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 封裝工程師 北京市/海淀區(qū)
