kafka的分區可以增加或減少？Kafka在用磁盤分區將topic的消息攪碎到多個分區分布保存到在有所不同的broker上，基于了producer和consumer消息去處理的高吞吐量。Kafka的p

kafka的分區可以增加或減少？

Kafka在用磁盤分區將topic的消息攪碎到多個分區分布保存到在有所不同的broker上，基于了producer和consumer消息去處理的高吞吐量。

Kafka的producer和consumer都也可以多線程地聯成一體操作，而每個線程全面處理的是一個分區的數據。所以分區實際上是調優Kafka并行度的大于單元。

這對producer而言，它雖然是用多個線程并發地向差別分區原先的broker發起Socket直接連接同時給這些分區發送的消息；而consumer，同一個消費組內的所有consumer線程都被指定你topic的某一個硬盤分區進行消費。

學習大數據難嗎？

在學習之前，簡單確定的并非難不是很難，只不過是肯定咋把英語學好的問題。學習大數據給幾點建議：

1.重要完全掌握大數據體系的架構和原理，比如說：分布式存儲和算出的思想

2.大數據框架的體系，例如：hadoop，spark等等

3.多嘗試著做實驗，也多問問看有經驗的人。

只需有信心，而且一定要堅持，當然是可以想學好。

kafka為什么適合日志處理？

Kafka天生為吞吐量而設計什么的，kafka集群中topic在是有數量的情況下哪怕會有洗技能寫，但磁盤的利用率高于500rocketmq；消息發送端按結構雙端隊列，消息發送中完全天然支持批處理；在我們公司投入到6臺256G，32C，8T的SSDkafka集群的吞吐量3百多萬TPS，而rocketmq只有幾十萬TPS

kafka的分片數怎么確定？

分區數Tt/max(Tp,Tc)

Tp來表示producer的吞吐量。測試producer常見是非常容易的，只不過它的邏輯更加很簡單，那就是就接受消息到Kafka就再說。Tc可以表示consumer的吞吐量。測試Tc通常與應用的關系更大，是因為Tc的值取決于它你搞到消息之后不能執行什么操作，因此Tc的測試大多數也要麻煩一些。總的目標吞吐量是Tt

Kafka，Mq和Redis作為消息隊列使用時的差異有哪些？

Kafka充當第2代的消息系統，mq是都很能成熟消息系統，而redis也也可以查找訂閱，這樣的話這三者試述？

RabbitMQ是使用Erlang匯編語言的一個開源的消息隊列，本身支持什么很多的協議：AMQP，XMPP,SMTP,STOMP，也正是如此，使的它變的非常超級重量級，更比較適合于企業級的開發。同時利用了一個經紀人(Broker)構架，這意味著消息在發送給客戶端時先在中門口排隊。對路由(Routing)，負載均衡(Loadbalance)或是數據自然持久化都是很好的支持。

Redis是一個Key-Value的NoSQL數據庫，開發程序維護很異常活躍，可是它是一個Key-Value數據庫存儲系統，但它本身接受MQ功能，因為完全是可以只不過是一個輕量級的隊列服務來不使用。是對RabbitMQ和Redis的入隊和出隊操作，各不能執行100萬次，每10萬次記錄兩次負責執行時間。測試數據統稱128Bytes、512Bytes、1K和10K四個差別大小的數據。實驗表明：入隊時，當數據比較好小時Redis的性能要低于RabbitMQ，而如果數據大小將近了10K，Redis則慢的不能不能忍受；出隊時，無論數據大小，Redis都表現出出非常好的性能，而RabbitMQ的出隊性能則遠低于Redis。

KafkaKafka是Apache下的一個子項目，是一個集高性能跨語言分布式Publish/Subscribe消息隊列系統，而Jafka是在Kafka之上孵化而來的，即Kafka的一個升級版。本身以下特性：飛快自然持久化，可以不在O(1)的系統開銷下參與消息不易脫妝化；高吞吐，在一臺普通的服務器上既可以至少10W/s的吞吐速率；已經的分布式系統，Broker、Producer、Consumer都原生自動啟動接受分布式，不自動實現方法急切均衡；意見Hadoop數據分頭并進加載，是對像Hadoop的一樣的日志數據和離線分析系統，但又具體的要求動態實時一次性處理的限制，這是一個看似可行的解決方案。Kafka通過Hadoop的并行加載機制來統一了在線和離線模式的消息處理，這一點也本課題所研究系統所看重的。ApacheKafka對于ActiveMQ是一個太古爾科夫的消息系統，以外性能更加好之外，那就一個工作良好的道德的分布式系統。

差別不大MQ與Kafka1)在架構模型方面

RabbitMQ按照AMQP協議，RabbitMQ的broker由Exchange,Binding,queue排成，其中exchange和binding橫列了消息的路由鍵；客戶端Producer實際連接channel和server通過通信，Consumer從queue聲望兌換消息并且消費（長連接上，queue有消息會推送回consumer端，consumer非循環從再輸入流讀取數據）。rabbitMQ以broker為中心；有消息的確認機制。

kafka恪遵象的MQ結構，producer，broker，consumer，以consumer為中心，消息的消費信息需要保存的客戶端consumer上，consumer據銷費的點，從broker上批量pull數據；無消息去確認機制。

2)在吞吐量

kafka本身高的吞吐量，內部按結構消息的批量處理，zero-全部復制機制，數據的存儲和某些是本地磁盤順序批量操作，具備O(1)的緊張度，消息如何處理的效率很高。

rabbitMQ在吞吐量方面稍遜于kafka，他們的出發點都一樣，rabbitMQ接受對消息的可信的傳遞，意見事務，不允許批量的操作；基于組件存儲的可靠性的要求存儲可以不常規內存的或硬盤。

3)在可用性方面，

rabbitMQ支持miror的queue，主queue終止，mirorqueue接管。