mysql主主同步 Facebook用戶量十分龐大,為什么還使用MySQL數據庫?
Facebook用戶量十分龐大,為什么還使用MySQL數據庫?盡管Facebook使用MySQL,但它們并不是一成不變的使用它。 事實上,他們的團隊已經提交了許多MySQL核心和Innodb插件的高性
Facebook用戶量十分龐大,為什么還使用MySQL數據庫?
盡管Facebook使用MySQL,但它們并不是一成不變的使用它。 事實上,他們的團隊已經提交了許多MySQL核心和Innodb插件的高性能增強。 他們的主要重點是增加性能計數器到Innodb。 其他更改集中在IO子系統上,包括以下新功能:
1 innodb_io_capacity:設置服務器的IO容量以確定后臺IO的速率限制
2 innodb_read_io_threads, innodb_write_io_threads:設置后臺IO線程
3 innodb_max_merged_io:設置可能合并到一個大IO請求中的相鄰IO請求的最大數量
Facebook使用MySQL作為鍵值存儲,其中數據隨機分布在一大組邏輯實例中。 這些邏輯實例分散在物理節點之間,負載均衡在物理節點級完成。 Facebook已經開發了一個分區方案,其中全局ID被分配給所有的用戶數據。 他們也有一個自定義的歸檔方案,它基于每個用戶的頻繁和最近的數據。 大部分數據是隨機分布的。 令人驚訝的是,據傳Facebook有1800個MySQL服務器,但只有3個全職DBA
Facebook主要將MySQL用于結構化數據存儲,例如墻貼,用戶信息等。這些數據在各個數據中心之間復制。 對于blob存儲(照片,視頻等),Facebook使用一個自定義的解決方案,涉及外部的CDN和內部的NFS
同樣重要的是,Facebook大量使用Memcache,這是一種內存緩存系統,通過在RAM中緩存數據和對象來加速動態數據庫驅動的網站,以減少閱讀時間。 Memcache是Facebook的主要緩存形式,大大減少了數據庫的負載。 擁有一個緩存系統可以使Facebook的速度與調用數據一樣快。 如果不需要訪問數據庫,則只需根據用戶標識從緩存中獲取數據
所以,“Facebook使用什么數據庫”似乎是一個簡單的問題,你可以看到他們已經添加了各種其他系統,使其真正的具有網絡可擴展性。 但是,仍然可以自由地使用這樣一個觀點:“MySQL和Oracle或者MS SQL Server一樣好或者更好,因為就算只有Facebook使用它,它也有5億用戶!”
mysql表數據量太大,達到了1億多條數據,除了分庫分表之外,還有沒有其他的解決方式?
mysql在常規配置下,一般只能承受2000萬的數據量(同時讀寫,且表中有大文本字段,單臺服務器)?,F在超過1億,并不斷增加的情況下,建議如下處理:
1 分表??梢园磿r間,或按一定的規則拆分,做到查詢某一條數據庫,盡量在一個子表中即可。這是最有效的方法
2 讀寫分離。尤其是寫入,放在新表中,定期進行同步。如果其中記錄不斷有update,最好將寫的數據放在 redis中,定期同步
3 表的大文本字段分離出來,成為獨立的新表。大文本字段,可以使用NOSQL數據庫
4 優化架構,或優化SQL查詢,避免聯表查詢,盡量不要用count(*), in,遞歸等消耗性能的語句
5 用內存緩存,或在前端讀的時候,增加緩存數據庫。重復讀取時,直接從緩存中讀取。
上面是低成本的管理方法,基本幾臺服務器即可搞定,但是管理起來麻煩一些。
當然,如果整體數據量特別大的話,也不在乎投入費用的話,用集群吧,用TIDB吧