有品

摘要： - 這兩周從聽 #縱橫四海 播客 #刻意練習 和筆記的力量開始逐漸關注到雙鏈筆記, 其實最早在聽ByteTalk的時候就有聽到一期嘉賓介紹到一款雙鏈筆記 #logseq . 其實給我印象最深的是刻意練習中關于對學習的講解, 其中提到刻意練習最重要的幾部分: chunk 和 link. 而雙鏈筆記 最 閱讀全文

摘要： 類型有什么作用, 類型可以提供編譯期檢查, 避免到運行期才報錯. # 類型 首先Flink中自己定義了一套類型, 有`LogicalType`和`DataType`兩個表示 ## LogicalType `LogicalType`表示的邏輯類型, 并不涉及類型的物理表示, 會包含nullable屬性 閱讀全文

摘要： # 二叉堆 二叉堆具有兩個性質, 結構性和排序性. ## 結構性質 堆是一棵除了底層以外都被完全填滿的二叉樹, 叫做完全二叉樹, 而最底層從左到右都是滿的, 右側允許有空缺 ![image.png](https://cdn.nlark.com/yuque/0/2023/png/492896/1690 閱讀全文

摘要： # 機制 鏈表中查詢的效率的復雜度是O(n), 有沒有辦法提升這個查詢復雜度呢? 最簡單的想法就是在原始的鏈表上構建多層索引. ![image.png](https://img2023.cnblogs.com/blog/697236/202307/697236-20230723151642781-1 閱讀全文

摘要： 在Delta Lake官網上提到的一篇新一代湖倉架構的論文. ![image.png](https://cdn.nlark.com/yuque/0/2023/png/492896/1689406041936-82416672-e4d8-46db-9742-19b4a283b7f4.png#avera 閱讀全文

摘要： 論文發表于 2020年, 研究數據湖產品的很好的學習資料. # 概要 開篇很明確的表明了為什么要做Delta lake這樣一個產品. Databricks嘗試將數據倉庫直接架在云上對象存儲之上, 這種嘗試的過程中遇到了對象存儲的一些問題, 為了解決這些問題, 提出了Delta lake這套技術方案. 閱讀全文

摘要： Compact主要涉及以下幾個組件 CompactManager 管理Compact task CompactRewriter 用于compact過程中數據的重寫實現, 比如compact過程中產生changelog等 CompactStrategy 決定哪些文件需要被compact Append 閱讀全文

摘要： # 查詢模式 先來看看官網關于Paimon查詢模式的說明  ![image.png](https:/ 閱讀全文

摘要： > 基于Paimon 0.5版本 寫入流程的構建`org.apache.paimon.flink.sink.FlinkSinkBuilder#build` 算子的流向 BucketingStreamPartitioner 分區 -> RowDataStoreWriteOperator 寫入 -> C 閱讀全文

摘要： sql2rel的過程是將SqlNode 轉化成RelNode的過程 在 `SqlToRelConverterTest`中添加樣例測試 ```java @Test void testScan() { String sql = "SELECT * FROM EMP WHERE empno When va 閱讀全文