2021年6月17日 星期四

Power Query_00處理200萬筆資料

             Power Query在處理資料量基本上是沒限制,可以輕易處理上億筆資料,但電腦的配備最好強一點,如果要將資料轉到Excel還是會受限excel本身能顯示的資料列數1,048,576,如果是將資料以樞紐分析方式呈現,那就能輕易分析超過1,048,576筆資料。

         下面以期交所2020年的選擇權資料做示範,因為手上資料沒有超過100萬筆資料,所以用期交所資料做示範,以我的這台電腦彙整超過200萬筆資料,重新整理更新資料約2分鐘。(我的電腦算5年前規格不高,最近將記憶體更新8G)

         office 365版本比公司 中小企業版2016的Power Query功能多了不少,就學習國外網站例子,發現Power Query越新版本有些Code不支援舊版本(這是有些困擾...)。



1.選取資料夾


Power Query 選取資料夾_365版本
Power Query 選取資料夾_365版本



2.選取所有檔案


Power Query 選取資料夾_合併所有檔案_365版本
Power Query 選取資料夾_合併所有檔案_365版本


3.合併時會顯示範例檔案格式


Power Query 檔案範例_365版本
Power Query 檔案範例_365版本

4.確認一下資料量共240萬筆


Power Query 統計檔案資料量_365版本
Power Query 統計檔案資料量_365版本

沒有留言:

張貼留言

用GPT修改M語法_以日期列處理

在2023年GPT開始使用時我就詢問過GPT,可能當時的GPT還不夠聰明,給予的答案無法運行,我認為原始的語法應該可以更聰明點,詢問過Power BI社群的人,但沒有人提供答案,終於在現在再度詢問GPT給予的答案與我思考的方向依樣,只是我懂得語法不多,透過GPT幫忙解答,我也學到...