星期五, 20 6 月, 2025
No Result
View All Result
育心文具行

育心文具行

  • 首頁
  • 心得x體驗
  • 筆記x備忘
  • 閒談x雜記
  • 我的工具箱
  • 關於我
育心文具行
  • 首頁
  • 心得x體驗
  • 筆記x備忘
  • 閒談x雜記
  • 我的工具箱
  • 關於我
No Result
View All Result
育心文具行
Home 筆記x備忘

在 Mac 上,大型 CSV 檔案切割方法

使用 split 指令

2023-10-09
in 筆記x備忘
Reading Time:1 mins read
A A
0

匯出 SQL 中的資料,如果需要避免過多的指令碼,要精簡可提供給其他業務閱讀的格式,通常會使用 CSV 檔案的格式匯出,這是一種以檔案形式匯入匯出時很高效的格式,通常副檔名以「 .csv」作為檔案後綴。

但有時下載下來的 CSV 檔案格式過大,電腦記憶體不足時打不開,這時 MacOS 系統可以用命令提示字元的方式進行切割。

切割指令如下:

split [-l line_count] [-b byte_count] [-n chunk_count] [file [prefix]]

常用的指令操作範例:

split -l 100 old_file.csv new_file_

翻譯:舊檔案名稱為 old_file.csv 以每 100 行作為新檔案切割,切割檔案前綴為 new_file_ 。新檔案就會切格為 new_file_a、new_file_b ….. new_file_aa、new_file_ab … 這樣。

通常也會需要搭配把新檔案名稱後面貼上 .csv 後綴,這樣才方便交付時對方打開。可以用以下指令:

for i in $(find new_file_*); do mv $i "$i.csv"; done

其實就是 bash 指令寫在同一行,意思就是逐步調整指定的檔案前綴來添加副檔名。新檔案就會變成 new_file_a.csv、new_file_b.csv ….. new_file_aa.csv、new_file_ab.csv … 這樣。

要注意的是:

  1. 建議把檔案放在一個空的資料夾中操作。
  2. 在操作前,先計算好需要的分割新檔案大小,以及預計會產生多少檔案。太多檔案或是太大太小的分割檔案都會造成接下來的操作不易。
  3. 操作檔案必須確認是 csv 格式,不推薦 json 或是 sql 格式來做切割。也不推薦以 -b 參數作為操作,不確定一行(一筆資料)會包含多少字元,使用 -b 分割很容易切到同一行資料。

參考:

www.datablist.com
Split big CSV file using Linux or Mac OS Terminal - Datablist
You have a very big CSV file, and you want to split it into several files of n lines. Smaller files let you open them with CSV editors without reaching their limits. If ...
Tags: csv 切割MACmacosslipt
Share22Tweet14
Previous Post

記錄自己對於意志力的看法

Next Post

《自慢10:18項修練》第三部讀書心得

Related Posts

筆記x備忘

Mac 使用 Nodejs 的管理工具 n 來切換版本

Nodejs 在前端應用越來越廣泛,有時...

2024-08-19
100
筆記x備忘

解決 Sublime text 4 上 Package Control 無法使用的問題

自從開始使用 Mac 時,Sublime...

2024-03-13
100
筆記x備忘

解決 Android Studio 在 Mac 無法輸入中文的問題

在一次更新 Android Studio...

2024-02-25
100
筆記x備忘

MacOS 使用 Apache JMester 來做壓力測試

之前有一篇使用 ApacheBench ...

2023-10-20
100
筆記x備忘

PHP 源碼掃描實作,使用 SonarQube

PHP 的原始碼弱點掃描實作,這邊使用 ...

2023-11-27
100
筆記x備忘

一些關於 iMessage 的注意事項

iMessage 是 Apple 提供有...

2021-06-05
100
Load More
Next Post

《自慢10:18項修練》第三部讀書心得

《自慢10:18項修練》第四部讀書心得

PHP Codeigniter 4 框架速度優化

全站搜尋

No Result
View All Result

關於我

育心文具行

Jerry Lin

程式設計師

育心文具行是一家文具店,老闆的小兒子是一個設計師,職業是設計程式,興趣是設計人,倒是還沒有實作的機會。
--
所有的相遇都不是巧合。
在廣告公司待了三年有兩年多在做內容產品,離職後繼續在內容產業走了四年多,最後選則離開台灣的公司體制在家 SOHO ,碰上了 2020 年疫情才知道原來自己這是走在時代的潮流尖端。 感謝許多老闆和貴人相助,至今目前尚能存活,在台北街頭努力著。

近期文章

  • 於 MacOS 中,整合自然語言,自動化添加行事曆事件
  • 使用 deepwiki-open 針對程式碼產生 WIKI
  • 使用 Tailwind CLI 快速建立靜態 CSS 檔的基本步驟
  • Visual Studio Code 的 PHP CS Fixer 設定
  • MacOS 添加本地伺服器的 DNS

分類

  • 心得x體驗 (45)
  • 筆記x備忘 (77)
  • 閒談x雜記 (13)

贊助買咖啡

Facebook Instagram RSS

標籤

ai android cloudflare flutter git ios javascript linode linux MAC macos mis nginx php plugin QBQ!問題背後的問題 server work sublime sublime text vps vue.js vue3 What if What If? 如果這樣,會怎樣? wordpress 前端 原則 原子習慣 團隊,從傳球開始 團隊,從傳球開始:五百年都難以超越的 UCLA 傳奇教練伍登培養優越人才和團隊的領導心法 壓力測試 外掛 如果這樣,會怎樣?:胡思亂想的搞怪趣問 正經認真的科學妙答 心得 情緒 活動心得 灰階思考 約翰‧漢尼斯 股癌 自慢10 自慢10:18項修練 記錄 謝孟恭 讀書心得 這一生,你想留下什麼?

文章分類

  • 心得x體驗 (45)
  • 筆記x備忘 (77)
  • 閒談x雜記 (13)

近期文章

  • 於 MacOS 中,整合自然語言,自動化添加行事曆事件
  • 使用 deepwiki-open 針對程式碼產生 WIKI
  • 使用 Tailwind CLI 快速建立靜態 CSS 檔的基本步驟
  • Visual Studio Code 的 PHP CS Fixer 設定
  • MacOS 添加本地伺服器的 DNS

近期留言

  • 「Bolin Lai」於〈WordPress 之中藍新金流開啟後, Elementor 外掛有時會打不開的問題處理〉發佈留言
  • 「Jerry Lin」於〈WordPress 之中藍新金流開啟後, Elementor 外掛有時會打不開的問題處理〉發佈留言
  • 「JCL」於〈WordPress 之中藍新金流開啟後, Elementor 外掛有時會打不開的問題處理〉發佈留言

文章月曆

2025 年 6 月
日 一 二 三 四 五 六
1234567
891011121314
15161718192021
22232425262728
2930  
« 5 月    

© 2020 hipster.crazyjerry.studio - a blog about experience, notes and nonsense, by Jerry Lin.

No Result
View All Result
  • 首頁
  • 心得x體驗
  • 筆記x備忘
  • 閒談x雜記
  • 我的工具箱
  • 關於我

© 2020 hipster.crazyjerry.studio - a blog about experience, notes and nonsense, by Jerry Lin.