注意: 雖然 JavaScript 不是本網站的必要組成部分,但您與內容的互動將受到限制。請開啟 JavaScript 以獲得完整體驗。

使用開放資料和 Python 拯救世界

政策方面

雖然對於一些開發者來說,開放資料似乎已經存在很久了,而且我們可能不再需要談論它了,但重要的是要記住為什麼人們熱衷於推動開放資料。

當建立和推廣開放資料標準時,重要的是要思考為什麼 - 這試圖推動什麼改變? 人們將利用這些資料做什麼,而以前他們做不到?

例如,開放合同資料標準公開了政府將服務和專案外包給私營公司的詳細資訊。 它使資料可用並嘗試幫助人們實際使用它。 透過這樣做,目的是根除腐敗、向更多投標人開放流程、提高效率併為政府節省資金。

在開放資料服務機構,我們致力於許多標準 - 例如,受益所有權資料標準公開了在世界各地擁有、控制或受益於公司的最終人員的資料。 隨著越來越多的國家試圖減少避稅,這些資料真的很有幫助。

這也是我們工作的一部分 - 我們與客戶合作制定他們的政策目標,並確保他們制定的開放資料標準與他們的政策目標相匹配並在此基礎上構建。

這就是我們如何聲稱我們的工作正在拯救世界的原因 - 當我們看到像烏克蘭的 ProZorro 使用開放合同資料打擊腐敗併為其政府節省了 12 億英鎊這樣的人時,我們感到非常高興。

Python 方面

我們使用 Python 作為我們的首選工具; 從在帶有 Google Colab 筆記本的 Jupyter 中進行分析到完整的 Sphinx 網站和電子表格。 等等,電子表格?

是的 - 花一些時間在開放資料的世界中,您很快就會發現人們喜歡他們的電子表格。 雖然一些開發人員現在會翻白眼,但重要的是要記住,對於某些人來說,電子表格是一個非常強大的工具,使他們能夠完成出色的資料工作,否則他們將無法完成。

因此,我們必須接受這一點,這導致我們釋出為開源的 Python 工具之一 - Flatten Tool

Flatten Tool 獲取 JSON 資料檔案,並生成其內容的電子表格。 當然,JSON 資料檔案可能不是平面結構,可能在列表中包含列表等等 - 我們透過在 Excel 檔案中生成多個工作表或生成多個 CSV 檔案來處理這種情況。

Flatten Tool 還接受一組電子表格並生成資料的 JSON 檔案。 如果您有描述您的標準的 JSON Schema 檔案,這將有所幫助。 最後,我們還可以使用 JSON Schema 檔案生成一組電子表格模板。

這使得人們可以輕鬆地使用他們喜歡的工具 - 電子表格 - 而且我們仍然可以輕鬆地處理資料,無論是傳送資料還是處理他們的資料。

感謝 Python 的 PyPi 和 pip,我們將其作為庫包含在我們所做的其他專案中。 我們為我們工作的資料標準制作網站,人們可以在其中上傳一些資料 - 以其官方 JSON 標準格式或以電子表格的形式 - 我們將獲取資料,分析它並突出顯示資料的問題和統計資料。 我們還提供轉換 - 因此您可以上傳電子表格,如果它很好,您可以下載正確格式的 JSON 檔案。

感謝 Python!

在開放資料服務機構,我們的一些成員*是開發人員,一些是分析師 - 但即使我們的分析師也非常技術,並且能夠深入瞭解我們開發人員的問題的本質。 我們毫不懷疑,受歡迎的 Python 語言和生態系統對此有所幫助 - 感謝 Python!

  • 成員? 我們也是一個工人合作社 - 但那是另一個故事了!