不斷演變的自然場景展示開源設(shè)計(jì)

描述

在這個項(xiàng)目中，我們將創(chuàng)建一個很酷的小飾品，您可以將其放在辦公桌上，展示由神經(jīng)網(wǎng)絡(luò)創(chuàng)建的不斷變化的自然場景。該設(shè)備除了娛樂之外沒有任何實(shí)用價(jià)值，但這是一個偉大項(xiàng)目的基礎(chǔ)！

成品

?

該系統(tǒng)的基礎(chǔ)是生成對抗網(wǎng)絡(luò) (GAN)，我在數(shù)千張自然圖像上進(jìn)行了訓(xùn)練，包括沙漠、山脈、日落等。GAN 是一種神經(jīng)網(wǎng)絡(luò)，旨在輸出與他們接受了培訓(xùn)。通過隨著時間的推移稍微改變 GAN 的輸入，您可以誘使它產(chǎn)生不斷變化的自然景觀。訓(xùn)練 GAN 不在此構(gòu)建的范圍內(nèi)；我們將使用我創(chuàng)建的成品來制作一些很酷的東西，你可以把它放在你的桌子上。

這種“不斷發(fā)展”的景觀最好不要被描述。請查看下面的 以了解您將看到的示例。

為了顯示 GAN 輸出的圖像，我們將使用DFRobot 的大型 LCD 顯示器。該屏幕可以直接與 Raspberry Pi 4 集成，這使得該項(xiàng)目的啟動和運(yùn)行變得非常容易。Raspberry Pi 4 是一款功能非常強(qiáng)大的板，可以使用此 GAN 以相對較高的幀速率創(chuàng)建圖像。憑借四個核心和大量 RAM，我創(chuàng)建的 GAN 的 TensorFlow 實(shí)現(xiàn)速度驚人。

第 1 步：Pi 設(shè)置

?

首先，我們將使用運(yùn)行此項(xiàng)目所需的軟件設(shè)置您的 Pi。我建議安裝新版本的 32 位 Raspberry Pi OS Lite（無桌面環(huán)境），以便我們以相同的系統(tǒng)狀態(tài)開始，但如果您的 Pi 上已經(jīng)有其他東西，它可能會工作。

首先在 Python 3 虛擬環(huán)境中安裝 TensorFlow。接下來，通過 pip 安裝 OpenCV pip install opencv-python。python通過在終端窗口中鍵入來啟動 Python shell ，然后在出現(xiàn)的提示符處嘗試鍵入import cv2. 根據(jù)您的操作系統(tǒng)安裝，您可能會收到錯誤消息，如library x not found.如果發(fā)生這種情況，您可以安裝缺少的庫sudo apt-get install x-dev（其中 x 是缺少的庫的名稱）。

接下來，您將需要一個窗口管理器來顯示 GAN 生成的圖像。通過“GUI 應(yīng)用程序的最小環(huán)境”按照此處的說明進(jìn)行操作。現(xiàn)在一切都應(yīng)該設(shè)置好了！

第 2 步：代碼

您可以在這個 git 存儲庫中獲取該項(xiàng)目所需的所有代碼。將存儲庫克隆到 Raspberry Pi 上的主文件夾以開始使用。我將 GAN 模型存儲在 Git 大文件存儲 (LFS) 中，因?yàn)樵撃Ｐ统^了 GitHub 的最大文件大小。使用這些說明在您的 Pi 上安裝 Git LFS ，然后運(yùn)行git lfs install。您現(xiàn)在可以在項(xiàng)目目錄中導(dǎo)航，然后運(yùn)行git lfs pull以引入模型。

運(yùn)行一切的主文件是 display1.py。代碼相當(dāng)簡單——它初始化 GAN 生成器模型，創(chuàng)建一個隨機(jī)種子作為起點(diǎn)，并以小增量不斷更新種子，并以 CPU 可以計(jì)算的速度生成新圖像。您可以通過增加或減少行中的系數(shù)來修改場景的變化量seed = seed+changes*0.02。

第 3 步：運(yùn)行代碼

?

將您的 Pi 擰入顯示器，然后使用短帶狀電纜將顯示器連接到 Pi，如上圖所示。當(dāng)您打開 Pi 電源時，顯示屏應(yīng)顯示 Pi 的啟動過程，并最終自動登錄到新的終端會話。

首先從另一臺機(jī)器通過 SSH 連接到 Pi。

如果您還不熟悉 Unix 工具“screen”，那么您應(yīng)該熟悉！Screen 允許您在后臺保持多個進(jìn)程交互運(yùn)行，這恰好非常適合運(yùn)行顯示生成的圖像所需的 X 服務(wù)器。使用 安裝屏幕sudo apt install screen，然后screen在命令行中鍵入。應(yīng)該會出現(xiàn)一個新的終端。您在此處運(yùn)行的任何進(jìn)程都可以斷開連接，它將繼續(xù)在后臺運(yùn)行。我們想在后臺運(yùn)行 X11 服務(wù)器，所以我們可以使用 screen。鍵入startx，X 服務(wù)器應(yīng)該初始化。

Control-A通過鍵入then斷開與此屏幕的連接D。您現(xiàn)在應(yīng)該已經(jīng)返回到您開始時的 shell 提示符。我們現(xiàn)在已經(jīng)準(zhǔn)備好運(yùn)行 Python 腳本了！仍然從 ssh 提示符輸入DISPLAY=:0 python display1.py. 該DISPLAY=:0部分告訴 Pi 在連接到 Pi 的顯示器上顯示 OpenCV 窗口，而不是通過 ssh。

如果一切順利，您現(xiàn)在應(yīng)該會在您的 Pi 上看到一個自然的圖像，該圖像會時常變化。您使用的 Raspberry Pi 型號將影響生成新圖像的速度。較舊的 Pi 有一個或兩個內(nèi)核，因此更新可能需要一秒鐘以上的時間。在我的 Raspberry Pi 4 上，該腳本每半秒左右生成一次新圖像。

第 4 步：繼續(xù)前進(jìn)

正如您可能想象的那樣，您可以訓(xùn)練 GAN 來產(chǎn)生幾乎任何東西！您可以制作一張不斷變形的臉、外太空的圖像，甚至是水果，而不是展示自然的圖像。我將很快推出另一個項(xiàng)目，描述我如何收集訓(xùn)練數(shù)據(jù)（即圖像）以及我如何實(shí)際訓(xùn)練 GAN 本身。同時，您可以通過TensorFlow 的教程等資源了解有關(guān) GAN 的更多信息。