Bumuo ng iyong sariling bahay sa google gamit ang isang raspberry pi

Naisip mo ba ang tungkol sa isang nagsasalita na maaaring makontrol ng iyong boses !!! Oo, ang Amazon Echo ay ang isa sa pinakatanyag na Speaker na kinokontrol ng boses, ngunit sa kumpetisyon dito ang Google Home ay nagiging popular din. Ang mga tumutulong sa boses ay nagiging mas tanyag habang papunta kami sa isang panahon ng mga sistemang batay sa AI. Narinig mo ang tungkol sa Google Assistant, Apple Siri at Amazon Alexa. Ang lahat ng ito ay mga system na batay sa Boses ng AI, kung ano ang pinagkaiba sa bawat isa ay ang kanilang mga ecosystem, at dito mas pinangangasiwaan ng Google Assistant. Ang Google, Apple at Amazon, lahat ng mga kumpanyang ito ay naglunsad na ng kanilang mga smart speaker. Magagamit din sa merkado ang mga smart speaker ng Google. Saklaw na namin ang Raspberry Pi batay sa Amazon Echo, sa pagkakataong ito ay gagawin naming Raspberry Pi na isang Google Home Speaker.

Nagbibigay ang Google ng API para sa paggamit ng serbisyong boses nito, na bukas na mapagkukunan at magagamit sa Github. Gamit ang serbisyo sa boses ng Google, maaari kaming tumugtog ng musika, makakuha ng impormasyon tungkol sa panahon, mga tiket sa libro at marami pa. Ang kailangan mo lang gawin ay Itanong. Sa tutorial na ito, tingnan natin kung paano bumuo ng isang boses na kinokontrol na boses gamit ang Google assistant at Raspberry Pi.

Mga Kinakailangan sa Hardware

Raspberry Pi 3 o Raspberry Pi 2 Model B at SD card (8GB o higit pa)
Panlabas na Speaker na may 3.5mm AUX cable
Anumang Webcam o USB 2.0 Mikropono

Ipinapalagay din namin na ang iyong Raspberry pi ay na-set up na sa isang Raspbian OS at nakakonekta sa internet. Sa mga ito sa lugar magpatuloy tayo sa tutorial. Kung bago ka sa Raspberry Pi pagkatapos ay dumaan sa Pagsisimula muna sa Raspberry pi.

Tandaan: Ang Webcam ay may nakapaloob na mikropono kaya, gagamitin namin ito bilang kapalit ng USB 2.0 microphone.

Kailangan mo rin ng isang keyboard, mouse at isang monitor upang ikonekta ang raspberry pi gamit ang HDMI cable.

Sinusuri ang Webcam Mic gamit ang Raspberry Pi:

1. Buksan ang terminal ng Raspberry Pi at i-type ang arecord -l utos. Ipapakita nito ang mga aparato sa hardware na konektado sa Raspberry Pi tulad ng ipinakita sa ibaba:

Ang Card 1 ay ang mic ng iyong webcam na gagamitin namin. Kung hindi ito ipinakita, maaaring may depekto ang iyong webcam.

2. Ngayon, suriin kung gumagana ang mic sa pamamagitan ng pagpapatakbo ng record audio command bilang:

arecord /home/pi/Desktop/test.wav -D sysdefault: CARD = 1

3. Upang patugtugin ang naitala na audio uri ng utos na ito:

omxplayer -p -o local /home/pi/Desktop/test.wav

Kung nakakonekta ka sa Raspberry Pi sa monitor gamit ang HDMI cable pagkatapos sa pamamagitan ng default na audio output ay sa pamamagitan ng speaker ng iyong monitor (kung mayroong inbuilt speaker dito). Kaya, upang baguhin ito sa 3.5mm kailangan mong i-type ang sumusunod na utos:

sudo raspi-config at pumunta sa Advance na pagpipilian.

Piliin ang Audio mula sa listahan -> piliin ang Force 3.5mm -> piliin ang Ok at I-restart mo ang Raspberry Pi.

Ngayon, dapat mong marinig ang tunog mula sa 3.5mm jack.

TANDAAN: Kung nais mong taasan o bawasan ang lakas ng input ng boses para sa mikropono ang uri ng alsamixer sa terminal. Piliin ang sound card mula sa terminal sa pamamagitan ng pagpindot sa F6.

Pindutin ang F4 upang baguhin ang nakuha ng Mic dB at itakda ito ayon sa gusto mo.

Kung mayroon kang USB 2.0 microphone pagkatapos sundin ang mga hakbang ay pareho upang suriin ang mikropono. Dito nagamit namin ang Webcam para sa USB microcphone.

Pagse-set up ng Google API para sa Raspberry Pi Google Assistant

1. Una, kailangan naming magparehistro at mag-set up ng isang proyekto sa dashboard ng Mga Konsol ng Google.

2. Matapos mag-log in sa iyong Google account, makikita mo ang sumusunod na window.

Mag-click sa Magdagdag / Mag-import ng Proyekto .

3. Sa susunod na screen, kailangan mong ipasok ang Pangalan ng Proyekto at mag-click sa Lumikha ng Proyekto .

4. Ngayon, pumunta sa console ng mga developer ng Google sa bagong tab at hanapin ang Google Assistant API. Bago ka magpatuloy at pindutin ang Enable button siguraduhing napili mo ang iyong proyekto. Pagkatapos mag-click sa Paganahin.

5. Ngayon, buksan ang nakaraang tab ng Google console at mag-scroll pababa sa ilalim ng screen.

Mahahanap mo ang isang pagpipilian Pagpaparehistro sa Device , mag-click dito.

6. Sa susunod na screen, Mag-click sa Magrehistro ng Modelo. Pagkatapos nito, kailangan mong magtakda ng isang Pangalan ng Produkto, pangalan ng Tagagawa at magtakda ng isang Uri ng Device. Ang mga pangalang ito ay maaaring maging anumang nais mo.

Isulat ang Device Model Id, dahil kakailanganin namin ito sa paglaon sa proseso.

Ngayon, mag-click sa Modelo ng Pagrehistro .

7. Susunod na screen ay para sa Mga Kredensyal sa Pag- download. Upang makuha ang file ng mga kredensyal na ito, i-click ang Mga kredensyal sa Pag- download ng OAuth 2.0 . Napakahalaga ng file na ito kaya, panatilihing ligtas ito.

Ngayon, mag-click sa Susunod.

8. Maaari kang pumili ng anumang mga ugali na kailangan mo, ngunit sa aming kaso hindi namin kailangan ang anuman sa mga ito kaya na-click lamang namin ang pindutan ng Laktawan tulad ng ipinakita sa ibaba .

9. Kapag tapos na ang lahat, magkakaroon ka ng sumusunod na screen.

10. Ngayon, pumunta sa pahina ng Mga Pagkontrol ng Aktibidad. Dito kailangan mong buhayin ang mga sumusunod na kontrol sa aktibidad upang matiyak na ang Google Assistant API ay gumagana ng maayos.

Aktibidad sa Web at App, Kasaysayan ng Lokasyon, Impormasyon ng Device, Aktibidad sa Boses at Audio

11. Muli, pumunta sa console ng mga developer ng Google. Mag-click sa Mga Kredensyal sa kaliwang bahagi ng dashboard. Mag-click sa screen ng pahintulot sa OAuth.

12. Punan ang iyong Gmail id at anumang pangalan sa pangalan ng Produkto at I-save ito.

Ngayon, tapos na kami sa pag-set up ng Google API.

Pagse-set up ng Google Assistant para sa Raspberry Pi Google Home

Mangyaring tandaan mula sa bahaging ito pataas kakailanganin kang kumpletuhin ang tutorial sa Raspbian desktop nang direkta at hindi higit sa SSH, ito ay dahil kakailanganin mong gamitin ang built-in na web browser.

1. Una, i-update ang listahan ng package ng Raspberry Pi sa pamamagitan ng paggamit ng sumusunod na utos

sudo apt-get update

2. Ngayon, lilikha kami ng isang file kung saan maaari naming maiimbak ang mga kredensyal na na-download namin nang mas maaga. Para sa mga ito, patakbuhin ang sumusunod na dalawang mga utos

mkdir ~/googleassistant nano ~/googleassistant/credentials.json

3. Sa file na ito, kailangan mong kopyahin ang mga nilalaman ng file ng mga kredensyal na na-download namin. Buksan ang.json file sa iyong paboritong text editor at pindutin ang ctrl + A pagkatapos ctrl + C upang kopyahin ang mga nilalaman.

Matapos makopya ang nilalaman, i-save ang file sa pamamagitan ng pagpindot sa Ctrl + X pagkatapos ng Y at pagkatapos ay sa wakas ay pindutin ang Enter.

4. Matapos mai-save ang file ng mga kredensyal, magsisimula kaming mag-install ng ilan sa mga dependency na kinakailangan upang patakbuhin ang katulong ng Google.

Patakbuhin ang sumusunod na utos upang mai-install ang Python3 at ang Python 3 Virtual na Kapaligiran sa aming RPi.

sudo apt-get install python3-dev python3-venv

5. Ngayon paganahin ang python3 bilang aming virtual na kapaligiran gamit ang pagsunod sa utos

python3 -m venv env

6. I-install ang pinakabagong mga bersyon ng pip at ang setuptools. Patakbuhin ang sumusunod na utos upang makuha ang pag-update

env/bin/python -m pip install --upgrade pip setuptools --upgrade

7. Upang makapunta sa kapaligiran ng sawa, kailangan nating patakbuhin ang utos na ito

source env/bin/activate

8. Ngayon ay mai-install namin ang Google Assistant Library, isa-isang patakbuhin ang mga sumusunod na utos upang makuha ang na-update na library

python -m pip install --upgrade google-assistant-library python -m pip install --upgrade google-assistant-sdk

Ngayon, natapos na namin ang pag-install ng lahat ng kinakailangang mga dependency at aklatan.

Pinapahintulutan ang Raspberry Pi para sa Google Assistant

1. Una naming mai-install ang tool sa pagpapahintulot ng Google sa aming Raspberry pi sa pamamagitan ng pagpapatupad ng sumusunod na utos

python -m pip install --i-upgrade ang google-auth-oauthlib

2. Ngayon, kailangan naming patakbuhin ang Google Authentication library. Isagawa ang utos na ito upang patakbuhin ang library.

google-oauthlib-tool --client-lihim ~ / googleassistant / credentials.json \ --scope https://www.googleapis.com/auth/assistant-sdk-prototype \ --scope https: //www.googleapis. com / auth / gcm \ --save –headless

Ang utos na ito ay bubuo ng isang URL, kopyahin ang URL na ito at i-paste ito sa iyong web browser.

3. Sa browser, mag-login sa iyong Google account, kung mayroon kang maraming mga account piliin lamang ang isa na iyong na-set up ang iyong API key.

Pagkatapos ng pag-login, makikita mo ang isang mahabang code ng pagpapatotoo. Kopyahin ang code na ito at i-paste ito sa iyong terminal window at pindutin ang enter. Kung ang pagpapatotoo ay napatunayan dapat mong makita ang sumusunod na linya na lilitaw sa linya ng utos tulad ng ipinakita sa imahe sa itaas:

nai-save ang mga kredensyal: /home/pi/.config/google-oauthlib-tool/credentials.json

4. Ang aming mga kredensyal sa pagpapatotoo ay napatunayan na ngayon, ngunit nais pa rin ng Google na i-verify sa pamamagitan ng isang pop display. Ngunit ang aming pop up ay na-block ng CORS (Cross-origin na pagbabahagi ng mapagkukunan) kaya, huwag paganahin ang bagay na ito gamit ang ibaba ng utos.

Upang magamit ang utos na ito siguraduhing nakasara ang iyong browser ng chromium at ngayon buksan ang bagong window ng terminal at i-type ang utos. Ilulunsad ng utos na ito ang chromium browser na may CORS security na hindi pinagana, huwag mag-browse sa internet gamit ang hindi ito pinagana.

chromium-browser --disable-web-security --user-data-dir "/home/pi/

Matapos ang pagbubukas ng browser, pumunta sa nakaraang window ng terminal kung saan mo na-set up ang sample ng katulong ng Google.

5. Ngayon patakbuhin ang sumusunod na utos sa unang pagkakataon na paglulunsad ng katulong ng Google. Sa utos na ito palitan kasama ang id ng iyong proyekto.

Kung nakalimutan mo ang Project ID, pumunta sa Actions Console sa Google, i-click ang proyekto na iyong nilikha, pagkatapos ay i-click ang icon na gear sa kanang sulok sa kaliwa pagkatapos ng Mga Setting ng Proyekto.

Gayundin, palitan gamit ang aparato ID na nakuha mo nang mas maaga sa tutorial.

googlesamples-assistant-pushtotalk --project-id --device-model-id - ipakita

Ilulunsad ng utos na ito ang isang bagong tab sa browser ng Chromium.

6. Ngayon pindutin ang Enter sa terminal window upang ma-trigger ito at magtanong ng anumang katanungan.

Kapag tinanong mo ang unang katanungan, ang screen sa ibaba ay maaaring lumitaw sa browser. Mag-click sa Magpatuloy -> Naiintindihan ko -> Payagan.

Kung ang screen na Magpatuloy na ito ay hindi lilitaw, walang problema.

7. Ngayon, maaari naming gamitin ang push to talk sample ng Google Assistant at makakuha ng isang tugon sa output.

Kapag pinindot mo ang Enter sa terminal at nagsasalita ng isang aksyon dapat mong marinig ang isang pandiwang tugon at magbubukas din ang isa pang tab na ipinapakita ang aksyon na iyong tinawag.

Maaari mong hindi paganahin ang pagbubukas ng tab sa pamamagitan ng pag-alis ng argumentong –display mula sa utos. Kailangan namin ito upang makuha ang screen ng pahintulot.

Gamit ang Google Assistant sa Raspberry Pi

Pinahintulutan namin ang aming Raspberry Pi. Tuwing nais mong ilunsad ang Google assistant, kumuha lamang sa kapaligiran at sundin ang mga hakbang sa ibaba.

1. Patakbuhin ang sumusunod na utos sa pagkuha sa kapaligiran

pinagmulan env / bin / buhayin

Makikita mo ang (env) na lilitaw sa harap ng bawat linya.

2. Upang simulan ang push to talk sample, patakbuhin ang sumusunod na utos

googlesamples-assistant-pushtotalk Sa oras na ito hindi na namin kailangan ng product id at device id.

3. Bilang karagdagan sa tampok na push to talk, maaari mo ring mapalitaw ang katulong ng Google sa pagsasabi ng Ok Google. Para sa mga ito kailangan mong maglagay ng isang hindi wastong aparato id upang gumana ito. Ang maling aparato id ay maaaring maging anumang tulad ng aaaa, abcd.

Ngayon, patakbuhin ang sumusunod na utos.

googlesamples-assistant-hotword --device-model-id

Ngayon, maaari kang magtanong ng anumang gamit ang mismong katulong ng Google na sabihin lamang ang Ok Google.

Kaya ito kung paano namin mai- install ang Google Assistant sa Raspberry Pi at maaari itong gawing isang Google Home sa pamamagitan ng pagkonekta dito ng isang Speaker at mikropono.