Trosolwg
Cynllunio eich prosiect
Fel gyda phob prosiect, mae angen i chi sicrhau bod eich prosiect yn cael ei arwain gan hypothesis a gall ailadrodd yn gyson er mwyn helpu eich defnyddwyr a'u hanghenion orau.
Integreiddio eich datblygiad AI gyda chamau ehangach eich prosiect:
- ystyried eich data presennol
- penderfynu a ddylid adeiladu, prynu neu gydweithio
- dyrannu cyfrifoldeb am AI
- asesu eich data presennol
- adeiladu eich tîm AI
- paratoi eich data ar gyfer AI
- cynllunio eich cyfnod modelu AI
2. Cam Alffa: Adeiladu a gwerthuso eich model dysgu peirianyddol
3. Cam Beta: Defnyddio a chynnal eich model
Ystyried moeseg AI, diogelwch a’r effaith a gaiff y gweithlu ar bob cam o’r broses.
Efallai y bydd angen amser sylweddol arnoch i ddeall dichonoldeb defnyddio eich data mewn ffordd newydd, felly mae'r cam darganfod yn tueddu i fod yn hirach ac yn ddrytach nag ar gyfer gwasanaethau heb AI.
Dechrau ar y cam darganfod
Gall y cam darganfod eich helpu i ddeall y broblem y mae angen ei datrys.
Asesu anghenion eich defnyddiwr a ffynonellau data
Dylech:
- ddeall yn drylwyr y broblem ac anghenion gwahanol ddefnyddwyr
- asesu ai AI yw'r offeryn cywir i fynd i'r afael ag anghenion y defnyddiwr
- deall y prosesau a sut y bydd y model AI yn cysylltu â'r gwasanaeth ehangach
- ystyried lleoliad a chyflwr y data y byddwch yn ei ddefnyddio
Asesu eich data presennol
Dechreuwch drwy asesu eich data presennol i baratoi ar gyfer eich prosiect AI.
Gall hyfforddi system AI gyda data sydd yn llawn gwallau arwain at ganlyniadau gwael os yw'r set data:
- ddim yn cynnwys patrymau clir i'r model eu harchwilio wrth wneud rhagfynegiad
yn cynnwys patrymau clir ond damweiniol, gan arwain at ragfarnau dysgu enghreifftiol
Cydweithio â rhywun sydd â gwybodaeth ddofn am eich data i asesu eich data AI, gwyddonydd data er enghraifft. Byddant ag arferion da ar gyfer mesur, glanhau a chynnal safonau data da ar gyfer prosiectau parhaus.
Gwneud eich data yn gymesur ag anghenion defnyddwyr a deall cyfyngiadau'r data i'ch helpu i asesu parodrwydd eich data.
Dyma rhai cwestiynau y gallwch eu hystyried gyda gwyddonwyr data:
- oes gennych chi ddigon o ddata y gall y model ei ddefnyddio er mwyn dysgu oddi wrtho?
- ydych chi'n deall effeithiau defnyddio data o’r math hwn?
- a yw'r data'n gywir ac yn gyflawn a pha mor aml caiff y data ei ddiweddaru?
- a yw data’n cynrychioli defnyddwyr y bydd canlyniadau'r model yn effeithio arnynt?
- a gasglwyd y data gan ddefnyddio ffynonellau mesur addas, dibynadwy a diduedd?
- a yw'r data'n ddiogel ac a oes gennych ganiatâd i'w ddefnyddio?
- pa ddulliau modelu allai fod yn addas ar gyfer y data sydd ar gael?
- a oes gennych fynediad at y data a pha mor gyflym y gallwch ei gael ato?
- lle caiff y data ei gadw?
- ym mha fformat y mae'r data ac a oes angen paratoi llawer arno fel ei fod yn barod ar gyfer modelu?
- a yw eich data wedi'i strwythuro - er enghraifft, a allwch chi ei storio mewn tabl, neu nid oes ganddo strwythur, e-bost neu dudalen gwe efallai?
- a oes unrhyw gyfyngiadau ar y data - er enghraifft, a yw'n cynnwys gwybodaeth sensitif fel cyfeiriadau cartref?
- a allwch gysylltu newidynnau allweddol o fewn a rhwng y setiau data?
Gwiriwch ganllawiau'r Fframwaith Moeseg Data os nad ydych yn siŵr am eich defnydd o ddata i sicrhau bod modd rhoi ar waith a defnyddio AI yn ddiogel gyda’ch prosiect.
Adeiladu eich tîm ar gyfer gweithredu AI
Fel gyda phrosiectau eraill, dylai eich tîm fod yn un amlddisgyblaethol, gyda chyfuniad amrywiol o rolau a sgiliau i leihau rhagfarn a sicrhau bod eich canlyniadau mor gywir â phosibl.
Efallai na fydd angen yr holl rolau arnoch o'r cychwyn cyntaf, ond gall hyn newid wrth i'r gwaith fynd rhagddo.
Efallai y byddwch am rannu'ch cam darganfod yn gamau llai fel y gallwch werthuso'r hyn rydych chi'n ei ddysgu.
Wrth weithio gydag AI efallai y bydd angen rolau arbenigol arnoch fel:
- pensaer Data gosod y weledigaeth ar gyfer defnydd y sefydliad o ddata, drwy ddylunio data, i ddiwallu anghenion busnes
- gwyddonydd Data nodi problemau busnes cymhleth wrth drosoli gwerth data - yn aml mae cael o leiaf 2 wyddonydd data yn gweithio ar brosiect yn eu galluogi i gydweithio a dilysu arbrofion AI yn well
- peiriannydd Data datblygu darparu cynhyrchion a gwasanaethau data yn systemau a phrosesau busnes
- ethegwr i ddarparu dyfarniadau ac asesiadau moesegol ar fewnbynnau model AI
- arbenigwr parth sy'n gyfarwydd â’r amgylchedd y byddwch yn defnyddio canlyniadau'r model AI - er enghraifft, os bydd y model AI yn ymchwilio i ofal cymdeithasol, cydweithio â gweithiwr cymdeithasol
Gall fod yn ddefnyddiol i'ch tîm gael:
- profiad o ddatrys problem AI debyg i'r un rydych chi'n ei datrys
- profiad masnachol o AI - dealltwriaeth o dechnegau dysgu peirianyddol ac algorithmau, gan gynnwys lleoliadau cynhyrchu ar raddfa
- dealltwriaeth o bensaernïaeth cwmwl, diogelwch, defnydd graddadwy ac offer a thechnolegau ffynhonnell agored
- profiad ymarferol o blatfformau cwmwl mawr
- profiad gyda chynwysyddion a threfniadau cynwysyddion - er enghraifft Docker a Kubernetes
- profiad neu ddealltwriaeth gref o hanfodion cyfrifiadureg ac ystadegau
- profiad o ddatblygu meddalwedd - er enghraifft Python, R neu Scala
- profiad o adeiladu systemau ôl-brosesydd ar raddfa fawr
- profiad ymarferol gyda fframwaith cyfrifiadura clystyrau - er enghraifft Hadoop neu Spark
- profiad ymarferol gyda storfeydd data - er enghraifft SQL a No-SQL
- dealltwriaeth dechnegol o ffrydio pensaernïaeth data
- profiad o weithio i ddileu rhagfarn o ddata
Rheoli seilwaith a chyflenwyr
Wrth baratoi ar gyfer gweithredu AI, nodwch sut y gallwch chi orau integreiddio AI â'ch technoleg a'ch gwasanaethau presennol.
Ystyriwch sut y byddwch yn rheoli:
- piblinellau casglu data i gefnogi perfformiad model dibynadwy a mewnbwn glân ar gyfer modelu, megis llwytho swp neu lanlwytho parhaus
- storio eich data mewn cronfeydd data a sut y bydd y math o gronfa ddata a ddewiswch yn newid yn dibynnu ar gymhlethdod y prosiect a'r gwahanol ffynonellau data sydd eu hangen
- cloddio data a dadansoddi data o'r canlyniadau
- unrhyw blatfformau y bydd eich tîm yn eu defnyddio i goladu'r dechnoleg a ddefnyddir ar draws y prosiect AI i helpu i gyflymu defnyddio AI
Wrth ddewis eich offer AI, defnyddiwch arbenigwyr i asesu pa offer sydd gennych ar hyn o bryd i gefnogi AI, fel gwyddonwyr data neu benseiri technegol.
Defnyddiwch Cloud First i sefydlu eich seilwaith.
Ystyried manteision platfformau AI
Mae llwyfan gwyddoniaeth data yn fath o offeryn meddalwedd sy'n helpu timau i gysylltu'r holl dechnoleg sydd ei hangen arnynt ar draws eu llif gwaith prosiect, cyflymu defnydd AI a chynyddu'r tryloywder a'r oruchwyliaeth dros fodelau AI.
Wrth benderfynu a ddylid defnyddio llwyfan gwyddor data, ystyriwch sut y gall y platfform:
- darparu mynediad i gyfrifiant hyblyg sy'n caniatáu i dimau gael mynediad diogel i'r pŵer sydd ei angen i brosesu symiau mawr o ddata
- helpwch eich tîm i adeiladu llifoedd gwaith ar gyfer cyrchu a pharatoi setiau data a chaniatáu ar gyfer cynnal y data yn hawdd
- darparu amgylcheddau cyffredin ar gyfer rhannu data a chod fel y gall y tîm weithio ar y cyd
- gadewch i'ch timau rannu eu hallbwn yn glir trwy ddangosfyrddau a systemau
- darparu amgylchedd gwaith i’ch timau y gellir ei ail gynhyrchu
- helpu i reoli a monitro caniatâd penodol neu sensitif i brosiectau
Paratoi eich data ar gyfer AI
Ar ôl i chi asesu ansawdd eich data cyfredol, paratowch eich data i sicrhau ei fod yn ddiogel ac yn ddiduedd.
Efallai y bydd yn ddefnyddiol i chi greu taflen ffeithiau data yn ystod y cam darganfod i gadw cofnod o ansawdd eich data.
Sicrhau amrywiaeth yn eich data
Yn yr un modd, dylai bod gennych amrywiaeth yn eich tîm, dylai eich data hefyd fod yn amrywiol ac yn adlewyrchu'r boblogaeth rydych chi'n ceisio ei modelu. Bydd hyn yn lleihau rhagfarn ymwybodol neu anymwybodol eich tîm.
Gallai diffyg mewnbwn amrywiol olygu bod rhai grwpiau dan anfantais, oherwydd efallai na fydd y model AI yn darparu ar gyfer set amrywiol o anghenion.
Darllenwch ganllawiau'r Fframwaith Moeseg Data er mwyn deall cyfyngiadau eich data a sut i adnabod unrhyw ragfarn sy'n bresennol. Hefyd, dylech chi:
- werthuso cywirdeb eich data, sut y cafodd ei gasglu, ac ystyried ffynonellau amgen
- ystyried a allai unrhyw grwpiau penodol fod o fantais neu anfantais yn y cyd-destun y mae'r system yn cael ei defnyddio ynddo
- ystyried y cyd-destun cymdeithasol o ble, pryd a sut mae'r system yn cael ei defnyddio
Cadw eich data yn ddiogel
Gwnewch yn siŵr eich bod yn cynllunio eich system er mwyn cadw’r data yn ddiogel. Er mwyn helpu i gadw data'n ddiogel:
- Dilynwch Ganllawiau y Ganolfan Seiberddiogelwch Genedlaethol (NCSC) ar ddefnyddio data gydag AI
- Sicrhau bod eich system yn cydymffurfio â GDPR a DPA 2018
Fel gydag unrhyw feddalwedd arall, ceisiwch ddylunio ac adeiladu systemau modiwlaidd, wedi'u cyplysu'n llac y gellir eu hailadrodd a'u haddasu'n hawdd.
Gall algorithmau ysgrifennu a hyfforddi gymryd llawer o amser a phŵer cyfrifiadurol. Yn ogystal â'r gost barhaus, meddyliwch am y rhwydwaith a'r adnoddau cof y bydd eu hangen ar eich tîm i hyfforddi'ch model.
Defnyddio data hanesyddol
Mae'r rhan fwyaf o'r data yn y llywodraeth sydd ar gael i hyfforddi ein modelau o fewn systemau etifeddol a allai gynnwys rhagfarn ac a allai fod wedi’i amgylchynu â rheolaethau gwael.
Er mwyn i systemau etifeddiaeth fod yn gydnaws â thechnoleg AI, yn aml bydd angen i chi fuddsoddi llawer o waith i ddiweddaru eich systemau etifeddiaeth fel eu bod yn cyd-fynd a safonau modern.
Mae angen i chi hefyd ystyried goblygiadau moesegol a chyfreithiol gweithio gyda data hanesyddol yn ofalus ac a oes angen i chi ofyn am ganiatâd i ddefnyddio'r wybodaeth hon.
Gwerthuso'ch cyfnod paratoi data
Pan fyddwch yn cwblhau eich cyfnod paratoi data, dylech feddu ar:
- set ddata yn barod ar gyfer modelu mewn amgylchedd technegol
- set o nodweddion (priodweddau mesuradwy) a gynhyrchir o set ddata amrwd
- asesiad ansawdd data sy’n defnyddio cyfuniad o gywirdeb, tuedd, cyflawnrwydd, unigrywiaeth, amseroldeb / arian cyfred, dilysrwydd neu gysondeb
Ymchwilio i'r gwasanaeth o weithio o ddechrau’r broses i’w diwedd
Yn ystod y cam darganfod, archwilio anghenion defnyddwyr y gwasanaeth o ddechrau’r broses i'w diwedd.
Fel gwasanaethau digidol eraill, rydych chi'n defnyddio'r cam hwn i benderfynu a oes gwasanaeth hyfyw y gallech ei adeiladu a fyddai'n datrys anghenion defnyddwyr, a'i fod yn gost-effeithiol mynd ar drywydd y broblem.
Byddwch yn gallu gwirio canllawiau ar sut i wybod pryd y bydd eich cam darganfod wedi dod i ben cyn symud ymlaen i’r cam alffa.
Symud i'r cam alffa
Cynllunio a chreu prototeip o’ch model AI o ran ei adeiladu a gwasanaeth.
Os penderfynwch adeiladu'ch model AI yn fewnol, dilynwch y camau hyn:
- Rhannu'r data
- Creu model sylfaenol
- Adeiladu prototeip o'r model a'r gwasanaeth
- Profwch y model a'r gwasanaeth
- Gwerthuso'r model
- Asesu a mireinio perfformiad
- Gwerthuso eich cam alffa
1. Rhannu'r data
Bydd angen i'ch tîm hyfforddi'r modelau maen nhw'n eu hadeiladu ar ddata, a rhannu eich data yn un o'r canlynol:
- hyfforddiant ar fin hyfforddi algorithmau yn ystod y cyfnod modelu
- cyfres o fesurau dilysu ar gyfer asesu perfformiad eich modelau
- Set prawf ar gyfer gwiriad terfynol ar berfformiad eich model gorau
2. Creu model sylfaenol
Dylai eich tîm adeiladu model fersiwn sylfaenol syml cyn iddynt adeiladu unrhyw fodelau mwy cymhleth.
Mae hyn yn rhoi meincnod y gall eich tîm gymharu modelau mwy cymhleth yn eu herbyn yn ddiweddarach, a bydd yn helpu'ch tîm i nodi problemau yn eich data.
3. Adeiladu prototeip o'r model a'r gwasanaeth
Unwaith y bydd gennych fodel sylfaenol, gall eich tîm ddechrau gweithio ar brototeipio modelau mwy cymhleth.
Mae hon yn broses ailadroddol iawn, sy'n gofyn am symiau sylweddol o ddata, a bydd yn eich tîm yn debygol o adeiladu nifer o fodelau AI cyn penderfynu ar y rhai mwyaf effeithiol ag algorithm priodol ar gyfer eich problem.
Bydd cadw model AI cyntaf eich tîm yn syml a sefydlu'r seilwaith cywir o'r dechrau i'r diwedd yn helpu i leddfu'r trosglwyddiad o’r cam alffa i beta.
Gallwch weithredu hyn trwy ganolbwyntio ar y gofynion seilwaith ar gyfer eich piblinellau AI ar yr un pryd ag y mae eich tîm yn datblygu'ch model.
Bydd eich model syml yn rhoi metrigau llinell sylfaen i chi a gwybodaeth am ymddygiad y model y gallwch ei ddefnyddio i brofi modelau mwy cymhleth.
Trwy gydol y gwaith adeiladu, dylech sicrhau bod diogelwch eich model AI yn cydymffurfio a chyngor gan NCSC.
4. Profwch y model a'r gwasanaeth
Bydd angen i'ch tîm brofi eich modelau drwy gydol y broses i liniaru unrhyw broblemau fel gor-ffitio neu danffitio a gall hyn danseilio effeithiolrwydd eich model ar ôl ei ddefnyddio.
Dylai eich tîm ddefnyddio'r prawf a osodwyd ar eich model gorau yn unig. Cadwch y data hwn ar wahân i'ch modelau tan y prawf terfynol hwn.
Mae'r prawf hwn yn rhoi'r argraff fwyaf cywir i chi o sut y bydd eich model yn perfformio ar ôl ei ddefnyddio.
5. Gwerthuso'r model
Bydd angen i'ch tîm werthuso'ch model i asesu sut mae'n perfformio yn erbyn data sydd heb ei weld. Mae hyn yn rhoi syniad i chi o sut y bydd eich model yn perfformio yn y byd go iawn.
Bydd y metrig gwerthuso gorau yn dibynnu ar y broblem rydych chi'n ceisio ei datrys, a'ch model dewisol. Dewiswch y metrig gwerthuso gyda gwyddonwyr data a hefyd ystyried y goblygiadau moesegol, economaidd a chymdeithasol.
Mae'r ystyriaethau hyn yn gwneud mireinio systemau AI yn fanwl sy'n berthnasol i wyddonwyr data ac arweinwyr cyflenwi.
Dewiswch y model terfynol
Wrth ddewis eich model terfynol, ystyriwch:
- pa lefel o berfformiad sydd ei angen ar eich problem
- pa mor ddealladwy y mae angen i'ch model fod
- pa mor aml rydych chi angen rhagfynegiadau neu ailhyfforddi
- y gost o gynnal y model
6. Asesu a mireinio perfformiad
Ar ôl i chi ddewis model terfynol, bydd angen i'ch tîm asesu ei berfformiad, a'i fireinio i sicrhau ei fod yn perfformio cystal ag y mae ei angen arnoch.
Wrth asesu perfformiad eich model, ystyriwch:
- sut mae'n perfformio o'i gymharu â modelau symlach
- pa lefel o berfformiad sydd ei angen arnoch cyn defnyddio'r model
- pa lefel o berfformiad y gallwch ei gyfiawnhau i'r cyhoedd, eich rhanddeiliaid a'ch rheoleiddwyr
- pa lefel o berfformiad mae ceisiadau tebyg yn eu rhoi ar waith mewn sefydliadau eraill
- a yw'r model yn dangos unrhyw arwyddion o ragfarn
Os nad yw model yn perfformio'n well na pherfformiad dynol, gall fod yn ddefnyddiol o hyd. Er enghraifft, efallai na fydd algorithm dosbarthu testun mor gywir â bod dynol wrth ddosbarthu dogfennau, ond gallant berfformio ar raddfa a chyflymder llawer uwch na bod dynol.
7. Gwerthuso eich cam alffa
Pan fyddwch chi'n cwblhau adeiladu eich cyfnod prototeipio AI, dylech feddu ar:
- model terfynol neu set o fodelau rhagfynegol a chrynodeb o'u perfformiad a'u nodweddion
- Penderfyniad ynghylch a ddylid symud ymlaen i'r cam beta ai peidio
- Cynllun ar gyfer eich cyfnod beta
Symud i'r cyfnod beta
Mae symud o’r cam alffa i’r cam beta yn golygu integreiddio'r model ym mhroses gwneud penderfyniadau'r gwasanaeth a defnyddio data byw ar gyfer y model i wneud rhagfynegiadau arno.
Mae 3 cham i roi eich model ar waith o fewn eich gwasanaeth.
- Integreiddio eich model: profi perfformiad eich model gyda data byw a'i integreiddio o fewn y llif gwaith gwneud penderfyniadau. Gall integreiddio ddigwydd mewn sawl ffordd, o leoliad lleol i greu cais arfer ar gyfer staff neu gwsmeriaid. Mae'r penderfyniad hwn yn dibynnu ar eich gofynion seilwaith a defnyddwyr.
- Gwerthuso'ch model: cynnal gwerthusiad parhaus i sicrhau bod y model yn dal i gyflawni amcanion busnes a bod y model yn perfformio ar y lefel ofynnol. Bydd hyn yn sicrhau bod perfformiad y model yn cyd-fynd â'r cam modelu ac i'ch helpu i nodi pryd i ailhyfforddi'r model.
- Helpu defnyddwyr: sicrhau bod defnyddwyr yn teimlo'n hyderus wrth ddefnyddio, dehongli a herio unrhyw allbynnau neu fewnwelediadau a gynhyrchir gan y model.
Dylech barhau i gasglu anghenion defnyddwyr felly gall eich tîm ddefnyddio allbynnau'r model yn y byd go iawn.
Wrth symud o’r cam alffa i beta, mae rhai canllawiau arfer da i esmwytho'r trawsnewid.
Ailadrodd a defnyddio modelau gwell
Ar ôl creu fersiwn beta, gall eich tîm ddefnyddio profion awtomataidd i greu rhai profion lefel uchel cyn symud i brofion mwy trylwyr.
Mae gweithio fel hyn yn golygu y gallwch lansio gwelliannau newydd heb boeni am ymarferoldeb ar ôl ei ddefnyddio.
Cynnal tîm traws-swyddogaethol
Yn ystod y cam alffa, byddwch wedi dibynnu'n bennaf ar wyddonwyr data i asesu'r cyfle y mae’ch data yn ei gynnig a’i gyflwr.
Wrth symud i’r cam beta, mae angen arbenigwyr arna chi sydd â gwybodaeth gref o weithrediadau datb lygu, gweinyddwyr, rhwydweithio, storfeydd data, rheoli data, llywodraethu data, cynwysyddion, seilwaith cwmwl a dylunio diogelwch.
Mae'r set sgiliau hon yn debygol o fod yn fwy addas i beiriannydd yn hytrach na gwyddonydd data felly bydd cynnal tîm traws-swyddogaethol yn helpu i leddfu'r trosglwyddiad o’r cam alffa i’r cam beta.
Pan fyddwch yn cwblhau eich cam beta, dylai bod gennych y canlynol:
- AI yn rhedeg ar ben eich data, dysgu a gwella ei berfformiad, a llywio penderfyniadau
- creu fframwaith monitro i werthuso perfformiad y model a nodi digwyddiadau'n gyflym
- wedi lansio cam beta preifat gan ddilyn gan brototeip beta cyhoeddus o'r dechrau i'r diwedd y gall defnyddwyr ei ddefnyddio'n llawn
- wedi dod o hyd i ffordd i fesur llwyddiant eich gwasanaeth gan ddefnyddio data newydd sydd gennych yn ystod y cyfnod beta
- tystiolaeth bod eich gwasanaeth yn bodloni gofynion hygyrcheddy llywodraeth
- rydych wedi profi’r ffordd rydych wedi cynllunio cymorth digidol wedi’i gynorthwyo ar gyfer eich gwasanaeth