์ด๋ฉ์ผ ๋ง์ผํ ์์์ ๋ค๋ณ์ ํ ์คํธ(Multivariate testing)๋ ์ฌ๋ฌ ์ด๋ฉ์ผ ๋ณํ ์ ์ฒด์ ๊ฑธ์ณ ์ฌ๋ฌ ๋ณ์๋ฅผ ๋์์ ํ ์คํธํ์ฌ ์ด๋ค ์กฐํฉ์ด ๊ฐ์ฅ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ์์ฐํ๋์ง ๊ฒฐ์ ํ๋ ๊ณ ๊ธ ์ต์ ํ ๊ธฐ๋ฒ์ ๋๋ค. ๋จ์ผ ๋ณ์ ๋ณ๊ฒฝ์ผ๋ก ๋ ๊ฐ์ง ๋ฒ์ ์ ๋น๊ตํ๋ A/B ํ ์คํธ์ ๋ฌ๋ฆฌ, ๋ค๋ณ์ ํ ์คํธ๋ ์ ๋ชฉ, ์ด๋ฏธ์ง, CTA ๋ฐ ์นดํผ์ ๊ฐ์ ์๋ก ๋ค๋ฅธ ์์๋ค์ด ์ด๋ป๊ฒ ์ํธ์์ฉํ์ฌ ๊ตฌ๋ ์ ์ฐธ์ฌ์ ์ ํ์ ์ ๋ํ๋์ง ์กฐ์ฌํ์ฌ ๋ ๊น์ ์ธ์ฌ์ดํธ๋ฅผ ์ ๊ณตํฉ๋๋ค.
๋ค๋ณ์ ํ ์คํธ๋ ์๋ก ๋ค๋ฅธ ์ด๋ฉ์ผ ์์๋ค์ด ์ด๋ป๊ฒ ํจ๊ป ์๋ํ์ฌ ๊ตฌ๋ ์ ํ๋์ ์ํฅ์ ๋ฏธ์น๋์ง ๋ฐํ์ฃผ๊ธฐ ๋๋ฌธ์ ์ค์ํฉ๋๋ค. A/B ํ ์คํธ๊ฐ ๋จ์ผ ์์ ์ค ๋ฌด์์ด ๋ ๋์ ์ฑ๊ณผ๋ฅผ ๋ด๋์ง ๋ณด์ฌ์ฃผ๋ ๋ฐ๋ฉด, ๋ค๋ณ์ ํ ์คํธ๋ ์์๋ค ๊ฐ์ ์๋์ง์ ์ถฉ๋์ ์ฐพ์๋ ๋๋ค. ํน์ ์ด๋ฏธ์ง์ ์ ์ด์ธ๋ฆฌ๋ ์ ๋ชฉ์ด ๋ค๋ฅธ ์ด๋ฏธ์ง์๋ ์ฑ๊ณผ๊ฐ ๋ฎ์ ์ ์๋๋ฐ, ์ค์ง ๋ค๋ณ์ ํ ์คํธ๋ง์ด ์ด๋ฌํ ์ํธ์์ฉ์ ์๋ณํ ์ ์์ต๋๋ค. ROI๋ฅผ ๊ทน๋ํํ๋ ค๋ ์ด๋ฉ์ผ ๋ง์ผํฐ์๊ฒ ๋ค๋ณ์ ํ ์คํธ๋ ์ถ์ธก์ ๋ฐฐ์ ํ ๊ณผํ์ ์ธ ์ต์ ํ ์ ๊ทผ ๋ฐฉ์์ ์ ๊ณตํฉ๋๋ค. ๋ช ์ฃผ๋ ๋ช ๋ฌ์ ๊ฑธ์ณ ์์ฐจ์ ์ผ๋ก A/B ํ ์คํธ๋ฅผ ์คํํ๋ ๋์ , ๋ค๋ณ์ ํ ์คํธ๋ ๋จ ํ ๋ฒ์ ์บ ํ์ธ ์ฌ์ดํด์์ ์ต์ ์ ์กฐํฉ์ ์๋ณํ์ฌ ์ฑ๊ณผ ๊ฐ์ ์ ์๋๋ฅผ ๋์ผ ์ ์์ต๋๋ค. ๋ค๋ณ์ ํ ์คํธ๋ฅผ ํตํด ์ป์ ์ธ์ฌ์ดํธ๋ ์ค๋์ธ์ค ์ ํธ๋์ ๋ํ ์กฐ์ง์ ์ง์์ ์ถ์ ํด ์ค๋๋ค. ์ด๋ค ์์ ์กฐํฉ์ด ๊ณต๊ฐ์ ์ป๋์ง ์ดํดํ๋ฉด ์ด๋ฌํ ํ์ต ๋ด์ฉ์ ํฅํ ์บ ํ์ธ์ ์ ์ฉํ ์ ์์ด ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ์ด๋ฉ์ผ ๋ง์ผํ ํจ๊ณผ๋ฅผ ๋ณต๋ฆฌ๋ก ์ฆ๋์ํค๋ ํจ๊ณผ๋ฅผ ๋ ๋๋ค.
๋ค๋ณ์ ํ ์คํธ๋ ์ฌ๋ฌ ์์์ ์๋ก ๋ค๋ฅธ ๋ฒ์ ๋ค์ ๋์์ ๊ฒฐํฉํ ์ฌ๋ฌ ๊ฐ์ ์ด๋ฉ์ผ ๋ณํ์ ๋ง๋ฆ์ผ๋ก์จ ์๋ํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ๋ ๊ฐ์ ์ ๋ชฉ, ์ธ ๊ฐ์ ํ์ด๋ก ์ด๋ฏธ์ง, ๋ ๊ฐ์ CTA ๋ฒํผ์ ํ ์คํธํ๊ณ ์ถ๋ค๋ฉด ๋ค๋ณ์ ํ ์คํธ๋ ๊ฐ๋ฅํ ๋ชจ๋ ์กฐํฉ(2 x 3 x 2 = 12๊ฐ ๋ณํ)์ ์์ฑํ์ฌ ์๋ก ๋ค๋ฅธ ์ค๋์ธ์ค ์ธ๊ทธ๋จผํธ์ ๋ณด๋ ๋๋ค. ๊ทธ๋ฐ ๋ค์ ์ด๋ฉ์ผ ํ๋ซํผ์ ๊ฐ ์กฐํฉ์ ๋ํ ์ฑ๊ณผ ์งํ๋ฅผ ์ถ์ ํฉ๋๋ค. ํ ์คํธ ํ๋ก์ธ์ค๋ ํ ์คํธํ๋ ค๋ ์์๋ฅผ ์๋ณํ๊ณ ๊ฐ ์์์ ๋ํ ๋ณํ์ ๋ง๋๋ ๊ฒ์ผ๋ก ์์๋ฉ๋๋ค. ์ด๋ฉ์ผ ์๋น์ค ์ ๊ณต์ ์ฒด๋ ๊ฐ๋ฅํ ๋ชจ๋ ์กฐํฉ์ ์๋์ผ๋ก ์์ฑํ๊ณ ํ ์คํธ ์ค๋์ธ์ค์๊ฒ ๊ท ๋ฑํ๊ฒ ๋ฐฐํฌํฉ๋๋ค. ํต๊ณ ๋ถ์์ ํตํด ์คํ์จ, ํด๋ฆญ๋ฅ ๋๋ ์ ํ์จ ๋ฑ ์ ํํ ์ฑ๊ณต ์งํ๋ฅผ ๊ธฐ์ค์ผ๋ก ์ด๋ค ์กฐํฉ์ด ๊ฐ์ฅ ์ฐ์ํ ์ฑ๊ณผ๋ฅผ ๋ด๋์ง ๊ฒฐ์ ํฉ๋๋ค. ํต๊ณ์ ์ผ๋ก ์ ์๋ฏธํ ๊ฒฐ๊ณผ๋ฅผ ์ป๊ธฐ ์ํด ๋ค๋ณ์ ํ ์คํธ๋ ๋ณํ์ ์๊ฐ ๋ง๊ธฐ ๋๋ฌธ์ A/B ํ ์คํธ๋ณด๋ค ๋ ํฐ ์ํ ํฌ๊ธฐ๊ฐ ํ์ํฉ๋๋ค. ๋๋ถ๋ถ์ ์ด๋ฉ์ผ ํ๋ซํผ์ ์์ ๊ฐ ์ํธ์์ฉ์ ๋ํ ์ ๋ขฐํ ์ ์๋ ์ธ์ฌ์ดํธ๋ฅผ ์ ๊ณตํ๋ฉด์๋ ํ์ํ ์กฐํฉ์ ์๋ฅผ ์ค์ด๊ธฐ ์ํด ๋ถ๋ถ ์์ธ ์ค๊ณ(Fractional Factorial Design)๋ ๋ค๊ตฌ์น ๋ฐฉ๋ฒ(Taguchi Methods)์ ์ฌ์ฉํฉ๋๋ค.
A/B ํ ์คํธ๋ ํ ๊ฐ์ง ๋ณ์๋ง ๋ฐ๊พผ ๋ ๊ฐ์ง ๋ฒ์ ์ ์ด๋ฉ์ผ์ ๋น๊ตํ๋ ๋ฐ๋ฉด, ๋ค๋ณ์ ํ ์คํธ๋ ๋ง์ ์กฐํฉ์ ๊ฑธ์ณ ์ฌ๋ฌ ๋ณ์๋ฅผ ๋์์ ์กฐ์ฌํฉ๋๋ค. A/B ํ ์คํธ๋ ๋ ๊ฐ๋จํ๊ณ ์ ์ ์ํ ํฌ๊ธฐ๊ฐ ํ์ํ์ง๋ง, ๋ค๋ณ์ ํ ์คํธ๋ ์์๋ค์ด ์ด๋ป๊ฒ ์ํธ์์ฉํ๋์ง์ ๋ํ ๋ ๊น์ ์ธ์ฌ์ดํธ๋ฅผ ์ ๊ณตํ๋ ๋์ ํต๊ณ์ ์ ์์ฑ์ ์ํด ๋ ํฐ ์ค๋์ธ์ค๊ฐ ํ์ํฉ๋๋ค.
ํ์ํ ๋ฆฌ์คํธ ํฌ๊ธฐ๋ ํ ์คํธ๋๋ ๋ณํ์ ์์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค. ์ผ๋ฐ์ ์ธ ๊ท์น์ผ๋ก, ์ ๋ขฐํ ์ ์๋ ๊ฒฐ๊ณผ๋ฅผ ์ป์ผ๋ ค๋ฉด ๋ณํ๋น ์ต์ 1,000๋ช ์ ์์ ์๊ฐ ํ์ํฉ๋๋ค. 12๊ฐ์ ์กฐํฉ์ ํ ์คํธํ๋ค๋ฉด ์ต์ 12,000๋ช ์ ๊ตฌ๋ ์๊ฐ ํ์ํ์ง๋ง ์ํ์ด ํด์๋ก ๊ฒฐ๋ก ์ ํ์ ๋๊ฐ ๋์์ง๋๋ค.
๋๋ถ๋ถ์ ๋ค๋ณ์ ์ด๋ฉ์ผ ํ ์คํธ๋ ํต๊ณ์ ์ ์์ฑ์ ๋๋ฌํ ๋๊น์ง ์คํํด์ผ ํ๋ฉฐ, ์ผ๋ฐ์ ์ผ๋ก ์คํ์จ ๋ถ์์๋ 24~72์๊ฐ, ํด๋ฆญ ๋ฐ ์ ํ ์งํ์๋ 3~7์ผ์ด ์์๋ฉ๋๋ค. ์์์ ์๊ฐ ์ ํ์ ์์กดํ๊ธฐ๋ณด๋ค ์ด๋ฉ์ผ ํ๋ซํผ์์ ๊ฒฐ๊ณผ๊ฐ ํต๊ณ์ ์ผ๋ก ์ ์๋ฏธํด์ก์์ ๋ํ๋ผ ๋๊น์ง ๊ธฐ๋ค๋ ค์ผ ํฉ๋๋ค.
์ ๋๋ก ์คํ๋ ๋ค๋ณ์ ํ ์คํธ๋ ์ ๋ฌ๋ฅ ์ ๋ถ์ ์ ์ธ ์ํฅ์ ๋ฏธ์น์ง ์์ต๋๋ค. ๊ทธ๋ฌ๋ ์์ ์ธ๊ทธ๋จผํธ์ ๋๋ฌด ๋ง์ ๋ณํ์ ๋ณด๋ด๋ฉด ์คํธ ํํฐ๋ฅผ ์๊ทนํ ์ ์์ต๋๋ค. ๋์ ์ ๋ฌ๋ฅ ์ ๋ณด์ฅํ๊ธฐ ์ํด ํ ์คํธ ์ ํญ์ ์ด๋ฉ์ผ ๋ฆฌ์คํธ๋ฅผ ๊ฒ์ฆํ๊ณ ๋ฐ์ดํฐ ํ์ง์ด ์์ฌ์ค๋ฌ์ด ์ธ๊ทธ๋จผํธ์์์ ํ ์คํธ๋ ํผํ์ธ์.
์ง๊ธ EmailVerify๋ฅผ ์ฌ์ฉํ์ฌ 99.9% ์ ํ๋๋ก ์ด๋ฉ์ผ์ ๊ฒ์ฆํ์ธ์.