Penampilannya yang gemilang bersama AS Roma membuat pemilik baru AC Milan Silvio Berlusconi tertarik merekrutnya sebagai bagian dari proyek menjadikan AC Milan menjadi klub terbaik di Italia,Eropa dan Dunia. Pada 1987 Carletto hijrah ke AC Milan.Kehadirannya di AC Milan berbarengan dengan sang pelatih Arrigo Sacchi serta 2 bintang sepakbola Belanda Ruud Gullit dan Marco Van Basten. Di bawah asuhan Sacchi, Carletto kian menemukan sianr terangnya sebagai seorang gelandang handal. Kolaborasinya yang mantap dengan kompatriotnya seperti Roberto Donadoni,Angelo Colombo,Paolo Virdis,Van Basten dan Ruud Gullit membuat AC Milan tampil digdaya di Serie A hingga akhirnya sukses menaklukkan Napoli yang waktu itu diperkuat Diego Maradona dalam perebutan Juara Serie A musim 1987/1988.

Seusai Piala Eropa 1988,AC Milan merekrut bintang Belanda Frank Rijkaard. Kehadiran Rijkaard yang bersama Gullit dan Van Basten sukses membawa Timnas Belanda menjadi Juara Piala Eropa 1988 membuat kekuatan AC Milan semakin kuat. Rijkaard yang aslinya seorang centre back oleh Sacchi diubah menjadi gelandang bertahan atau “libero midfielder” yang bertugas memutus serangan di lini tengah

sekaligus menjadi sosok inisiator serangan membuat Carletto bisa berkonsentrasi membantu serangan sekaligus pembuka ruang bagi duet Gullit dan Van Basten di lini depan. Kehadiran Rijkaard ini pula yang menjadi keping “puzzle” yang menyempurnakan taktik “contro stretto” yang diterapkan Sacchi.

Taktik “contro stretto” atau pendek merapat yang diterapkan Sacchi ini merupakan perpaduan taktik khas Italia “catenaccio” dengan pola khas Belanda “Total Football” yang begitu dikagumi Sacchi. Dan kelak ketika menjadi pelatih taktik ini pula yang menjadi inspirasi bagi Carletto dalam menerapkan taktik dan strategi di lapangan.

Kehadiran Rijkaard yang tampil kompak bersama Carletto membuat kekuatan AC Milan menajdi semakin kuat. Meski kehilangan gelar Serie A yang direbut Inter Milan, AC Milan tampil trengginas di Champions Cup (UCL). Bahkan Ancelotti mulai mencuri perhatian dunia ketika di Semifinal berperan penting dalam kesuksesan AC Milan menaklukkan raksasa Spanyol Real Madrid 5-0. Gol indah Carletto membuka kemenangan AC Milan atas Madrid dan mendapat pujian dari pecinta sepakbola dan media kala itu. Gol Carletto disusul gol Frank Rijkaard, Ruud Gullit, Marco Van Basten dan Roberto Donadoni membuat AC Milan mulai disebut sebagai kekuatan baru sepakbola Eropa dan Dunia.