Sinatra se volvió, literalmente, loco por Ava Gardner. Tanto, que obviando los convencionalismos sociales y su reputación como personalidad pública aireó a los cuatro vientos la relación que mantenían, pidiéndole a Nancy que le concediera el divorcio. La señora Sinatra se negó rotundamente, convencida de que su marido volvería a ella, como siempre, al cabo de un cierto tiempo. La prensa comenzó a explotar la historia a tres bandas del cantante, la actriz y la madre de familia, destacando los detalles más sórdidos y escandalosos en gossip magazines como "Hollywood Reporter" o "Confidential", siendo Ava la que se llevó la peor parte al verse acusada por los medios de comunicación de ser una "destrozahogares" de primera categoría, y cebándose en ella como la responsable del naufragio del matrimonio Sinatra. La Liga para la Decencia exigió la prohibición de la exhibición de sus películas y desde las altas esferas de los estamentos religiosos norteamericanos fue severa y públicamente amonestada.Mientras Frank y Ava se veían obligados a esconderse del acoso de los periodistas y de la morbosa curiosidad del gran público, Nancy seguía en sus trece, empecinada en no conceder a Sinatra el tan deseado divorcio. Finalmente, en noviembre de 1951, Nancy Barbato -comprendiendo que, aquella vez, la cosa iba muy en serio- accedió a que Frank obtuviese un rápido divorcio en Nevada.
Tan solo 72 horas más tarde, el 7 de noviembre de 1951, Frank Sinatra y Ava Gardner se convertían legalmente en marido y mujer en Philadelphia, en una ceremonia celebrada en casa de Lester Sachs, hermano del director de la discográfica de Sinatra, la Columbia Records. Ava lucía un vestido de cóctel de color malva, un collar de perlas y pendientes de diamantes, un look ciertamente muy diferente al de la celebración de sus dos anteriores matrimonios, en los que llevó el mismo vestuario, un sencillo traje-sastre azul. Immediatamente, los recién casados volaron a su honeymoon en Florida, desde donde se desplazaron a La Habana, Cuba, alojándose en el histórico Hotel Nacional. De vuelta a los Estados Unidos, ambos reanudaron sus respectivas carreras.
La vida matrimonial de los Sinatra no era nada fácil, marcada por constantes trifulcas públicas y privadas. Ambos sufrían las consecuencias de unos explosivos temperamentos que, pese a amarse mutua e intensamente , provocaban peligrosos altercados que habían llegado, en algunas ocasiones, a la violencia física. Para empezar, Sinatra padecía unos celos paranoicos de Artie Shaw, el ex-marido de Ava, de quien no podía ni escuchar el nombre. Una noche de 1950, a poco de comenzar su relación, Frank había encontrado a Ava, entonces solamente su amante, con Artie Shaw. Sinatra sacó, enloquecido, un revólver, aunque acabó disparando... a su propio colchón. Por su parte, Ava Gardner no podía soportar el notorio pasado sentimental de Frank. Una vez, abandonó furiosa un night club simplemente porque recordó que Sinatra había estado una vez allí, tiempo atrás, cantándole a la starlette Marilyn Maxwell. Ava, muchos años después, confidenció -un tanto groseramente- "éramos grandiosos en la cama, los problemas venían camino del bidé".
Los fines de semana los pasaban en la casa de Sinatra en Palm Springs, tradicional oasis de reposo de las estrellas del espectáculo americano a 200 kilómetros de Los Angeles, en pleno desierto cerca de las montañas de Santa Rosa. Aquella lujosa mansión fue testigo de la mayoría de sus antológicas peleas de casados, que la prensa sensacionalista continuaba recogiendo siempre que trascendían, de un modo u otro. Gardner, además, tuvo que acostumbrarse a las amistades de Sinatra, por lo general conocidos personajes de la mafia, boxeadores y colegas camorristas como Peter Lawford (frecuente acompañante de Ava en sus primeros años en Hollywood), Sammy Davis Jr. o Dean Martin. El carácter de Ava -habituado al tabaco, al alcohol y a las conversaciones subidas de tono- no desentonaba del todo en estas reuniones de hombres, formando parte activa de la celebración sin verse relegada, como le sucedió años más tarde a Shirley McLaine, a ser la "mascota" del Rat Pack de Sinatra y sus amigos.
Pese a que saltaban chispas cuando estaban juntos, ambos no podían mantenerse alejados demasiado tiempo uno del otro. Sinatra adaptaba su agenda a las exigencias de los rodajes de Gardner, y la seguía allá donde su trabajo la llevara, incluso cuando ella se desplazaba a Europa o a Africa. Por otro lado, Ava no se perdía ni una sola de las actuaciones o conciertos de Frank sin importarle donde tuvieran lugar. En este período, Sinatra comenzó a experimentar un acusado descenso en su popularidad, viéndose en muchas ocasiones obligado a ejercer de comparsa de su esposa, moviéndose a su sombra rutilante. Ava se encontraba en su mejor momento, siendo considerada una de las diez estrellas más taquilleras de la industria de Hollywood, además de una presencia constante en las portadas de la prensa más importante del mundo entero. En una ocasión, Sinatra ofrecía una serie de conciertos en Europa. En Nápoles, Frank tuvo que interrumpir varias veces su actuación porque el público de la platea reclamaba a gritos la presencia de Ava -que se hallaba sentada en uno de los palcos- en el escenario. 
El cantante, así pues, comenzó a incubar una baja autoestima y unos celos profesionales inconscientes hacia su esposa, circunstancias que pudieron ser una de las causas del posterior fracaso de su matrimonio. Frank Sinatra, que había sido durante años la primera voz de la nación, veía entonces como sus fans más fieles -aquellas adolescentes de los años cuarenta que abarrotaban los pabellones deportivos para corear su nombre, a lágrima viva, entre canción y canción- habían crecido convirtiéndose en respetables madres de familia a las que su adulterio con Ava Gardner había amedrentado. Además, la Metro-Goldwyn-Mayer estaba considerando seriamente rescindir su contrato si seguía perdiendo puntos en las listas de popularidad.Sinatra, quien además estaba completamente arruinado a raíz de su carísimo divorcio de Nancy Barbato, tuvo que pasar a depender económicamente de los ingresos de Gardner, la cual se veía obligada a pagar las abultadas facturas de gastos de su marido.
Marjorie Main fue una de las más populares actrices de reparto de la década de 1940, una presencia imprescindible en asuntos ligeros que precisaran de una buena dosis de temperamento y una sensitiva actriz que se atrevió a sacar adelante, muy frecuentemente, personajes que se apartaban del registro cómico en el que se movía como pez en el agua. Main, que comenzó su carrera especializándose en viudas de clase alta (a lo que ayudaba su empaque de matrona y su porte distinguido), pasó después a interpretar mujeres trabajadoras, generalmente camareras, cocineras o campesinas de fuerte carácter, dominantes y de buen corazón, pese a tener los modales de un estibador portuario y la lengua de un lobo de mar. Su peculiar voz resultó ideal para encarnar a estas mujeres duras y simpáticas, con las que los integrantes de un equipo de rugby hubiesen podido establecer una relación de compañerismo en la que nadie se habría atrevido a aventurar quien resultaría más canalla.
La carrera cinematográfica de Marjorie Main se vio colmada de excelentes trabajos, entre ellos las seis cintas en las que apareció junto a uno de sus más afamados y habituales partenaires, Wallace Beery; los musicales que rodó para la Metro Goldwyn Mayer junto a Judy Garland, "Meet me in St. Louis" y "Summer Stock", y la comedia de Vincente Minnelli con la pareja cómica Lucille Ball-Desi Arnaz "The Long, Long Trailer". Asimismo, Main obtuvo un importante éxito personal por su interpretación del ama de llaves Emma Kristiandotter en "A Woman's Face" de George Cukor, junto a Joan Crawford, Melvyn Douglas y Conrad Veidt, en un papel dramático de fuerte intensidad emotiva.
En aquellos días, Ava Gardner se hallaba ya divorciada de sus dos primeros maridos, el chirriante, obeso e histriónico Rooney y el band leader pseudointelectual Artie Shaw. Por su parte, el crooner por excelencia -con permiso de Bing Crosby- formaba junto a su esposa Nancy Barbato uno de los matrimonios más populares de los Estados Unidos, compartiendo ambos un hogar y tres hijos dentro de los cánones del más heterodoxo american way of life. Sinatra, al fin y al cabo descendiente de italianos y con una fuerte carga moral y religiosa, se había casado con su novia de juventud aguijoneado por su madre, Dolly, quien siempre fue una de las más grandes influencias en la vida del cantante. La férrea educación católica que recibió marcaría su existencia hasta el fin de sus días, produciendo en él profundos conflictos interiores que pugnaban constantemente con su notoria afición al juego, al alcohol, a las drogas y a las mujeres.
Nancy Barbato tenía con Frank Sinatra una vida matrimonial sacudida, a menudo, por los romances que este mantenía con otras féminas, siendo tal vez su aventura extramarital más conocida la que vivió junto a otra de las grandes estrellas de la MGM, Lana Turner. Nancy consentía los desvaríos de Sinatra, ya que había comprobado que, una vez consumida la pasión inicial, Frank volvía al redil con el rabo entre las piernas, completamente arrepentido y buscando refugio en su legal regazo. Sin embargo, Ava Gardner marcaría un antes y un después en la relación de Sinatra con el sexo opuesto, modificando para siempre sus esquemas y demostrándole a él y al mundo entero que era mucha mujer para ser, simplemente, una más. Ambos seguirían dependiendo terriblemente uno del otro, incluso muchos años después de su divorcio en 1957, siendo Ava, probablemente, quien más echaría de menos a Sinatra en el largo período de soledad sentimental que vivió la actriz después de romper el que sería su último matrimonio y que se prolongaría hasta su muerte en Londres en 1990.
Fue la mismísima Lana Turner, buena amiga y colega de Gardner en los dorados oropeles de la Metro, quien la puso en antecedentes de las costumbres de Sinatra. Con gran discreción y las mejores intenciones, la belleza rubia de Hollywood le habló de como Frank le había prometido dejar a su mujer y casarse con ella, y de como la había abandonado sin miramientos para regresar, hecho un mar de lágrimas, al lecho marital junto a Nancy. Ava, al principio, se tomaba con calma la relación con Sinatra, pero pronto se dio cuenta de que aquel italiano flacucho y temperamental, ídolo de histéricas quinceañeras -sus famosas bobby-soxers- a las que tenía rendidas con el arrullo de su voz incomparable, iba a ser mucho más en su vida que cualquiera de los hombres que le habían precedido, desde sus dos maridos hasta sus ocasionales acompañantes en las cálidas noches de Beverly Hills.